4 ноября платформа клиентских данных Hightouch опубликовала результаты теста связки Jev и Claude Opus. По данным компании, каскад почти достиг точности Opus, снизив стоимость проверки профилей более чем в четыре раза.
Jev первой оценивала каждый случай и выдавала ответ вместе с показателем уверенности. Уверенные решения принимались сразу, а сомнительные передавались более мощной и дорогой Claude Opus. Поэтому платить за Opus приходилось только при проверке сложных случаев.
Что проверяли
Hightouch оценивала, насколько модели способны находить ошибочные объединения записей о клиентах. Такая ошибка возникает, когда система принимает данные нескольких людей за профиль одного человека.
Читайте также
Компания создала 1000 синтетических профилей. Половина содержала записи одного человека с опечатками и другими искажениями, половина представляла ошибочное объединение нескольких людей.
Как работает каскад
Jev относится к решающим моделям: она выбирает один из заданных вариантов и возвращает оценку уверенности вместо развёрнутого текста. В тестах Hightouch такие модели отвечали примерно за 0,15 секунды, стоили от $0,05 до $0,10 за 1000 профилей и работали более чем в десять раз быстрее передовых универсальных моделей.
На сложном наборе самостоятельная точность Jev отставала от Claude Opus примерно на шесть процентных пунктов. Однако большинство ошибок Jev сопровождалось низкой уверенностью, поэтому каскад мог отправлять спорные ответы на повторную проверку. У другой испытанной модели, Luna, ошибки чаще сопровождались высокой уверенностью, из-за чего такая схема работала хуже.
Hightouch установила для Jev порог уверенности в 60%. Компания отмечает, что его нужно заново подбирать на размеченных данных для каждой задачи: снижение порога уменьшает число обращений к дорогой модели, но может ухудшить точность.
Тест проводила сама Hightouch на синтетических данных, а его результаты независимо не воспроизводились.
