Wildberries сообщил, что после перевода покупательского ИИ-ассистента на спекулятивный декодинг медианное время обработки одного сообщения в рабочем сервисе снизилось с 10,9 до 3,6 секунды. Компания опубликовала результаты внедрения 13 ноября. Это её собственный производственный замер, а не независимый тест.
Wildberries расширил тестирование ассистента. Он работает как чат в поисковой выдаче и помогает подбирать товары по описанию задачи, например с учётом назначения покупки и бюджета.
Ассистент использует BerryLM — собственное семейство языковых моделей Wildberries, дообученное для помощи покупателям. По данным компании, в тестовом наборе из 449 ходов на одно сообщение пользователя система в среднем делала около 26 обращений к большой языковой модели: разбирала контекст, определяла предпочтения, составляла поисковые запросы, выбирала фильтры и формировала ответ. Часть операций выполняется параллельно, однако задержка отдельных обращений влияет на общее время ожидания.
Читайте также
Чтобы ускорить генерацию, команда внедрила DFlash 2. Это один из методов спекулятивного декодинга: небольшая модель-черновик заранее предлагает блок возможных токенов — фрагментов текста, — а основная модель проверяет весь блок за один проход. Подходящие токены принимаются, а продолжение после первого расхождения отбрасывается.
Такой механизм позволяет сократить число дорогих проходов основной модели. При корректной проверке распределение её ответов сохраняется, но ускорение не гарантировано: оно зависит от качества черновика, расходов на его создание, конфигурации оборудования и количества одновременных запросов.
Перед внедрением Wildberries сравнил семь методов на одном стенде, с одинаковыми данными и нагрузкой. Параллельные драфтеры DFlash, DSpark и DFlash 2 показали близкие результаты: при малой нагрузке один ход ассистента выполнялся примерно вдвое быстрее, а при 128 одновременных пользователях ускорение составило 1,4 раза. Разницу между тремя лидерами компания назвала находящейся в пределах шума измерений. Для рабочего сервиса выбрали DFlash 2.
Ускорение сокращает ожидание ответа при подборе товаров. Опыт Wildberries может служить ориентиром для команд, которые обслуживают многошаговых ИИ-агентов.