Google 11 ноября выпустила Gemini Decisions API — программный интерфейс для классификации и оценки данных. Модель Gemini Decision 1 сопоставляет один общий вход с максимум 1000 независимых вопросов и возвращает решения с вероятностями. Выходные токены не тарифицируются. Gemini API и платные сервисы Google Cloud российским компаниям напрямую недоступны, поэтому подключиться и оплатить сервис из РФ они не могут.
В опубликованном 12 ноября срезе независимого Decision Index v2.1 от Artificial Analysis модель Google получила 66 баллов. Это округлённый составной показатель правильности решений, калибровки вероятностей и устойчивости ответов, а не 66% точности.
| Модель | Компания | Баллы |
|---|---|---|
| Drex Max v1.1 | Drex | 73 |
| GLiDE v1.2 | GLiDE | 73 |
| Jev 1.14 | Jev | 66 |
| Gemini Decision 1 | 66 |
В независимом рейтинге Gemini Decision 1 не опередила лидеров класса.
Читайте также
Как работает Gemini Decision 1
В запрос можно передать до 256 тыс. токенов текста, изображений, аудио, видео или PDF и добавить до 1000 независимых вопросов. Доступны ответы «да» или «нет», выбор из 2–255 вариантов и оценка по шкале. Модель возвращает ответ и показатель уверенности, но не пишет объяснение и не выполняет действие. Зависимые решения нужно связывать в коде или отдельных запросах.
Где возникает экономия
Общий вход оплачивается один раз в пределах запроса независимо от числа вопросов. При этом инструкции и критерии каждого вопроса добавляют собственные входные токены. За повторную отправку того же документа в новом запросе придется платить снова; доступные описания модели также указывают, что кеширование контекста и пакетная обработка не поддерживаются.
DailyTech приводит иллюстративный расчет для 10 000 записей по 2000 токенов каждая и десяти проверок по 100 токенов. Объединение проверок в один вызов уменьшает прямые расходы на Decisions API на $18 по сравнению с десятикратной отправкой общего входа.
Это не замер реального внедрения. Расчет не учитывает повторные попытки, обращения к более дорогим моделям и передачу спорных случаев людям. Если модель часто направляет запросы на дополнительную обработку, итоговые расходы могут оказаться выше экономии на классификации.
Какие ограничения нужно учитывать
Google заявляет задержку 150–250 мс от запроса до ответа для контекста до 16 тыс. токенов и от одного до 100 вопросов. Компания не привела такую же оценку для предельного входа в 256 тыс. токенов и 1000 вопросов, а доступные независимые материалы не содержат собственного замера скорости.
При выборе из фиксированного списка модель распределяет вероятность между предложенными вариантами, даже если ни один не подходит. Поэтому разработчику нужен вариант «другое» или отдельная проверка того, соответствует ли вход условиям задачи. Для решений с заметными последствиями — например, блокировки операции или одобрения возврата — одного наиболее вероятного ответа недостаточно: приложению нужны проверенный на собственных данных порог уверенности и путь передачи спорного случая человеку.
Запуск показывает развитие отдельного класса моделей, которые не общаются с пользователем, а работают как управляющий слой внутри приложений: выбирают инструмент, маршрут, уровень модели или результат проверки. Независимый рейтинг уже включает несколько таких систем, поэтому разработчикам имеет смысл сравнивать их на собственных данных, а не только по цене токенов или тестам поставщика.
