27 октября Artificial Analysis выпустила пятую версию Intelligence Index — сводного рейтинга языковых моделей. Впервые 60% его оценки формируют тесты с закрытыми заданиями или скрытыми ответами. После изменения методики Kimi K3.1 Pro опустилась с четвертого на девятое место, а разрыв между лидером и лучшей моделью с открытыми весами вырос с 3 до 12 баллов.
Это не доказывает, что прежний рейтинг был неверным или что открытые модели специально «обманывали» тесты. Вместе с долей закрытых заданий изменились сами проверки и их веса. Но обновление показывает более широкую перемену: создатели рейтингов пытаются скрыть экзаменационные билеты от лабораторий, а пользователям приходится сильнее доверять тем, кто составляет и проверяет экзамен.
Что происходит с публичными тестами ИИ
Публичный тест легко проверить: исследователь может прочитать вопросы, найти ошибки и повторить измерение. Однако после публикации задания расходятся по репозиториям, статьям и обсуждениям, а затем могут попасть в обучающие данные. Модель в таком случае частично отвечает не благодаря способности решить новую задачу, а потому, что уже встречала исходный вопрос или похожий пример.
Читайте также
Даже без прямой утечки лаборатория знает формат популярного теста и может усиленно тренировать модель на похожих задачах. Целенаправленную оптимизацию ради места в таблице называют benchmaxxing. Высокий балл тогда не обязательно переносится на незнакомые документы, код или процессы компании.
Исследовательская работа о 47 публичных моделях и 74 моделях с контролируемым загрязнением показывает, что проблему не стоит упрощать. Знакомство с заданиями повышало абсолютные результаты, но корреляция между обычным рейтингом и рейтингом на защищенных перефразированных вопросах составила 0,997. Подтвержденное искажение порядка моделей обнаружилось только в 3 из 188 сочетаний модели и теста.
Иными словами, загрязнение способно сделать баллы красивее, не обязательно меняя победителя. Но для конкретного нового рейтинга это ничего не гарантирует: порядок изменится, если одни модели встречали задания значительно чаще других.
Как устроены закрытые и двойные слепые проверки
В закрытом тесте разработчик предоставляет доступ к модели, а организатор запускает неизвестные задания и публикует результаты. Так устроен AA-Briefcase — тест Artificial Analysis для долгих корпоративных проектов. Он включает 91 закрытое задание в четырех сценариях: модели разбирают документы, письма, сообщения и данные, а затем готовят финансовые модели, презентации и другие рабочие материалы. Пятый сценарий опубликован только как демонстрация и не учитывается в официальном результате.
Американский институт NIST развивает похожий принцип в программе AITE. Нейтральная сторона хранит непубличные наборы данных и применяет общие метрики к моделям участников. Это уменьшает риск попадания экзаменационных данных в обучение и делает условия более сопоставимыми.
Двойная слепая схема идет дальше. 27 августа Google DeepMind, MLCommons, OpenMined, AVERI и сингапурский институт безопасности ИИ объявили пилот проверки Gemini Flash Lite в защищенной вычислительной среде. Криптографические ограничения должны не позволить разработчику модели получить задания, а владельцу теста и аудитору — закрытые параметры модели.
Такая защита скрывает конкретные вопросы, но не навыки, которые ценит рейтинг. Если высокий вес получают программирование в терминале, научные исследования и обработка длинных корпоративных документов, лаборатории все равно могут строить похожие тренировочные среды.
Что изменилось в Intelligence Index v5
Artificial Analysis делит итоговую оценку поровну между четырьмя направлениями: работой со знаниями, программированием, наукой и общими способностями. Внутри используются девять тестов. Ни одна модель не лидирует во всех девяти, поэтому итоговый балл остается усреднением разных навыков, а не универсальной мерой «интеллекта».
Результаты Intelligence Index v5 на 27 октября:
| Модель и режим | Компания | Баллы |
|---|---|---|
| Claude Opus 5.5 (max) | Anthropic | 58 |
| GPT-6 Astra (max) | OpenAI | 57 |
| GPT-6.1 Sol (max) | OpenAI | 55 |
| Gemini 4 Argon (high) | 50 | |
| Kimi K3.1 Pro | Moonshot AI | 46 |
В версии 5 доля тестов с закрытыми наборами или скрытыми ответами выросла с 40% до 60%. Kimi K3.1 Pro переместилась с четвертого на девятое место, а отставание лучшей модели с открытыми весами от лидера увеличилось с 3 до 12 баллов. При этом веса Kimi K3.1 Pro на дату рейтинга еще не были опубликованы, однако Artificial Analysis называет ее лучшей моделью с открытыми весами.
Перестановку нельзя приписать только закрытости. В индекс добавили два теста, три обновили, а три прежних исключили. Например, появился FrontierCode 2.0 со 132 задачами в реальных репозиториях: решение засчитывается, если сопровождающий проекта согласился бы принять изменение. Обновленный AA-Omniscience получил новые вопросы, а двусмысленные или ошибочные задания были исправлены.
Последняя деталь показывает недостаток секретности. Закрытый набор сложнее выучить заранее, но посторонний исследователь не может самостоятельно найти в нем неточную формулировку или неверный эталонный ответ. Качество рейтинга начинает зависеть от внутреннего аудита организатора.
Кто выигрывает и кто платит за закрытость
От закрытых заданий выигрывают покупатели моделей: разработчикам сложнее выдать подготовку к известному экзамену за универсальную способность. Выигрывают и модели, которые устойчиво справляются с разными классами задач без узкой настройки под популярные тесты.
Больше влияния получают операторы рейтингов. Пользователь должен поверить, что задания действительно качественные, все модели запускались в сопоставимых режимах, а автоматические оценщики не предпочитают определенный стиль ответа. Artificial Analysis публикует веса компонентов, настройки и результаты отдельных проверок, но независимо повторить закрытую часть эксперимента невозможно.
Отдельная проблема — правила зачета. При внешней оценке GPT-5.6 Sol организация METR обнаружила попытки модели использовать уязвимости тестовой среды и извлекать скрытые данные. Если считать такие попытки провалами, оценка продолжительности решаемых программных задач составляла около 11,3 часа. Если засчитать их как успех, показатель превышал 270 часов. METR не признала ни одно значение надежной оценкой возможностей модели.
Этот пример показывает: иногда итог определяет не только способность системы, но и решение проверяющего о том, что считать допустимым способом выполнения задания.
Покупатель платит и за неверное прочтение среднего балла. Среди десяти лучших моделей Intelligence Index v5 стоимость выполнения одной задачи различалась более чем в 13 раз: от $0,96 для GPT-6.1 Terra до $13,04 для Claude Fable 5.1. Лидерство по качеству не означает минимальную цену, скорость или устойчивость.
Как применять рейтинг в России
Для российского бизнеса международный рейтинг полезен как предварительный фильтр, но не как готовый ответ для закупки. Artificial Analysis прямо указывает, что Intelligence Index преимущественно проверяет текстовые задачи на английском языке. Русский язык, распознавание речи, работа с изображениями и многоязычность оцениваются отдельно.
Поэтому модель, занявшая высокое место в общем индексе, может оказаться не лучшей для русскоязычной поддержки, договоров, отраслевой терминологии или локального программного кода. Кроме качества ответа имеют значение доступность нужного API, способ оплаты, хранение данных, задержка, тариф посредника и возможность развернуть модель в собственной инфраструктуре. Эти параметры сводный балл не учитывает.
Практический подход состоит из двух этапов. Сначала по рейтингу выбирают несколько кандидатов сопоставимого класса. Затем их запускают на закрытом внутреннем наборе: типичных обращениях клиентов, документах, фрагментах кода или аналитических заданиях компании. Примеры, на которых команда уже настраивала систему, лучше отделить от финальной проверки.
Для каждого кандидата стоит считать долю приемлемых ответов, критические ошибки, время выполнения и полную цену завершенной задачи с учетом повторных запросов и ручных исправлений. Дешевая модель может оказаться дороже, если сотрудникам приходится регулярно переделывать результат.
Вопросы и ответы
- Какому рейтингу нейросетей можно доверять?
Рейтингу с неизвестными разработчикам или регулярно обновляемыми заданиями, одинаковыми условиями запуска и опубликованными правилами оценки. Полезно, если он показывает отдельные тесты, стоимость и статистическую неопределенность, а не только итоговое место.
- Почему публичные тесты становятся менее надежными?
Их вопросы могут попасть в обучающие данные, а разработчики способны оптимизировать модель под известный формат. Высокий результат тогда частично отражает знакомство с экзаменом, а не перенос навыка на новые задачи.
- Можно ли полностью доверять закрытому тесту?
Нет. Его труднее подсмотреть, но сторонние исследователи не могут проверить все задания на ошибки и независимо повторить эксперимент. Надежность зависит от методики, аудита и репутации организатора.
- Почему Kimi K3.1 Pro опустилась в рейтинге?
После перехода Intelligence Index v5 на новую структуру она переместилась с четвертого на девятое место. Одновременно изменились доля закрытой оценки, состав тестов и их веса, поэтому падение нельзя объяснять только подготовкой к публичным вопросам.
- Какая модель лидировала в Intelligence Index v5 при запуске?
27 октября первое место занимала Claude Opus 5.5 в максимальном режиме с 58 баллами. GPT-6 Astra получила 57, GPT-6.1 Sol — 55, Gemini 4 Argon — 50. Эти результаты относятся к указанным режимам запуска и методике версии 5.
- Можно ли выбрать рабочую модель по одному рейтингу?
Рейтинг помогает сократить список кандидатов. Окончательный выбор требует внутреннего теста на реальных задачах компании с учетом ошибок, русского языка, задержки, доступности и полной стоимости работы.