Сервис оценки ИИ-моделей Artificial Analysis 27 октября обновил Intelligence Index. Теперь 60% итоговой оценки основано на закрытых наборах заданий или отложенных ответах. После смены методики результат Kimi K3.1 Pro снизился с 55 до 46 баллов, а модель опустилась с четвёртого на девятое место.
На следующий день рейтинг возглавила Gemini 4 Carbon с 59 баллами. Kimi сохранила 46 баллов, но переместилась на десятую позицию.
| Срез рейтинга | Место Kimi K3.1 Pro | Баллы |
|---|---|---|
| Версия v4.3 | 4 | 55 |
| Версия v5 от 27 октября | 9 | 46 |
| Версия v5 после добавления Gemini 4 Carbon | 10 | 46 |
В актуальном срезе первые четыре места занимают Gemini 4 Carbon с 59 баллами, Claude Opus 5.5 с 58, GPT-6 Astra с 57 и GPT-6.1 Sol с 55.
Что изменилось в проверке моделей
Индекс объединяет девять испытаний по работе со знаниями, программированию, научным задачам и общим способностям. В версии v5 появились два новых теста, ещё три переработали. Закрытые задания сложнее заранее включить в обучающие данные, поэтому разработчикам труднее специально настраивать модели под известные вопросы — практику, которую называют benchmaxxing. Однако сторонние исследователи не могут полностью воспроизвести такие проверки и самостоятельно найти ошибки в заданиях. При подготовке v5 Artificial Analysis удалил или исправил неоднозначные и некорректные вопросы в одном из тестов.
В первой публикации v5 лидер опережал Kimi на 12 баллов против 3 баллов в предыдущей версии рейтинга. После появления Gemini 4 Carbon разрыв достиг 13 баллов. Это изменение связано с новой методикой и составом тестов, а не с обновлением самой Kimi. Moonshot AI уже открыла доступ к Kimi K3.1 Pro через свои сервисы и API, а полные веса модели обещала выпустить к 4 ноября. Среди моделей с уже опубликованными весами лучшие результаты в v5 показали DeepSeek V4.1 Flash 1017 и GLM-5.3 — по 32 балла.