Модель Anthropic Fable 5 показала рекордный результат в тесте на автоматизацию фриланс-задач

Модель Fable 5 от Anthropic показала лучший результат в тесте Remote Labor Index (RLI), который оценивает, насколько ИИ способен выполнять реальные коммерческие фриланс-заказы на уровне, приемлемом для клиента. Как сообщает ZDNet, модель достигла уровня автоматизации 16,1%, опередив Anthropic Opus 4.8 и OpenAI GPT-5.5.

В RLI входят задачи вроде создания 3D-макета кольца, видеорекламы и планировки помещений. Моделям предоставляли исходные файлы и материалы так же, как это делают при постановке задачи обычному фрилансеру. После этого результаты оценивали люди, сравнивая их с работами профессионалов. По данным CAIS, Opus 4.8 набрала 8,3%, а GPT-5.5 получила 6,3%.

Тестирование Fable 5 прервали после того, как правительство США отключило модель в середине июня. Позже, 30 июня, доступ восстановили. Исследователи CAIS отмечают: даже если считать, что все незавершённые тесты были бы провалены, итоговый показатель Fable 5 составил бы 14,6%. Это всё равно выше результатов остальных моделей.

Авторы исследования отдельно подчёркивают, что нынешние показатели не говорят о скорой массовой замене фрилансеров. В CAIS считают, что для полноценной автоматизации компаниям понадобилась бы целая сеть агентов, способных контролировать качество работы, бюджет и сроки. Попытка заменить человека-оценщика на «LLM judge» тоже оказалась неудачной. Модели пока плохо справляются с задачами, где требуется работа в профессиональных приложениях и оценка результата на уровне клиента.