OpenAI представила LifeSciBench, бенчмарк из 750 задач для…

OpenAI представила LifeSciBench, бенчмарк для проверки того, насколько современные AI‑модели способны решать задачи, возникающие в реальных исследованиях life sciences. В наборе 750 заданий, их подготовили профильные эксперты. Задачи покрывают семь типов рабочих процессов и семь биологических доменов, от genomics и medicinal chemistry до clinical и translational science. Каждое задание включает исходный запрос, дополнительные материалы и рубрику оценки. Формат ответа свободный. При этом около 79% задач требуют многошагового рассуждения или серии решений, в среднем речь идет примерно о четырех шагах.

Над созданием бенчмарка работали 173 ученых с PhD и опытом в biotechnology или pharmaceutical индустрии. Перед включением в набор задания проходили несколько уровней проверки: в среднем шесть автоматических циклов и минимум два экспертных ревью. Внутри набора также 1,062 прикрепленных артефакта. Это последовательности, изображения, таблицы, PDF и химические структуры. Примерно в 53% задач необходимо использовать хотя бы один такой материал. Качество дополнительно оценивала отдельная группа из 453 рецензентов. У 97% из них есть докторская степень, а согласованность оценок превысила 96% по критериям релевантности, рассуждения, обоснованности и полезности.

Система оценки опирается на рубрики, всего их 19,020 критериев, примерно по 25 на каждую задачу. Каждый критерий дает баллы за конкретный элемент ответа, это может быть факт, шаг рассуждения или числовой результат в допустимом диапазоне. Итог считается по двум метрикам: normalized rubric score и task pass rate. Задача засчитывается, если результат не ниже 70%. В тестировании участвовали пять моделей, они работали в режиме одного запроса с доступом к интернет‑поиску: GPT-Rosalind, GPT-5.5, Gemini 3.1 Pro, GPT-5.4 и Grok 4.3. Лучший результат показала GPT-Rosalind, normalized score 0.576 и pass rate 36.1%. Далее идут GPT-5.5 (0.519; 25.7%), Gemini 3.1 Pro (0.515; 23.6%), GPT-5.4 (0.479; 20.7%) и Grok 4.3 (0.399; 13.0%). GPT-Rosalind показала самый высокий средний результат в 386 из 750 задач, тогда как Gemini 3.1 Pro лидировала в 214.

Лучше всего модели справлялись со структурированными оценками. У GPT-Rosalind средний балл в категории Translation составил 0.712, в Scientific Communication 0.718. Значительно сложнее оказались задачи Design, Optimization, and Prediction и Analysis. В этих категориях GPT-Rosalind прошла соответственно 30.7% и 30.3% заданий. Использование дополнительных артефактов заметно ухудшало результаты. У GPT-Rosalind показатель падал с 45.1% на текстовых задачах до 28.1% на задачах с артефактами, у GPT-5.5 с 29.9% до 21.9%. Самыми трудными оказались требования к точным выходным данным. Успех по критериям sequence и structure варьировался от 46.9% до 18.0% в зависимости от модели.

Ключевые факты

OpenAI представила бенчмарк LifeSciBench: 750 задач по 7 рабочим процессам и 7 биологическим доменам, созданных 173 учёными со степенью PhD.

Система оценки включает 19 020 критериев (в среднем около 25 на задачу) и использует нормализованный балл и порог прохождения задачи на уровне 70%.

Лучшая модель GPT-Rosalind показала нормализованный результат 0.576 и долю пройденных задач 36.1%, тогда как GPT-5.5, 0.519 и 25.7%, Gemini 3.1 Pro, 0.515 и 23.6%.

Бенчмарк содержит 1 062 артефакта, при этом около 53% задач требуют хотя бы один артефакт; у GPT-Rosalind доля прохождения падает с 45.1% на текстовых задачах до 28.1% на задачах с артефактами.