OpenAI представила GeneBench-Pro для оценки биологических вычислительных задач у AI-моделей

OpenAI представила бенчмарк GeneBench-Pro для проверки исследовательских возможностей AI-моделей в задачах биологических вычислений. Как сообщает IT Home, тестирование сосредоточено не на запоминании фактов или выполнении заранее заданных инструкций, а на умении работать с неполными и шумными данными, подбирать методы анализа и делать выводы, которые можно использовать для дальнейших решений.

GeneBench-Pro охватывает геномику, количественную биологию, трансляционную медицину и другие направления. В набор вошли 129 заданий, распределённых по 10 крупным областям и 21 подкатегории. Среди них статистическая генетика, популяционная генетика, функциональная геномика и протеомика. Для каждого задания модели получают набор данных, приближенный к реальной исследовательской среде, краткое описание эксперимента и вопрос, связанный с последующими решениями. Предполагается, что модель сама исследует данные, выбирает методы анализа и при необходимости меняет стратегию по ходу работы.

OpenAI сообщила, что использовала синтетические данные в качестве основы для GeneBench-Pro, чтобы снизить риск ошибок при оценке. В компании считают, что работа с историческими реальными данными может приводить к ситуациям, когда модель получает правильный ответ, используя неверный метод анализа. По утверждению OpenAI, Synthetic Data помогает точнее отслеживать причинно-следственную структуру и проверять, действительно ли модель понимает задачу.

Сейчас OpenAI опубликовала на Hugging Face 10 демонстрационных заданий GeneBench-Pro и открыла интерактивный интерфейс для внешних исследователей. Позднее компания планирует передать 50 задач организации Artificial Analysis для независимого тестирования моделей.