Исследователи представили Pre-Flight, бенчмарк для проверки LLM на знания авиационных операций
Исследователи представили Pre-Flight, открытый бенчмарк для оценки того, насколько большие языковые модели корректно работают с авиационными операционными знаниями. В набор вошли 300 вопросов с вариантами ответов, подготовленных на основе международных стандартов и материалов по наземным операциям в аэропортах.
Как сообщает arXiv cs.AI (Artificial Intelligence), бенчмарк охватывает международные наземные операции в аэропортах, регуляторные требования ICAO и US FAA, общие авиационные знания, а также сложные операционные сценарии. Вопросы составляли и проверяли специалисты с опытом в управлении воздушным движением, наземных операциях и коммерческой авиации.
Авторы проекта считают, что существующие универсальные тесты не позволяют понять, насколько модели способны безопасно и корректно рассуждать в регулируемой авиационной среде с высоким уровнем риска. Для оценки используют фреймворк Inspect и стандартный формат тестирования с множественным выбором. Таблицу результатов планируют обновлять по мере появления новых моделей.
Ключевые факты
Pre-Flight включает 300 вопросов с множественным выбором.
Бенчмарк охватывает материалы по международным наземным операциям, требованиям ICAO и US FAA.
Вопросы готовили и проверяли специалисты по управлению воздушным движением, наземным операциям и коммерческой авиации.
Для оценки моделей авторы используют фреймворк Inspect и стандартный протокол тестирования с множественным выбором.