Немецкая Bundesdruckerei развивает проект Möve для сравнения больших языковых моделей с учетом задач государственных учреждений. Система оценивает не только качество ответов, но и то, насколько модели соответствуют немецкому правовому и языковому контексту, требованиям безопасности, прозрачности и устойчивости. Как пишет Heise online, проект работает с 2025 года. Сейчас в нем уже более 50 моделей, включая GPT, Gemma, Llama, Claude, DeepSeek и Mistral.
В Bundesdruckerei считают, что международные рейтинги ИИ-моделей плохо отражают требования немецких ведомств. Обычно такие оценки сосредоточены на английском языке, математике и общих знаниях. В Möve для тестирования используют девять специализированных немецкоязычных наборов данных, созданных на основе реальных юридических текстов, административных документов и публикаций федеральных министерств. Framework проверяет, как модели работают с длинными документами, отвечают на вопросы, проводят тематический анализ и соблюдают принципы EU.
Отдельно в проекте оценивают фактическую точность и склонность моделей к галлюцинациям. Также учитываются энергоэффективность систем и то, насколько поставщики соблюдают требования европейского AI Act к прозрачности. По текущим результатам общего сравнения лидируют Gemma4 и GPT-40. Mistral Small 3.1 при этом остается единственной европейской моделью в первой десятке.
Следующее направление развития проекта связано с IT-безопасностью. Bundesdruckerei работает над этим вместе с BSI и Fraunhofer AISEC. Участники проекта считают, что мощные ИИ-модели могут применяться как для киберзащиты, так и для автоматизации атак.
Ключевые факты
Проект Möve сравнивает более 50 LLM, включая GPT, Gemma, Llama, Claude, DeepSeek и Mistral
Для оценки используются девять немецкоязычных тестовых наборов данных на основе реальных юридических и административных документов
В текущем общем рейтинге лидируют Gemma4 и GPT-40
Bundesdruckerei развивает направление IT-безопасности совместно с BSI и Fraunhofer AISEC