Bundesdruckerei запустила проект Möve для оценки LLM по требованиям госорганов Германии

Немецкая Bundesdruckerei развивает проект Möve для сравнения больших языковых моделей с учетом задач государственных учреждений. Система оценивает не только качество ответов, но и то, насколько модели соответствуют немецкому правовому и языковому контексту, требованиям безопасности, прозрачности и устойчивости. Как пишет Heise online, проект работает с 2025 года. Сейчас в нем уже более 50 моделей, включая GPT, Gemma, Llama, Claude, DeepSeek и Mistral.

В Bundesdruckerei считают, что международные рейтинги ИИ-моделей плохо отражают требования немецких ведомств. Обычно такие оценки сосредоточены на английском языке, математике и общих знаниях. В Möve для тестирования используют девять специализированных немецкоязычных наборов данных, созданных на основе реальных юридических текстов, административных документов и публикаций федеральных министерств. Framework проверяет, как модели работают с длинными документами, отвечают на вопросы, проводят тематический анализ и соблюдают принципы EU.

Отдельно в проекте оценивают фактическую точность и склонность моделей к галлюцинациям. Также учитываются энергоэффективность систем и то, насколько поставщики соблюдают требования европейского AI Act к прозрачности. По текущим результатам общего сравнения лидируют Gemma4 и GPT-40. Mistral Small 3.1 при этом остается единственной европейской моделью в первой десятке.

Следующее направление развития проекта связано с IT-безопасностью. Bundesdruckerei работает над этим вместе с BSI и Fraunhofer AISEC. Участники проекта считают, что мощные ИИ-модели могут применяться как для киберзащиты, так и для автоматизации атак.