Исследователи описали подход к адаптации LLM для задач транспортного инжиниринга
Исследование посвящено созданию специализированного генеративного ИИ-агента для транспортного инжиниринга на базе больших языковых моделей. Авторы отмечают, что универсальные LLM пока ограниченно работают в инженерных задачах: им не хватает данных о технических стандартах, профильной терминологии и отраслевой семантике.
Как сообщает arXiv cs.AI (Artificial Intelligence), для continued pretraining исследователи собрали корпус американских транспортных руководств, проектных рекомендаций и нормативных документов. Шесть современных LLM обучали по единой LoRA-схеме, отдельно контролируя сходимость и стабильность моделей.
Качество оценивали по метрикам BLEU-4 и ROUGE. Лучшее соответствие предметной области и более качественные ответы показали Qwen2.5-7B и LLaMA-3.1-8B. В итоге авторы пришли к выводу, что адаптация на базе LoRA способна повысить эффективность LLM в технических инженерных сценариях.
Ключевые факты
Для обучения использовался корпус американских транспортных руководств, проектных рекомендаций и нормативных документов
Исследователи провели continued pretraining шести LLM через единую LoRA-схему
Качество моделей оценивали с помощью метрик BLEU-4 и ROUGE
Qwen2.5-7B и LLaMA-3.1-8B показали наиболее высокое соответствие предметной области и качество ответов