Юджин Ян опубликовал материал о подходах к task-specific evals для LLM. Он разбирает, какие методы действительно работают, а какие на практике оказываются мало полезными. Текст посвящён тому, как оценивать модели в конкретных задачах, где нужны специализированные способы проверки.
В статье рассматриваются evals для нескольких типов задач: classification, summarization, translation, copyright regurgitation и toxicity. Автор показывает, как такие оценки применяются в реальной работе и какие из них дают полезные сигналы при проверке поведения моделей.
Отдельное внимание уделено различию между evals, которые помогают находить реальные проблемы моделей, и подходами, которые в подобных сценариях оказываются менее надёжными.