Новости

Исследование сравнило методы оценки неопределенности метрик классификаторов и LLM

Обновлено: 1 июля 2026 г.

Почему это важно

Работа обращает внимание на проблему уверенности в метриках качества, которые часто используют как доказательство валидности моделей классификации текста и LLM. Это может сигнализировать, что практики оценки в исследованиях и прикладных проектах недооценивают неопределенность метрик и выбирают неподходящие методы доверительных интервалов. Для команд, применяющих автоматическую классификацию текста, это укладывается в более широкий тренд на более строгую статистическую проверку результатов моделей.

Исследователи изучили, как корректно оценивать неопределенность метрик качества текстовых классификаторов, в том числе моделей на базе больших языковых моделей. Такие системы часто применяют, чтобы измерять разные характеристики в текстах. В подтверждение их корректности обычно приводят показатели вроде recall и precision. Проблема в том, что эти метрики чаще всего публикуют как точечные оценки. Между тем они зависят от вариаций выборки, а показатели неопределенности рядом с ними указывают далеко не всегда.

Даже когда интервалы неопределенности рассчитывают, нередко используют методы, которые плохо работают при небольших размеченных наборах данных или при очень высоком качестве модели. В работе сравниваются разные способы построения доверительных интервалов для метрик производительности. Рассматриваются условия, типичные для социальных наук: малые и умеренные выборки, редкие конструкты, тексты, вложенные в отдельных респондентов.

Как сообщает arXiv cs.AI (Artificial Intelligence), серия симуляций показала, что наименее точными оказываются широко применяемые методы вроде Wald interval и basic percentile bootstrap. В ряде случаев их покрытие заметно ниже номинального уровня 95%. Более точные оценки дают методы Agresti-Coull, Wilson и Clopper-Pearson. Также хорошие результаты показал предложенный авторами подход pseudo-count regularized bootstrap.

Ключевые факты

Препринт arXiv:2606.26422v1 анализирует методы расчета доверительных интервалов для метрик классификации текста, включая случаи с небольшими и умеренными размерами выборок, редкими признаками и текстами, вложенными в отдельных людей.
В работе показано, что стандартные методы оценки интервалов, включая Wald interval и basic percentile bootstrap, демонстрируют наименьшую точность.
В симуляциях покрытие доверительных интервалов у этих стандартных методов иногда оказывается значительно ниже номинального уровня 95%.
Более точные результаты показали методы Agresti-Coull, Wilson, Clopper-Pearson и предложенный авторами pseudo-count regularized bootstrap.