Исследователи изучили, как корректно оценивать неопределенность метрик качества текстовых классификаторов, в том числе моделей на базе больших языковых моделей. Такие системы часто применяют, чтобы измерять разные характеристики в текстах. В подтверждение их корректности обычно приводят показатели вроде recall и precision. Проблема в том, что эти метрики чаще всего публикуют как точечные оценки. Между тем они зависят от вариаций выборки, а показатели неопределенности рядом с ними указывают далеко не всегда.
Даже когда интервалы неопределенности рассчитывают, нередко используют методы, которые плохо работают при небольших размеченных наборах данных или при очень высоком качестве модели. В работе сравниваются разные способы построения доверительных интервалов для метрик производительности. Рассматриваются условия, типичные для социальных наук: малые и умеренные выборки, редкие конструкты, тексты, вложенные в отдельных респондентов.
Как сообщает arXiv cs.AI (Artificial Intelligence), серия симуляций показала, что наименее точными оказываются широко применяемые методы вроде Wald interval и basic percentile bootstrap. В ряде случаев их покрытие заметно ниже номинального уровня 95%. Более точные оценки дают методы Agresti-Coull, Wilson и Clopper-Pearson. Также хорошие результаты показал предложенный авторами подход pseudo-count regularized bootstrap.
Ключевые факты
Препринт arXiv:2606.26422v1 анализирует методы расчета доверительных интервалов для метрик классификации текста, включая случаи с небольшими и умеренными размерами выборок, редкими признаками и текстами, вложенными в отдельных людей.
В работе показано, что стандартные методы оценки интервалов, включая Wald interval и basic percentile bootstrap, демонстрируют наименьшую точность.
В симуляциях покрытие доверительных интервалов у этих стандартных методов иногда оказывается значительно ниже номинального уровня 95%.
Более точные результаты показали методы Agresti-Coull, Wilson, Clopper-Pearson и предложенный авторами pseudo-count regularized bootstrap.