GLARE: интерфейс на базе LLM для запросов к глобальным объяснениям моделей компьютерного зрения
Исследователи представили систему GLARE, интерактивный интерфейс на базе LLM. Он дает доступ к глобальным объяснениям для black-box классификаторов изображений через обычные текстовые запросы. Такие объяснения помогают понять, как модель ведет себя на уровне наборов данных, отдельных классов и контекста решений. Проблема в том, что обычно они устроены сложно и довольно монолитно, поэтому пользоваться ими на практике неудобно.
В GLARE центральная LLM работает как посредник. Она принимает вопрос пользователя на естественном языке и переводит его в структурированные SQL‑запросы к данным локальных объяснений. За счет этого можно гибко агрегировать информацию и не разбираться в низкоуровневых представлениях.
На каждый запрос система выдает ответ на естественном языке, добавляет статистику и при необходимости показывает локальные объяснения и визуализации, согласованные с намерением пользователя. Авторы проверили систему по нескольким направлениям: насколько точно она интерпретирует намерения, правильно ли сопоставляет запросы, умеет ли обобщать на новые запросы и наборы данных, а также как справляется с языковыми ошибками.
Результаты показывают, что LLM в роли посредника при формировании запросов заметно упрощает работу с глобальными объяснениями в задачах human-centered XAI.
Ключевые факты
В работе arXiv:2606.19735v1 представлен GLARE, LLM‑based интерактивный интерфейс для доступа к глобальным объяснениям black-box image classifiers через запросы на естественном языке.
Основной LLM в системе выступает посредником, переводя вопросы пользователя на естественном языке в структурированные SQL‑запросы к данным локальных объяснений.
Интерфейс возвращает ответы на естественном языке со статистикой, а также визуализации и поддержку локальных объяснений.
Система оценивается по интерпретации пользовательского намерения, точности сопоставления запросов, обобщению на новые запросы и наборы данных и устойчивости к языковым ошибкам.