Исследователи описали правила вызова LLM в потоковых системах через модель оценки риска
Исследователи предложили формальный подход для выбора момента, когда потоковой системе стоит обращаться к Large Language Models вместо более лёгких и быстрых моделей. В работе задачу описывают как последовательную остановку на основе риска: система активирует LLM, если функция риска по истории наблюдений превышает заданный порог.
Как пишет arXiv cs.AI (Artificial Intelligence), авторы получили несколько теоретических результатов для этой схемы. Они ввели ограничение на минимальный интервал между событиями, чтобы исключить частые повторные срабатывания, доказали оптимальность пороговых политик, а также описали гарантии для SPRT при оценённых параметрах и оценки regret для стационарных и меняющихся потоков данных.
Кроме того, авторы показали, что предложенная схема охватывает несколько известных классов триггеров, среди них event-triggered, optimal stopping, SPRT, CUSUM и Bayesian triggers. Для проверки предположений использовались данные о деградации турбин CMAPSS и реальные вызовы LLM.
Ключевые факты
Авторы получили оценку regret порядка O(sqrt(T log T)) для стационарных потоков данных
Для потоков с C_T changepoints приведена оценка O(sqrt((C_T + 1) T log T))
Для адаптивных порогов заявлена сходимость online gradient descent порядка O(1/sqrt(T))
Эксперименты проводились на данных деградации турбин CMAPSS с реальными вызовами LLM