Стартап Subquadratic представил модель SubQ с альтернативой механизму внимания трансформеров

Стартап Subquadratic из Майами объявил о разработке архитектуры ИИ‑модели, которая, по заявлению компании, снимает одно из ключевых вычислительных ограничений больших языковых моделей: квадратичную сложность механизма внимания в трансформерах. Модель под названием SubQ, как утверждают разработчики, может обрабатывать значительно большие объёмы текста, тратя меньше вычислительных ресурсов и энергии. Она также быстрее работает с длинными контекстами, например при анализе сотен документов или больших кодовых баз за один проход, пишет iXBT.

В основе подхода лежит отказ от стандартного механизма dense attention, который используется в трансформерах, и переход к варианту sparse attention. В классических LLM каждый элемент текста взаимодействует со всеми остальными, поэтому объём вычислений растёт квадратично по мере увеличения контекста. В Subquadratic говорят, что их метод выбирает лишь часть таких взаимодействий и тем самым снижает нагрузку. По словам компании, SubQ может работать с контекстом до 12 млн токенов, тогда как большинство современных моделей ограничены примерно 1 млн.

Сначала компания представила лишь ограниченные подтверждения, в основном внутренние тесты. Это вызвало скепсис в ИИ‑сообществе и напомнило многим о громких, но не всегда подтверждённых технологических заявлениях. Позднее Subquadratic опубликовала дополнительные результаты, включая независимое тестирование от Appen. В отчётах говорится о высокой скорости обработки по сравнению с подходами на основе FlashAttention и о конкурентоспособных результатах на бенчмарке LiveCodeBench. При этом специалисты отмечают, что бенчмарки не показывают всей картины реального применения. Они также указывают, что Subquadratic частично опирается на открытые модели семейства Qwen. Сейчас SubQ доступна ограниченному числу пользователей, включая корпоративных клиентов, поэтому полноценная независимая оценка модели пока невозможна.