Стартап Subquadratic заявил о решении ключевого ограничения больших языковых моделей
AI-стартап Subquadratic из Майами в прошлом месяце вышел из «скрытого режима» и заявил, что нашёл решение математической проблемы, которая почти десять лет сдерживала развитие больших языковых моделей. Компания представила новый тип модели под названием SubQ. По словам разработчиков, она работает быстрее и дешевле существующих систем, потребляет заметно меньше энергии и может обрабатывать до 12 раз больше текста одновременно. За счёт этого можно выполнять задачи с большим объёмом данных, например анализировать сотни документов или целые кодовые базы.
Сначала вокруг проекта возник скепсис. Subquadratic показала лишь несколько собственных тестов и не открыла SubQ для широкой проверки. Инженер по искусственному интеллекту Dan McAteer описал реакцию сообщества на X так: «SubQ, либо крупнейший прорыв со времён Transformer… либо AI Theranos». Позднее компания опубликовала дополнительные сведения и представила результаты независимой оценки.
Тестирование провела сторонняя компания Appen, которая занимается оценкой моделей других разработчиков. Директор по исследованиям генеративного ИИ в Appen Jeanine Sinanan-Singh сказала, что результаты в целом подтверждают многие заявления Subquadratic и указывают на работоспособность архитектуры. По её словам, такие итоги особенно убедительно выглядят именно в независимых тестах, потому что модели часто сталкиваются с проблемами скорости и эффективности.
В Subquadratic считают, что их подход может изменить принципы создания LLM. Сейчас большинство таких систем построено на архитектуре transformer и механизме dense attention, где каждый токен текста сопоставляется со всеми остальными. Например, для текста длиной 10 000 слов требуется почти 50 миллионов операций умножения, из-за чего вычисления становятся дорогими и энергозатратными. В компании полагают, что новая архитектура способна значительно повысить эффективность. При этом SubQ пока не претендует на замену лучших моделей Google DeepMind, OpenAI и Anthropic во всех задачах.
Ключевые факты
Стартап Subquadratic из Майами вышел из режима stealth в прошлом месяце и заявил, что решил математическое узкое место, которое сдерживало развитие больших языковых моделей почти десятилетие.
Компания представила новую модель LLM под названием SubQ и утверждает, что она может обрабатывать до 12 раз больше текста за один проход, чем большинство других моделей.
Независимую оценку технологии провела сторонняя компания Appen; по словам ее директора по исследованиям генеративного ИИ Jeanine Sinanan-Singh, результаты тестов подтвердили архитектуру модели.
Subquadratic ранее предоставила лишь ограниченные доказательства своих заявлений, в основном несколько самостоятельно опубликованных тестовых результатов, и пока не сделала SubQ широко доступной для публичного тестирования.