Архитектура GLM 5.2: альтернативный подход к языковым моделям с открытыми весами
Большинство современных больших языковых моделей, распространяемых через Hugging Face, построены по одному и тому же принципу: стандартный causal decoder, который предсказывает следующий токен слева направо. Такой подход удобно обучать и масштабировать. Но у него есть ограничение: контекстное окно рассматривается как плоская однонаправленная последовательность. Из‑за этого модели хуже улавливают сложные связи внутри длинного контекста, а системы с большим контекстом, retriever‑механизмы и RAG‑пайплайны вынуждены компенсировать проблему дополнительными вычислениями.
Другой путь предложили исследователи из Zhipu AI и Tsinghua University, разработав архитектуру General Language Model (GLM). Она распространяется как открытая модель весов и отличается от стандартной GPT‑подобной автогенерации. Как пишет Towards AI, после выхода семейства GLM 5.2 разница в производительности на длинном контексте и задачах рассуждения стала заметнее.
Основная идея архитектуры связана с обучением на задаче autoregressive blank‑filling. Модель получает текст, в котором замаскированы непрерывные фрагменты, и должна восстановить их. Контекстная часть обрабатывается с полностью двунаправленным self‑attention, а замаскированные сегменты генерируются с использованием autoregressive causal matrix. Такой гибридный подход отличается от BERT, где применяется двунаправленное маскирование.
В GLM 5.2 также пересмотрен механизм вызова инструментов. В типичных agent‑фреймворках модель сначала генерирует JSON или XML, затем middleware вроде LangChain разбирает строку, запускает функцию и отправляет новый запрос, снова передавая контекст. Каждый такой цикл может добавлять от 500ms до 2 seconds сетевой и промежуточной задержки.
В GLM 5.2 выполнение инструментов встроено прямо на уровне предобучения. Вызовы представлены как нативные переходы токенов внутри словаря модели и отображаются в единые logits. По описанию подхода, это позволяет снизить задержку примерно с 1.2 seconds до менее чем 50 milliseconds при взаимодействии, например, с метриками акций или драйверами баз данных.
Ключевые факты
Архитектура GLM была разработана исследователями Zhipu AI и Tsinghua University и использует open-weights подход, отличающийся от стандартных GPT‑style autoregressions.
Семейство моделей GLM 5.2 обучается на autoregressive blank-filling objective: модель маскирует непрерывные фрагменты токенов во входном контексте и восстанавливает их авторегрессионно.
В архитектуре GLM контекстный блок обрабатывается через полностью двунаправленное self-attention, а замаскированный блок, через причинную autoregressive‑матрицу.
В стандартных агентных фреймворках цикл вызова инструмента может добавлять от 500 ms до 2 секунд задержки, тогда как в GLM 5.2 заявлено снижение задержки с 1.2 секунд до менее чем 50 миллисекунд за счёт нативных token transitions для выполнения инструментов.