LLM, большая языковая модель: что это, как её обучают и чем открытые модели отличаются от закрытых

LLM — сокращение от large language model, «большая языковая модель». Языковая модель, по определению учебного курса Google, оценивает вероятность того, что токен или цепочка токенов встретится в более длинном тексте. Токен — слово, часть слова или отдельный знак. Получив начало текста, модель выбирает самое подходящее продолжение, дописывает его и повторяет шаг, пока ответ не будет готов.

«Большой» модель называют за размер: в ней миллиарды параметров — числовых коэффициентов, которые настраиваются при обучении, — и обучают её на огромных массивах текста. Большинство современных LLM построено на архитектуре «трансформер», которую исследователи Google описали в статье «Attention Is All You Need» 12 июня 2017 года.

LLM и чат-бот — разные вещи. ChatGPT — приложение, а модели внутри него называются GPT-6 Luna, Sol и Astra. Так же устроены Claude, Gemini, DeepSeek, GigaChat и «Алиса AI»: у каждого сервиса есть интерфейс, поиск, память и инструменты, а отвечает языковая модель. Современные LLM принимают не только текст, но и изображения, а часть из них — звук и видео; такие модели называют мультимодальными.

Сначала модель проходит предобучение: читает тексты из интернета, книг и кода и учится угадывать следующий токен. Результат — базовая модель. Она умеет продолжать текст, но плохо следует просьбам пользователя. Такие версии иногда выкладывают отдельно — например, «Яндекс» 21 сентября 2026 года открыл претрейн-версию своей модели Alice AI Foundation LLM.

Из базовой модели делают ассистента. Схему описала OpenAI в работе об InstructGPT 4 марта 2022 года: модель GPT-3 дообучили на примерах ответов, написанных людьми, а затем — на оценках, в которых люди сравнивали ответы между собой (обучение с подкреплением на обратной связи от людей, RLHF). Оценщики предпочли ответы InstructGPT на 1,3 млрд параметров ответам исходной GPT-3 на 175 млрд — модели в сто с лишним раз больше.

Масштаб тоже меняет поведение. В статье о GPT-3 от 28 мая 2020 года OpenAI показала, что модель на 175 млрд параметров решает новые задачи по нескольким примерам в запросе, без дополнительного обучения. Этот приём — давать примеры прямо в промпте — с тех пор входит в базовые советы по работе с моделями.

Число параметров говорит о размере модели, контекстное окно — о том, сколько текста она обрабатывает за один запрос. Контекст измеряют в токенах; у Claude, по оценке Anthropic, 1 млн токенов — около 555 тысяч английских слов.

Многие крупные модели устроены как «смесь экспертов» (mixture of experts, MoE): параметров много, но на каждый токен работает лишь часть из них. Так модель остаётся быстрой и дешёвой в работе при большом общем размере. Разработчики закрытых моделей число параметров обычно не раскрывают.

Данные — на 14 ноября 2026 года, со страниц разработчиков. Прочерк — разработчик не указал значение на странице модели.

У открытой модели опубликованы веса — файлы с обученными параметрами. Их можно скачать и запустить на своём оборудовании, а условия использования задаёт лицензия. Веса DeepSeek V4.1 Flash и GigaChat 3.5 Reasoning выложены по лицензии MIT, Qwen3.8-27B и Alice AI Foundation LLM — по Apache 2.0; обе лицензии разрешают коммерческое использование. Mistral Large 4 распространяется по собственной лицензии Mistral с ограничениями для тех, кто продаёт доступ к модели как услугу.

Закрытые модели — GPT-6 у OpenAI, Claude у Anthropic, Gemini 4 у Google, основная модель «Яндекса» Alice AI LLM — работают только на серверах разработчика. Доступ к ним — через чат по подписке или через API с оплатой за каждый миллион токенов.

Локальная LLM — открытая модель, запущенная на собственном компьютере или сервере без обращения к облаку. Запросы и документы не покидают устройство, платить за токены не нужно, но нужна память, в которую помещаются веса.

Объём считается от числа параметров. В 16-битном формате каждый параметр занимает 2 байта, поэтому модель на 27 млрд параметров весит около 54 ГБ. Чтобы уместить её в видеокарту, веса сжимают до 8, 4 или даже 3 бит на параметр — это называют квантизацией. Модель становится в несколько раз легче, но теряет часть точности. В ноябре 2026 года энтузиасты так запустили Qwen3.8-27B на серверной видеокарте 2016 года.

Самые крупные открытые модели одному компьютеру не по силам. Для Mistral Large 4 Hugging Face описывает два пути: 2-битную версию на одном компьютере Apple с 512 ГБ общей памяти или распределённый запуск на нескольких серверных видеокартах — например, восьми Nvidia H200.

Для запуска на компьютере есть готовые программы. Ollama скачивает и запускает открытые модели на компьютере; по данным компании, модели через неё загрузили более 1 млрд раз. LM Studio — приложение с окном чата, которое работает на движках llama.cpp и MLX.

Компании подключают модели к своим программам через API. Клиенты платформы Yandex AI Studio в третьем квартале 2026 года израсходовали через API 946 млрд токенов — вчетверо больше, чем за весь 2025 год, сообщил «Яндекс» 29 октября.

• Нейросеть — более широкое понятие: LLM — нейросеть, обученная на тексте.
• Токен — единица текста, в которой модель читает запрос и пишет ответ.
• Промпт — текст запроса, который получает модель.
• ИИ-агент — программа, в которой LLM сама выполняет шаги задачи с помощью инструментов.
• RAG — подстановка в запрос найденных документов, чтобы модель отвечала по свежим или внутренним данным.
• AGI — гипотетический искусственный интеллект уровня человека; к нему компании относят свои планы, но не текущие LLM.