Как работает GPT3: обучение, параметры и генерация текста

Материал объясняет, как устроен GPT3, и помогает разобраться с тем, что происходит внутри крупных языковых моделей. Обученная языковая модель умеет генерировать текст и принимать текстовый ввод, который влияет на результат. Ответ строится на основе того, что модель усвоила во время обучения, анализируя большие массивы текстов. Сам процесс обучения выглядит так: модели показывают множество примеров и просят предсказать следующее слово. Затем вычисляется ошибка прогноза, параметры корректируются, и следующий предсказанный вариант становится точнее. Такой цикл повторяется миллионы раз.

Для обучения GPT3 использовался набор данных из 300 billion tokens текста, из которого формируются обучающие примеры. По оценке, обучение потребовало 355 GPU years и стоило $4.6m. После этого в работе используется один уже обученный вариант модели. GPT3 генерирует текст по одному token за раз (в упрощении token можно считать словом) и на каждом шаге вычисляет, какой token должен появиться следующим.

Архитектура GPT3, transformer decoder model, описанная в работе https://arxiv.org/pdf/1801.10198.pdf. Знания, полученные во время обучения, модель хранит в 175 billion чисел, которые называются parameters. Эти значения участвуют в вычислении следующего token; сами вычисления в основном сводятся к операциям matrix multiplication. Контекстное окно модели равно 2048 tokens, то есть одновременно обрабатывается 2048 позиций.

Основные вычисления проходят в стеке из 96 transformer decoder layers. В каждом используется 1.8B parameter. Одна из особенностей GPT3, чередование dense и sparse self-attention layers. Во время генерации каждый token проходит через весь стек слоев, после чего результат преобразуется обратно в слово.