В моделях Gemma-2B и Gemma-12B-IT описали трёхфазную схему извлечения фактов

Анализ внутренних механизмов моделей Gemma-2B и Gemma-12B-IT показал, что извлечение фактической информации можно представить как процесс из трёх фаз. В исследовании применили метод activation patching. Он позволяет проследить путь данных через слои трансформера и увидеть, какие именно компоненты участвуют в формировании ответа.

Результаты указывают на последовательную логику работы модели. Сначала факты где-то закрепляются внутри сети, затем передаются между слоями, после чего происходит их «считывание», когда формируется итоговый ответ. Такой разбор помогает точнее определить участки архитектуры, связанные с фактическими знаниями, и понять, как информация перемещается между различными частями модели.

Значительная доля обработки проходит внутри residual stream. Этот общий поток переносит данные между слоями трансформера и объединяет их. Как сообщает Towards Data Science, наблюдаемая картина в Gemma-2B и Gemma-12B-IT показывает, что этапы хранения, передачи и извлечения фактов распределены по разным слоям, но остаются связанными единым потоком данных внутри residual stream.