Анализ внутренних механизмов моделей Gemma-2B и Gemma-12B-IT показал, что извлечение фактической информации можно представить как процесс из трёх фаз. В исследовании применили метод activation patching. Он позволяет проследить путь данных через слои трансформера и увидеть, какие именно компоненты участвуют в формировании ответа.
Результаты указывают на последовательную логику работы модели. Сначала факты где-то закрепляются внутри сети, затем передаются между слоями, после чего происходит их «считывание», когда формируется итоговый ответ. Такой разбор помогает точнее определить участки архитектуры, связанные с фактическими знаниями, и понять, как информация перемещается между различными частями модели.
Значительная доля обработки проходит внутри residual stream. Этот общий поток переносит данные между слоями трансформера и объединяет их. Как сообщает Towards Data Science, наблюдаемая картина в Gemma-2B и Gemma-12B-IT показывает, что этапы хранения, передачи и извлечения фактов распределены по разным слоям, но остаются связанными единым потоком данных внутри residual stream.
Ключевые факты
В материале рассматривается «трёхфазная схема фактического воспроизведения» в моделях Gemma-2B и Gemma-12B-IT.
Для анализа внутренних механизмов используется метод activation patching.
Анализ показывает, как факты в моделях проходят стадии хранения, маршрутизации и извлечения через слои трансформера.
Отмечается, что основная часть работы по передаче информации выполняется residual stream.