Языковую модель Talkie обучили только на текстах, опубликованных до 1931 года

27 апреля 2026 года исследователи Ник Левин, Дэвид Дювено и Алек Рэдфорд (бывший сотрудник OpenAI, ведущий соавтор статьи о работе генеративных моделей, положившей начало ChatGPT) представили языковую модель Talkie. В ней 13 млрд параметров. Модель обучили только на документах: книгах, газетах, журналах, патентах и судебных актах, изданных до 1 января 1931 года. Talkie выложена на Hugging Face под свободной лицензией Apache 2.0, а задать ей вопросы можно на сайте разработчиков.

Авторы описывают систему как «капсулу времени». Модель не знакома с современными словами и идеями. Например, она считает, что мобильным телефоном называют мегафон. Этим Talkie отличается от обычных LLM, которые обучают на данных из интернета. Полностью изолировать корпус от более поздней информации не получилось: в переизданиях старых текстов попадались предисловия и сноски, добавленные позже. Из-за этого возникла «временная утечка». В тестах выяснилось, что модель знает некоторые факты после 1930 года, например, что Франклин Рузвельт стал президентом в 1933-м.

По словам авторов, такой проект полезен для научных исследований. Он помогает изучать проблему «загрязнения» тестов при оценке языковых моделей. Современные системы нередко показывают высокие результаты на бенчмарках, потому что встречали ответы во время обучения; при этом ни один современный тест не существовал до 1931 года. Важная деталь и в том, что вся обучающая выборка находится в общественном достоянии, авторские права на эти тексты уже истекли. Кроме того, Talkie рассматривают как инструмент для экспериментов вокруг вопроса, который в феврале 2026 года сформулировал глава Google DeepMind Демис Хасабис: могла бы модель, обученная на данных до 1911 года, самостоятельно вывести общую теорию относительности, как это сделал Эйнштейн.