Исследование предполагает: искусственным системам может быть полезно ограничение памяти, похожее на человеческое. Речь о небольшом рабочем объеме, примерно 3–7 слов, с которым модель обрабатывает языковую информацию.
Предположение такое: когда объем памяти невелик, системе приходится «забывать» часть данных. Парадоксально, но именно это может помогать эффективнее осваивать язык. Контролируемое забывание, по мысли авторов, меняет сам процесс обучения и формирование структур, в отличие от ситуации с почти неограниченной памятью.
Как сообщает Hacker News, выводы исследования указывают: если ввести ограничения, похожие на человеческие, и сократить объем запоминаемой информации, модели ИИ могут учиться языку лучше.
Ключевые факты
Исследование показывает, что введение для ИИ человекоподобного ограничения памяти на уровне 3–7 слов может улучшить обучение языку.
Материал об исследовании опубликован в разделе новостей сайта mpi.nl.
Публикация с этой новостью на Hacker News набрала 2 points.
У обсуждения этой публикации на Hacker News 1 комментарий.