Google Research представила TabFM для zero-shot работы с табличными данными

Google Research представила TabFM, foundation model для табличных данных, предназначенную для задач классификации и регрессии без обучения под конкретный датасет. Модель делает прогноз за один forward pass, ей не нужна отдельная настройка гиперпараметров или feature engineering. TabFM уже доступна на Hugging Face и GitHub.

Как сообщает MarkTechPost, в основе модели лежит подход in-context learning для табличных предсказаний: весь датасет подаётся как единый prompt с обучающими примерами и строками для предсказания. Архитектура сочетает идеи TabPFN и TabICL. В ней используются чередование attention по строкам и столбцам, сжатие строк в dense-векторы и отдельный Transformer, работающий с этими представлениями.

Для обучения TabFM в Google использовали сотни миллионов синтетических датасетов, созданных с помощью structural causal models. В компании объясняют это нехваткой открытых качественных табличных данных, а также ограничениями доступа к корпоративным наборам из-за приватности и проприетарных схем. В дальнейшем модель планируют добавить в Google BigQuery через SQL-команду AI.PREDICT.

Команда также протестировала TabFM на бенчмарке TabArena, где результаты сравниваются через Elo scores на основе head-to-head win rates.