Турнир алгоритмов машинного обучения: задача с 2000 признаками и почти полностью шумными данными

Исследователь провёл эксперимент, где 21 алгоритм машинного обучения проверили на необычном стресс‑тесте для табличных данных. В набор участников вошли как простые базовые методы, например linear regression, k-NN и Random Forest, так и популярные бустинговые модели XGBoost, LightGBM и CatBoost. Туда же добавили несколько multi-layer perceptrons и attention-based neural networks. Отдельно протестировали малоизвестную архитектуру Polyharmonic Cascade, глубокую модель, основанную на принципах теории random functions и indifference.

Задачу сформулировали как регрессию. Данные брали из изображения: на вход модели подавались координаты точки на плоскости (x и y), а целевым значением становилась нормализованная яркость соответствующего пикселя в диапазоне от 0 до 1. При разрешении 512x512 получается датасет из 262,144 примеров. Из них 240,000 используются для обучения, 22,144 для тестирования, перед разделением данные случайно перемешиваются.

Главная сложность эксперимента заключалась в искусственно увеличенной размерности входных данных. Вместо двух координат модели получали сначала 500 признаков, затем 1000 и 2000. Реальными координатами были только два из них. Остальные 498, 998 и 1998 представляли собой шум, при этом алгоритмы не знали, какие признаки несут полезную информацию. Как сообщает Towards AI, в такой постановке задача превращается в поиск «двух иголок» среди тысяч нерелевантных признаков и позволяет проверить, насколько разные методы машинного обучения устойчивы к экстремально зашумлённым табличным данным.