Архив из 476 тысяч финансовых новостей, недели GPU-часов и пять разных постановок задачи дали ноль улучшений боевой торговой модели. Главный результат здесь не в том, что текст бесполезен. Он в том, насколько легко принять артефакт бэктеста за продукт и продолжить финансировать разработку.
Два успеха, которых не было
Автор разбора на Habr проверял интуитивную гипотезу о том, что новости двигают рынок. Для этого он собрал полный архив финансовых Telegram-каналов с 2021 года и последовательно попробовал пять подходов: от простых счетчиков упоминаний до NLP-разметки и поминутного event study.
Ни один подход не улучшил боевую модель. Но две версии сначала показали улучшение в бэктесте. По словам автора, если бы проверка закончилась на агрегатной цифре, вывод звучал бы убедительно: нейросеть с новостями торгует лучше.
Именно так обычно и рождается дорогая иллюзия. Команда показывает метрику, владелец видит положительную дельту, а текстовая модель получает кредит доверия просто потому, что выглядит сложнее базовой системы. Между тем положительная цифра еще не отвечает на четыре неприятных вопроса: был ли честно разделен временной ряд, превосходит ли результат модель без текста, переживает ли он смену сида и остается ли что-нибудь после комиссий.
Прототип ломается не на NLP, а на проверке
Этот эксперимент продолжает предыдущий разбор автора на Habr, где бэктест нейросети давал разброс до 10 процентных пунктов из-за сидового шума. Там использовались данные Мосбиржи, walk-forward-пайплайн и комиссии, включенные в расчеты. В новом материале тот же протокол применен к новостным признакам.
Для бизнеса это меняет порядок разработки. Обычно текстовый слой хочется добавить первым: собрать корпус, разметить тональность, посчитать эмбеддинги, подключить модель. Выглядит как работа, которую легко показать на демо. Но сначала нужен скучный контрольный контур: базовая модель без новостей, временное разделение данных, несколько запусков и расчет результата после издержек. Иначе команда оптимизирует не торговую систему, а презентацию торговой системы.
Особенно опасна агрегатная метрика. Она прячет момент возникновения эффекта и не показывает, сохраняется ли он вне выбранного периода. Поминутный event study в числе пяти проверенных постановок важен именно как попытка приблизить измерение к реальному событию, а не растворять новости в общей статистике. Но и эта постановка, по итогам автора, не улучшила боевую модель.
Отрицательный результат здесь полезен еще и своей ценой. На проверку ушли недели GPU-часов. Если заложить строгий протокол в начале, это стоимость исследования. Если сделать то же после сборки продукта, подключения данных и обещаний заказчику, это уже стоимость переделки плюс репутационный счет.
Что покупать вместо красивого бэктеста
Владельцу такого продукта не стоит финансировать «AI для трейдинга» по одной итоговой доходности. Покупать нужно доказательство добавочной ценности текста: сравнение с baseline без новостей, результат на данных из будущего относительно обучения, устойчивость к повторным запускам и итог после комиссий. Сам по себе большой корпус не создает преимущества. Он только дает модели больше способов найти удобную закономерность в прошлом.
Билдеру вывод тоже не запрещает работать с новостями. Он требует поменять точку остановки. Если текстовый слой не дает стабильной прибавки к простой модели в walk-forward-проверке, его не надо спасать следующей архитектурой только потому, что уже потрачены GPU-часы. Иногда лучший продуктовый результат NLP-команды состоит в том, чтобы вовремя доказать отсутствие продукта.
Маркер для следующих работ простой: публикуется ли рядом с лучшим бэктестом результат baseline без текста, нескольких сидов, временного теста и расчета после комиссий. Если этих четырех сравнений нет, перед нами пока не торговое преимущество, а гипотеза с красивой цифрой.