Исследователи представили трёхфазную RL-систему для персонализированного управления портфелем с учётом налогов

Исследователи представили трёхфазную систему глубокого обучения с подкреплением для персонализированного управления инвестиционным портфелем. По словам авторов, подход устраняет три ограничения предыдущих RL-систем для финансовых задач: зависимость от конкретных тикеров, использование одной цели оптимизации и статические пользовательские модели.

Как пишет arXiv cs.AI (Artificial Intelligence), на первом этапе система предварительно обучает кросс-активный энкодер без привязки к идентичности тикеров. Для этого используется self-supervised learning на мультиактивном наборе данных. Архитектура также включает замороженную параллельную ветку на базе Chronos, foundation-модели временных рядов на основе T5. Объединение реализовано через обучаемый gating-механизм. Авторы называют это первым применением foundation-модели временных рядов в RL для управления портфелем.

Согласно описанию работы, энкодер способен обобщаться на любые публично торгуемые активы через 50-мерный вектор наблюдаемых метаданных, без дополнительного обучения для новых тикеров. На втором этапе применяется MoE portfolio actor critic с PPO и reward-функцией, которая зависит от инвестиционной цели. Система одновременно поддерживает шесть целей: short-term alpha, short-term gain, long-term gain, capital preservation, tax-loss harvesting и long-term-gains-only.