Исследователи представили трёхфазную систему глубокого обучения с подкреплением для персонализированного управления инвестиционным портфелем. По словам авторов, подход устраняет три ограничения предыдущих RL-систем для финансовых задач: зависимость от конкретных тикеров, использование одной цели оптимизации и статические пользовательские модели.
Как пишет arXiv cs.AI (Artificial Intelligence), на первом этапе система предварительно обучает кросс-активный энкодер без привязки к идентичности тикеров. Для этого используется self-supervised learning на мультиактивном наборе данных. Архитектура также включает замороженную параллельную ветку на базе Chronos, foundation-модели временных рядов на основе T5. Объединение реализовано через обучаемый gating-механизм. Авторы называют это первым применением foundation-модели временных рядов в RL для управления портфелем.
Согласно описанию работы, энкодер способен обобщаться на любые публично торгуемые активы через 50-мерный вектор наблюдаемых метаданных, без дополнительного обучения для новых тикеров. На втором этапе применяется MoE portfolio actor critic с PPO и reward-функцией, которая зависит от инвестиционной цели. Система одновременно поддерживает шесть целей: short-term alpha, short-term gain, long-term gain, capital preservation, tax-loss harvesting и long-term-gains-only.
Ключевые факты
Система построена как трёхфазная RL-архитектура для персонализированного управления портфелем
В первой фазе используется Chronos, foundation-модель временных рядов на основе T5
Энкодер работает с 50-мерным вектором наблюдаемых метаданных и не требует переобучения для новых тикеров
Во второй фазе применяется MoE portfolio actor critic с PPO для шести инвестиционных целей, включая tax-loss harvesting и capital preservation