RL-агент для скидок в онлайн-продуктах превзошёл ручную ценовую эвристику в симуляции
Исследователи описали систему динамического ценообразования на базе reinforcement learning для онлайн-магазина продуктов. Модель обучали назначать персональные скидки покупателям в симулированной среде. Она учитывала ценовую чувствительность, частоту покупок, ожидания по скидкам и риск порчи товаров. Агент получал награду только за текущую маржу, но, как отмечают авторы, всё равно научился учитывать долгосрочные эффекты, включая удержание клиентов и изменение ценовых ожиданий.
Как сообщает Towards AI, в симуляции использовался каталог из 25 товаров в пяти категориях. Продукты разделили на train, val и test-наборы так, чтобы в каждой выборке были представлены все категории. При этом модель оценивали на товарах, которых агент не видел во время обучения. Для выбора скидки система использовала данные о поведении пользователя и характеристиках товара, в том числе срок хранения и максимально допустимый размер скидки.
Авторы обучали recurrent PPO agent, который выбирал скидки из 11 дискретных уровней: от 0% до 100% с шагом 10%. В публикации говорится, что система смогла обойти вручную настроенный heuristic engine на двузначную величину по метрике эффективности, хотя конкретные показатели в приведённом фрагменте не раскрываются. Исследователи также отдельно выделили архитектурный приём, при котором critic получал доступ к скрытой информации, недоступной actor.
Ключевые факты
В симуляции использовался каталог из 25 товаров в пяти категориях.
Агент выбирал скидку из 11 дискретных уровней, от 0% до 100% с шагом 10%.
Для обучения применялся recurrent PPO agent.
Оценка модели проводилась на товарах, которых агент не видел во время обучения.