Модель Pareto-DQN предлагает способ уменьшить «пузырь фильтров» в рекомендательных системах

Исследователи предложили архитектуру рекомендаций, нацеленную на снижение эффекта «пузыря фильтров» и семантической однородности контента. Такие проблемы возникают, когда системы рекомендаций оптимизируются главным образом под немедленное вовлечение пользователя. В результате алгоритмы могут усиливать замкнутые информационные циклы, а традиционные одноцелевые модели, включая классические Deep Q-Networks, оказываются плохо приспособлены к балансу между удержанием пользователей и более широкими общественными задачами, такими как разнообразие информации и справедливость по отношению к поставщикам контента.

Как сообщает arXiv cs.AI (Artificial Intelligence), в работе предложена многоцелевая схема обучения с подкреплением, где процесс рекомендаций формализуется как semantic multi-objective Markov decision process. Архитектура объединяет высокоточные semantic embeddings и агента Pareto-DQN. В такой постановке вовлечение, разнообразие и справедливость рассматриваются как отдельные сигналы вознаграждения, которые не сводятся к одной агрегированной метрике, что позволяет избежать проблем статической scalarization вознаграждений.

Эмпирические эксперименты на наборе данных MovieLens small показали, что стратегия выбора действий на основе hypervolume нарушает петли обратной связи, приводящие к «семантическому коллапсу». Поддерживая высокую вариативность state-trajectory, агент Pareto-DQN эффективно отображает Pareto frontier и достигает улучшений по дополнительным общественным целям при лишь незначительном влиянии на уровень вовлечения пользователей.