Palo Alto Networks описала атаки на основе «фантомных» доменов, которые генерируют LLM

Исследовательское подразделение Unit 42 компании Palo Alto Networks сообщило о новом типе атак, связанных с галлюцинациями больших языковых моделей. Как пишет iXBT, LLM нередко создают правдоподобные, но несуществующие адреса сайтов реальных брендов. Этим уже начали пользоваться злоумышленники: они заранее регистрируют такие домены, чтобы перехватывать трафик от ИИ-систем и их пользователей. Метод получил название phantom squatting.

Во время исследования специалисты проанализировали ответы двух LLM на массиве из 913 глобальных брендов. Из более чем 685 тысяч запросов модели сгенерировали около 2,1 млн URL. Свыше 809 тысяч из них оказались несуществующими доменами. После нормализации исследователи получили примерно 250 тысяч уникальных потенциально регистрируемых доменов, и часть из них уже была связана с вредоносной активностью.

В отчёте также приводятся примеры использования фантомных доменов для фишинга. В одном случае исследователи смогли предсказать регистрацию домена за 23 дня до того, как он действительно появился. Ещё один описанный эпизод длился 51 день: сначала домен сгенерировала модель, затем он попал в мониторинг, а позже использовался для фишинга через поддельное мобильное приложение.

По данным Unit 42, риск становится выше при интеграции ИИ в процессы разработки и агентные системы. Если LLM предлагают URL для API, webhook или внешних сервисов, такие адреса могут быть вымышленными. В автоматизированных CI/CD-конвейерах это создаёт риск утечки данных или подключения вредоносной инфраструктуры.