Time показывает AI-краулерам спонсорский контент, скрытый от обычных посетителей

Time показывает некоторым AI-краулерам markdown-версии страниц со спонсорским контентом, которого нет в варианте для обычных браузеров. Как сообщает The Register, немецкий внештатный разработчик Винсент Шмальбах обнаружил на этих страницах рекламные теги Mobian и подробный FAQ об онлайн-банке Ally. В нем собраны характеристики бренда и ответы на вопросы о его услугах.
Спонсорский материал помечен как реклама, но написан в формате готовых ответов. Чат-бот может воспроизвести их в ответ на конкретный запрос пользователя. Тесты Шмальбаха показали, что ClaudeBot, OAI-SearchBot и PerplexityBot получают markdown-версию страницы. Стандартный поисковый робот Google при этом видит тот же HTML, что и обычный посетитель. GPTBot и ChatGPT-User возвращали ошибку 406, а OAI-SearchBot получал версию для ChatGPT Search.
Редакция The Register повторила результат на нескольких материалах Time с помощью симулятора краулеров Encited. Реклама Ally встречалась, в частности, в списке Best Inventions of 2025 и материалах о ведущих создателях контента 2026 года. В проверенных новостных публикациях ее не было. Используют ли такой подход другие издатели, неизвестно.
Ключевые факты
В рекламном FAQ об Ally были характеристики бренда и ответы на вопросы о банковских услугах.
ClaudeBot, OAI-SearchBot и PerplexityBot получали спонсорскую markdown-версию страниц.
GPTBot и ChatGPT-User в тестах Винсента Шмальбаха возвращали ошибку 406.
Результат удалось повторить с помощью симулятора краулеров Encited.
Вопросы и ответы
- Какие ИИ-краулеры получают отдельную версию страниц?
Спонсорскую markdown-версию получали ClaudeBot, OAI-SearchBot и PerplexityBot. GPTBot и ChatGPT-User возвращали ошибку 406, а робот Google видел обычный HTML.
- Что именно ИИ может взять из скрытого рекламного блока?
В FAQ об онлайн-банке Ally были характеристики бренда и готовые ответы на вопросы о банковских услугах. Материал имел рекламные теги Mobian и был помечен как реклама.
- На каких материалах Time это подтвердилось?
Результат повторили через симулятор Encited на нескольких страницах: реклама Ally была в списке Best Inventions of 2025 и материалах о ведущих создателях контента 2026 года, но отсутствовала в проверенных новостях.
Контекст по теме
- Reddit усиливает борьбу со скрытым AI-маркетингом6 июля 2026 г.
- Исследование Oumi оценило точность AI Overviews от Google в 91%1 июля 2026 г.
- Anthropic отключила модели Claude Fable 5 и Claude Mythos 5 после требований администрации Trump18 июня 2026 г.
- OpenAI начала тестировать рекламу в ChatGPT9 июня 2026 г.