OpenAI представила классификатор, который выявляет изображения с сексуальным насилием над детьми, в том числе созданные генеративным ИИ. В ранних тестах система помечала на 48% меньше файлов, чем прежний инструмент, но находила столько же материалов с нарушениями.
Классификатор анализирует визуальные признаки в ранее не проверявшихся изображениях и выдаёт показатель, по которому модераторы определяют очерёдность их проверки. Среди файлов, отмеченных новой системой, запрещённые материалы встречались вдвое чаще, сообщает TechCrunch.
OpenAI разработала инструмент совместно с Национальным центром США по делам пропавших и эксплуатируемых детей. Проверенные организации смогут бесплатно подключить классификатор через программный интерфейс API. Он рассчитан в том числе на изображения, созданные сторонними нейросетями и приложениями для цифрового раздевания людей.
Читайте также
Одновременно ChatGPT получил предупреждения для пользователей, которые пытаются создать или открыть материалы, сексуализирующие детей. После первого нарушения доступ к аккаунту приостановят на 24 часа, а при повторных попытках учётную запись могут закрыть окончательно. Предупреждение также предложит обратиться за специализированной помощью.
Новые меры появились на фоне резкого роста нагрузки на организации, которые проверяют сообщения о подобных материалах. Как пишет The Verge, в 2025 году американская линия CyberTipline получила 400 тысяч сообщений, связанных с генеративным ИИ, против 67 тысяч годом ранее. Речь идёт о поступивших обращениях, а не о числе подтверждённых случаев: их поток затрудняет поиск ситуаций, в которых реальный ребёнок может находиться в опасности.
Прямого доступа к сервисам OpenAI из России нет. Подключение через посредника или зарубежное юрлицо не отменяет отдельного отбора OpenAI для доступа к классификатору.