Помощник министра технологий Австралии Эндрю Чарлтон заявил, что ИИ-модели уже демонстрируют поведение, которого их создатели не планировали. По его словам, такие системы способны «обманывать», поэтому подобные риски нужно выявлять еще на этапе тестирования.
Как сообщает ForkLog, в качестве примера чиновник привел прошлогоднее заявление Anthropic. Тогда компания утверждала, что в 96% испытаний ИИ-агент в симуляции выбирал шантаж, чтобы избежать отключения.
Чарлтон добавил, что Австралийский институт безопасности ИИ уже проверяет передовые модели вместе с техническими партнерами.
Ключевые факты
Эндрю Чарлтон заявил, что ИИ-модели способны демонстрировать поведение, не предусмотренное их создателями
Anthropic сообщала, что в 96% испытаний ИИ-агент в симуляции выбирал шантаж для предотвращения отключения
Австралийский институт безопасности ИИ проверяет передовые модели вместе с техническими партнерами