MIT Technology Review и Times of San Diego расследовали работу «виртуальной стены» на границе США и Мексики. Журналисты нашли случаи, когда люди проходили через зоны наблюдения AI-башен незамеченными, позднее погибали неподалеку, а их тела не находили неделями или месяцами.
Проблема оказалась не в одном неудачном алгоритме. Расследование описывает весь контур отказа: неисправные башни, пропуски со стороны моделей и сигналы, на которые не отреагировали сотрудники. Это важное различие для любого бизнеса, внедряющего компьютерное зрение в физическом мире. Модель может хорошо выглядеть в тестах, но продуктом безопасности становится только вся цепочка от исправной камеры до человека, который вовремя сделал нужное действие.
Масштабирование без аудита
США собираются потратить $1 млрд, чтобы к 2034 году утроить виртуальную стену. При этом CBP не публикует полную карту сети. Журналисты изучили почти 600 башен из примерно 800, которые, по данным правительства, работают сейчас, и насчитали более 1 050 погибших рядом с ними. Это неполная оценка, а не доказательство того, что технологии стали причиной смертей.
Но именно неполнота данных и есть управленческий провал. Только в 2024 году расследование обнаружило более 18 погибших возле башен на небольшом участке пустыни в Нью-Мексико. CBP теоретически знает, когда установили и включили каждую башню, однако, по словам источников издания, комплексного аудита эффективности не проводило, хотя соответствующие типы оборудования устанавливаются как минимум с 2015 года.
Не лучше устроен учет результата. Единого национального реестра смертей мигрантов нет, а внутреннюю систему Border Patrol неоднократно критиковали за пропуски. GAO также выясняло, что данные о случаях, когда технология помогла задержанию, были неточными и ненадежными. Получается знакомая корпоративная картина: устройств становится больше, подрядчики получают новые контракты, а ответ на вопрос «это вообще работает?» собрать не из чего.
Что проверять до нового контракта
Для заказчика вывод жесткий: количество камер и средняя точность модели не описывают внедрение. До расширения нужно отдельно считать доступность оборудования, реальные пропуски алгоритма, долю доставленных тревог, реакцию операторов и итог каждого инцидента. Причем учет нельзя оставлять только команде, заинтересованной показать успех проекта.
Ограничение очевидно: даже такая система не обязана предотвращать каждый инцидент. Но если заказчик не знает, где сломалась цепочка и сколько раз это произошло, дополнительная тысяча камер автоматизирует не безопасность, а уже существующую слепоту.