Google DeepMind провела пилотную оценку Gemini, при которой компания не видела тестовые вопросы, а организаторы теста не получали веса модели. Это снимает старый конфликт закрытых eval: чтобы проверить внешнюю модель, больше не обязательно сначала показать вендору свой секретный экзамен. Но считать задачу решённой рано. Google всё ещё участвует в проверке среды, а повторяемость схемы за пределами её инфраструктуры пока не доказана.
Что именно спрятали
Как пишет The New Stack, в пилоте Gemini 2.5 Flash Lite проверяли на частных бенчмарках MLCommons и Singapore AI Safety Institute. Google называет это первой двойной слепой оценкой проприетарной frontier-модели: оценщики не видят веса Gemini, Google не получает их промпты и код оценки.
Обе стороны передают свои закрытые компоненты по зашифрованным соединениям в изолированную среду. Она собрана на Google Cloud Confidential Space, NVIDIA H100 Confidential GPU и шифровании памяти хоста Intel TDX. Веса модели хранятся в аппаратно зашифрованной памяти GPU, вопросы теста находятся в зашифрованной памяти хоста. После прогона оценщик получает только разрешённые результаты, а временную среду можно уничтожить.
Перед загрузкой данных remote attestation проверяет, что внутри запущен согласованный сторонами софт. Одного шифрования недостаточно: код с сетевым доступом теоретически может отправить чувствительные данные наружу. Поэтому OpenMined PySyft позволяет Google и оценщику заранее одобрить код и запретить чувствительным частям теста внешние соединения.
Для корпоративного eval это и есть полезная часть новости. Секретом должны оставаться не только вопросы, но и логика оценки, а контролировать нужно не абстрактную «защищённую среду», а конкретный код, сетевые разрешения и состав выдаваемого результата.
Почему обычный API больше не годится как нейтральный экзаменатор
Закрытые модели ставят покупателя в неудобное положение. Если отправить тест через API поставщика, тот технически получает доступ к набору, который должен оставаться частным. Если запускать модель у себя, поставщику придётся передать её веса. Обычно ни одна сторона на это не согласна, поэтому независимость проверки заканчивается там, где начинается форма отправки промпта.
Проблема уже не академическая. Технический отчёт Google ссылается на исследование, обнаружившее признаки утечки бенчмарков примерно у половины из 31 проверенной модели, и на другую работу, где загрязнение данных повышало результаты, особенно у более крупных моделей. Чем чаще публичный тест цитируют, обсуждают и используют для оптимизации, тем меньше его высокий балл говорит о способности модели решать действительно незнакомые задачи.
Отсюда практический вывод для бизнеса: частный eval становится активом, который не стоит без необходимости передавать участнику сравнения. Особенно если по его результатам выбирают модель, пересматривают контракт или решают, какой агент получит доступ к рабочему процессу. Экзамен, заранее лежащий на столе у сдающего, может быть прекрасно автоматизирован, но независимым от этого не становится.
Доверие не исчезло, а сменило адрес
Пилот снижает объём взаимного доверия, но не превращает вычисление в математически нейтральный сейф. The New Stack отмечает, что отдельные сборки гостевой ОС Confidential Space нельзя независимо воспроизвести: они зависят от закрытых ключей подписи. Сервисы Google также подписывают и проверяют отчёт аттестации.
Остаётся доверие к железу и предположение, что облачный провайдер и производитель оборудования не обходят защиту совместно. Сам бенчмарк тоже нужно аккуратно администрировать, на что отдельно указывает MLCommons. Иными словами, threat model стал лучше, но не короче.
При этом вычислительная цена выглядит не главным препятствием: в работе указаны накладные расходы менее 5%. Больше усилий требуют юридические соглашения и взаимная проверка кода. Это важная поправка для закупщика. Такой eval стоит обсуждать не только с ИТ-командой, но и с теми, кто согласует доступ, ответственность и допустимый формат результатов.
Пока схема проверена на Gemini 2.5 Flash Lite и одном H100 с 80 ГБ памяти. Исследователи рассматривают кластеры H100 и B200 с зашифрованными соединениями, чтобы тестировать модели, не помещающиеся на одной GPU. Но из этого ещё не следует, что механизм уже стал универсальным протоколом для любого вендора.
Маркер зрелости здесь конкретный: появятся ли такие eval у другой закрытой модели, с независимо воспроизводимой аттестацией и без сервисов самого проверяемого вендора в роли подписанта. До этого момента бизнесу стоит использовать разработку Google как шаблон требований: кто видит вопросы, кто утверждает код, куда разрешён сетевой выход, что возвращается после теста и можно ли независимо проверить среду. Если на эти пять вопросов нет точных ответов, обещание конфиденциальности пока остаётся обещанием.