Аудит дошел до ИИ

Руководители Google, Anthropic, Meta (признана экстремистской и запрещена в РФ), OpenAI, xAI и Nvidia 29 сентября подписали с президентом США Дональдом Трампом White House Accord on Super Intelligence — добровольное соглашение о контроле за наиболее продвинутыми ИИ-моделями. Копию документа президент США опубликовал в Truth Social.

Как следует из текста соглашения, компании обязались ввести четыре уровня контроля. Первый предполагает мониторинг возможностей и поведения моделей при обучении и после запуска. Особое внимание предлагается уделять киберугрозам, биологическим и химическим рискам, а также способности моделей взламывать технические системы или получать к ним непредусмотренный доступ. На втором уровне работу механизмов контроля должна проверять отдельная внутренняя команда. Третий предусматривает независимую внешнюю проверку, четвертый — надзор со стороны независимого комитета совета директоров.

При этом в соглашении не определены единые методы тестирования, требования к внешним аудиторам и порядок публикации результатов проверок. Компании договорились регулярно обсуждать общие стандарты и лучшие практики. В документе также говорится, что в дальнейшем его положения могут быть закреплены законодательно. Пока соглашение носит добровольный характер.

Документ прежде всего носит декларативный характер и показывает, что разработчики признают риски создания передовых моделей ИИ при недостаточном контроле за средой их разработки, считает директор по развитию искусственного интеллекта «Т-Технологий» Алексей Шпильман. Оценить его практическое значение можно будет после появления конкретных методик контроля, добавляет он.

В значительной степени соглашение закрепляет практики, которые крупнейшие разработчики уже используют, говорит руководитель научной группы «Доверенные и безопасные интеллектуальные системы» Института AIRI Олег Рогов. У Anthropic действует Responsible Scaling Policy, у OpenAI — Preparedness Framework, у Google DeepMind — Frontier Safety Framework. Оценка опасных возможностей моделей во время обучения и перед выпуском, а также защитные механизмы после запуска уже стали распространенной практикой, поясняет эксперт.

Главное отличие нового соглашения руководитель ML-группы анализа событий безопасности Александр Мамылов видит в формализации многоуровневой проверки. По его словам, документ переносит на ИИ схему, близкую к финансовому аудиту: внутреннюю систему контроля дополнительно проверяет независимая сторона, а результаты выносятся на уровень совета директоров.

При этом возможности внешнего аудита ограничены, отмечают эксперты. По словам Олега Рогова, аудитор может установить, проводила ли компания предусмотренные оценки, документировала ли решения, насколько модель устойчива к известным атакам и как защищены ее веса и инфраструктура. Однако подтвердить отсутствие у модели неизвестных опасных возможностей невозможно, отмечает Александр Мамылов: тестирование позволяет обнаружить проблему, но не доказать ее отсутствие. Результаты проверки, по его словам, также могут быстро устаревать по мере развития модели. Общих требований к проведению такого аудита и квалификации аудиторов в отрасли пока не сложилось.

Наиболее развит сегодня инструментарий оценки киберрисков, считает господин Рогов. В этой области результат теста можно проверить напрямую: например, смогла ли модель использовать уязвимость на тестовом стенде. При этом разработчики используют разные методики, хотя уже существует набор бенчмарков, позволяющий сопоставлять результаты, поясняет эксперт.

Оценка биологических и химических рисков устроена сложнее. По словам Александра Мамылова, прямая проверка некоторых опасных возможностей потребовала бы воспроизведения потенциально опасного сценария, поэтому разработчики используют косвенные тесты знаний и возможностей моделей. В отдельных случаях такая оценка выходит за пределы компьютерного тестирования и требует участия профильных специалистов, добавляет Олег Рогов.

Риск несанкционированного доступа моделей к техническим системам ближе к задачам классической информационной безопасности, считает господин Мамылов. Здесь применимы изоляция систем, минимизация привилегий, мониторинг и журналирование действий ИИ-агентов. Уровень такого риска зависит не только от самой модели, но и от защищенности ИТ-инфраструктуры разработчика, добавляет Олег Рогов.

Тогда же, 29 сентября, Белый дом опубликовал указ Дональда Трампа Inaugurating the Era of Super Intelligence. Он предписывает федеральным ведомствам использовать в официальных документах, на сайтах и в публичных коммуникациях термин Super Intelligence (SI) вместо Artificial Intelligence (AI). Как следует из указа, пока под SI понимаются технологии, подпадающие под действующее в американском законодательстве определение искусственного интеллекта.

Новое соглашение стало не первой добровольной инициативой властей США в сфере контроля наиболее мощных ИИ-моделей. В июне администрация господина Трампа поручила федеральным ведомствам разработать закрытую систему тестирования продвинутых кибервозможностей ИИ и определить порог для категории covered frontier model.

Добровольные обязательства действовали и раньше. В 2023 году по инициативе администрации Джо Байдена крупнейшие разработчики согласились проводить внутреннее и внешнее тестирование наиболее мощных моделей на биологические, химические и киберриски, а также раскрывать процедуры таких проверок в отчетах о прозрачности, следует из опубликованного Белым домом текста обязательств.