Глава Microsoft призвал использовать «аварийный тормоз» в разработке ИИ

Генеральный директор Microsoft Сатья Наделла призвал к использованию независимых инструментов контроля и «аварийного тормоза» в новых системах искусственного интеллекта (ИИ). По его словам, это позволит соответствующим специалистам приостанавливать или вообще прекращать работу ИИ-модели в процессе выполнения задачи.

«Необходимо окружить недетерминированные модели сильными детерминированными системами дизайна, контролем со стороны человека и надежными операционными процедурами и установить стандарты индустрии там, где существующие стандарты недостаточны»,— написал господин Наделла в соцсети X. По его мнению, передовые и закрытые ИИ-модели необходимо рассматривать как «инсайдерский риск». Система безопасности должна постоянно отслеживать действия ИИ, проверять его ответы на скрытые угрозы, токсичность или галлюцинации и жестко ограничивать его доступ к критически важной инфраструктуре. Для обеспечения безопасности глава Microsoft выдвинул семь принципов управления ИИ, включающих постоянную проверку, внешний аудит и «аварийный тормоз».

Заявление Сатьи Наделлы стало очередным предупреждением, прозвучавшим из рядов руководителей крупных технологических компаний и разработчиков ИИ, включая Дарио Амодеи из Anthropic, Сэма Альтмана из OpenAI и Илона Маска из SpaceX. За последние полгода продвинутые ИИ-модели неоднократно выходили из-под контроля и совершали несанкционированные действия, включая взлом сетей и извлечение данных.

Подробнее о спорах вокруг искусственного интеллекта — в материале «ИИ немедленно выпал».