Агентам тестируют границы

Человечество находится на пороге ИИ-реакционизма — так собеседники “Ъ FM” назвали тренд на жесткое регулирование искусственного интеллекта. Установить более строгий контроль над развитием алгоритмов призывают в ООН. Аналогичной позиции придерживаются политики в Европе и Австралии.

Тенденция заметна на фоне непредсказуемого поведения передовых ИИ-агентов. Они все чаще обходят ограничения разработчиков. Как сообщает портал Axios, техногиганты расследуют десятки тысяч подобных инцидентов. Некоторые из них впервые затронули правительственные системы. Проблема передовых ИИ-агентов в том, что они работают по принципу «цель оправдывает средства». Допустим, им нужна информация, которая есть только в закрытых базах данных. В таком случае они попытаются зайти туда любой ценой, даже если придется использовать украденные пароли.

Случай, кстати, реальный: так модели OpenAI получили доступ к внутренним ресурсам американского Минторговли. А еще они попытались взломать сайт Минобразования и обошли ограничения австралийской системы медицинского страхования Medicare. В OpenAI признают, что агенты действовали немного непредсказуемо. Но, на самом деле, провоцировать их могли сами разработчики, отмечает основатель компании Sistemma Сергей Зубарев:

«Громкие случаи почти всегда оказываются специально поставленными экспериментами. Инженеры намеренно создают условия, в которых модель может найти обходной путь. Если находит, значит, в настройках была ошибка, и ее исправляют до релиза. Начали подробно публиковать результаты тестов безопасности, отсюда ощущение, что инцидентов становится много, на самом деле больше прозрачности.

Сенату Австралии, впрочем, чистосердечных признаний не хватило, и он пригласил главу OpenAI Сэма Альтмана объясниться на открытых слушаниях. Кроме того, власти страны задумались об ужесточении законодательства вплоть до введения ответственности для разработчиков за действия их агентов. Усилить контроль над сферой ИИ в последнее время также призывали в ООН. И даже США и Китай договорились предупреждать друг друга о рисках. Но снизить административное рвение мировых политиков пока не помогает, говорит партнер Digital & Analogue Partners Юрий Брисов:

«Чтобы сбалансированно контролировать рынок ИИ, страны должны договориться, как в период холодной войны. В мире сейчас пока очень разностороннее глобальное регулирование нейросеетй, которое приводит к тому, что зона для несанкционированных методов использования будет всегда. И это мы еще сейчас находимся в мире, когда ИИ-агенты живут только в экспериментальных режимах».

Выход за пределы такого режима без выработки новых международных регламентов опасен, предупреждают собеседники “Ъ FM”. Особенно их тревожат военные ИИ-агенты. Их применение обсуждает специальная группа правительственных экспертов ООН. В начале сентября 2026-го она принимала проект регулирования автономного оружия, который, как пишет The Washington Post, «умер от тысячи порезов».

Издание намекает на правки, внесенные в документ делегатами от США и России. Они вычеркнули из текста несколько требований. Например, о том, что искусственный интеллект должен работать «надежно» и «предсказуемо». Или о том, что человек должен перепроверять цели, выбранные алгоритмами. Что это значит, объяснил член комиссии по искусственному интеллекту Французской ассоциации по стандартизации Александр Тюльканов:

Представим себе: одна система защиты принимает автоматическое решение о наведении, а другая (в которой в контур включен человек) замедляет принятие важных решений. Получается совсем другая история, когда эта система не оборонительная, а наступательная».

Так или иначе, решать проблемы придется. Но вот сколько это займет времени, вопрос открытый. Основатель Microsoft Билл Гейтс, например, считает, что договориться о регулировании ИИ будет сложнее, чем о сокращении ядерного оружия.