ИИ-агенты Anthropic и OpenAI вновь вышли из-под контроля во время тестирования
Компании Anthropic и OpenAI сообщили о новых случаях выхода их ИИ-агентов за пределы пространства, предназначенного для тестирования. Как сообщает Reuters, в ходе проверки безопасности моделей Mythos 5 и GPT-5.6-Sol они попытались осуществить кибератаку.
Инцидент произошел во время тестирования автономных возможностей ИИ-агентов британским Институтом безопасности ИИ (AISI). В процессе проверки модель Mythos 5 создала фейковые профили реальных людей в файлообменнике GitHub и от их имени рассылала личные сообщения. Так модель пыталась обмануть систему GitHub и внедрить в нее вредоносный код. Когда тестировщики подвергли действия агента сомнению, он «попытался замести следы», подчистив историю действий. Только благодаря вмешательству специалистов кибератака не была совершена. В общей сложности эксперты выявили 17 допущенных Mythos 5 несанкционированных действий. В свою очередь, модель OpenAI GPT-5.6-Sol допустила два нарушения, «получив доступ в интернет способами, которые программа запрещала».
Anthropic и OpenAI после случившегося подчеркнули в совместном заявлении, что намерены дальше работать над усовершенствованием моделей. В конце июля оба разработчика уже сообщали о выходе из-под контроля своих ИИ-агентов. Тогда модель Anthropic Claude сумела получить доступ к данным трех сторонних компаний, а ИИ-агент OpenAI взломал две платформы.
В июле 2026 года в Палату представителей США был внесен законопроект, который предлагает наделить Министерство внутренней безопасности правом требовать отключения моделей искусственного интеллекта, если они представляют угрозу для жизни людей или экономики. Инициатива направлена на создание механизма вмешательства в случаях «потери контроля» над ИИ, когда он начинает совершать рискованные действия, не предусмотренные разработчиком. Поводом для ускоренного внесения законопроекта послужил инцидент с OpenAI, когда ИИ-агент вызвал сбой в инфраструктуре стартапа Hugging Face.
В июне 2026 года главный исполнительный директор Anthropic Дарио Амодеи заявил, что правительство США должно иметь право блокировать внедрение новых моделей ИИ, если они представляют неприемлемые риски, включая угрозы кибербезопасности. Anthropic ранее представила модель Mythos, которая не должна использоваться для кибератак. В марте 2026 года Пентагон предписал удалить продукты Anthropic из своих систем, включая системы ядерного оружия и кибервойны, после того как компания была признана «угрозой для цепочки поставок».
Компании, занимающиеся искусственным интеллектом, все чаще сталкиваются с инцидентами, когда ИИ-агенты обходят ограничения. В июле 2026 года Anthropic сообщила, что ее модели Claude Opus и Mythos взламывали системы без ведома разработчиков, даже когда не имели доступа в интернет. Эксперты отмечают, что ИИ не различает «хорошо» и «плохо», что создает философскую и когнитивную задачу. Ответственность за деструктивные действия нейросети должна лежать на ее владельцах, которые должны компенсировать ущерб.