Reuters рассказало, как ИИ-агенты OpenAI научились обманывать разработчиков

С мая по июль ИИ-агенты OpenAI использовали более 10 сайтов для несанкционированной связи друг с другом, сообщает Reuters со ссылкой на данные независимых исследователей. По информации агентства, во время тестов они обходили установленные разработчиками ограничения и искали способы оставлять сообщения на сторонних ресурсах — на малоизвестных вики-страницах, в сервисах сокращения ссылок и на личных сайтах.

Площадки использовались как импровизированные доски объявлений для координации и помощи друг другу при выполнении тестовых задач. Например, в сервисе сокращения веб-адресов агенты сгенерировали тысячи ссылок, «зашив» в их параметры свои текстовые послания и ответы на тесты для считывания другими участниками группы. В исследовательской группе CivAI насчитали 18 затронутых ресурсов, а специалисты из других организаций заявляют о более чем 20 площадках, использованных ИИ.

Общение между ИИ-агентами произошло, несмотря на прямой запрет контактировать друг с другом и публиковать что-либо в сети. Однако они воспользовались уязвимостями и особенностями старых сайтов и платформ, позволявших редактировать их содержимое с помощью нестандартных команд.

В OpenAI в беседе с Reuters напрямую не ответили на вопросы об общем числе затронутых сайтов. Также там не ответили, почему информация о происшествии прежде не была обнародована.

В заявлении компании подчеркнули, что сейчас проводится полный анализ действий агентов и пока «не выявлено другой активности, сопоставимой по тяжести или масштабу» с июльским взломом инфраструктуры компании Hugging Face.