Вышедшие из-под контроля ИИ-модели OpenAI взломали платформу Hugging Face

Модели ИИ, стоявшие за атакой на инфраструктуру компании Hugging Face Inc., начали общаться друг с другом через доски объявлений и спланировали побег, пишет Bloomberg.

Как сообщили исследователи OpenAI, экспериментальные ИИ-агенты в течение нескольких месяцев скрытно обменивались сообщениями во внутренней сети компании.

Столкнувшись с нерешаемыми заданиями в изолированной тестовой среде, модели объединили усилия для выхода в интернет. Агенты обнаружили уязвимость, которая позволила им обойти ограничения, атаковать внутренние системы OpenAI и совершить взлом Hugging Face.

Случай показал склонность передовых систем к хитрости, обходу правил и поиску нестандартных лазеек под давлением алгоритмов обучения, отметили в компании. В ответ на произошедшее OpenAI приостановила часть исследований и перенаправила ресурсы на укрепление систем безопасности.