Тестовая ИИ-модель OpenAI прорвала защиту и сама устроила кибератаку
Разработчик ChatGPT, американская компания OpenAI, сообщила об инциденте, произошедшем в ходе испытаний одной из ее ИИ-моделей. Процесс включал в себя проверку модели на наличие ранее известных уязвимостей программного обеспечения с помощью специального теста. Вместо того чтобы самостоятельно искать уязвимости, ИИ-модель обнаружила ошибку в программном обеспечении, предназначенном для ограничения доступа к другим компьютерным системам. ИИ-модель использовала уязвимость, чтобы получить доступ в интернет, а затем совершила попытку хакерской атаки на систему другого ИИ-разработчика, компании Hugging Face.
О попытке хакерской атаки на свои системы Hugging Face сообщила еще на прошлой неделе. Компания отметила, что она, скорее всего, была вызвана «автономным действием ИИ-агента». «Учитывая сложность используемого агента, мы подозревали, что кибератака на прошлой неделе могла быть совершена из какой-нибудь тестовой лаборатории,— заявил глава Hugging Face Клеман Деланг.— И вот выяснилось, что так оно и было».
Теперь обе компании разбираются в происходящем, пытаясь понять, как можно предотвратить подобные инциденты в будущем.