Нейросеть пошла на взлом
Автономная модель от OpenAI сама нашла слабые места Hugging Face
Искусственный интеллект вышел из-под контроля и атаковал чужой сервис. Речь идет о Hugging Face — одной из главных платформ для работы с нейросетями. По данным площадки, автономная модель сама нашла слабые места, получила доступ, передвигалась по внутренней сети и собирала данные. Позже в OpenAI признались — за этим стоит их экспериментальная система на базе секретной версии GPT-5.6. Модель испытывали в закрытой «песочнице» — специальном полигоне по кибербезопасности. Для чистоты эксперимента инженеры временно отключили часть встроенных ограничений.
Фото: Annegret Hilse / Reuters
Фото: Annegret Hilse / Reuters
Скорее всего, атака была заранее заложена в сценарий тестирования, считает эксперт по нейросетям сервиса «Битрикс24» Александр Сербул:
«Мы пока используем лишь верхушку айсберга. Сейчас мы пытаемся раскрыть сильные стороны таких моделей. Например, они способны находить очень короткие пути решения задач. У нас уже были такие случаи: задаешь модели вопрос, а она спорит с тобой и предлагает решение, до которого человек просто не додумался бы. У людей часто не хватает компетенций, чтобы заметить такие детали. Поэтому то, что модели могут находить уязвимости, сомнений не вызывает.
Недавно был показательный пример. Модель сначала пыталась решить задачу самостоятельно, а потом решила найти готовое решение, потому что так оказалось быстрее. Чтобы выполнить задание, ей пришлось бы потратить несколько дней, и она рассудила: "Может быть, уже существует готовый ответ?" Искать его в интернете ей было запрещено. Тогда она подумала: "А вдруг он есть на специализированном сервисе Hugging Face?" Она зашла туда, увидела, что сайт внешне защищен, и решила проверить, нет ли незакрытых уязвимостей. Логика была простой: если получится, задача решится гораздо быстрее. В итоге модель нашла лазейку, воспользовалась ею, получила доступ к базе и извлекла нужное решение.
То есть модель действовала в интересах человека. Ей сказали не обращаться к партнерам, не искать уязвимости и не использовать их для решения задачи. Но она рассудила иначе: если что-то прямо не запрещено, значит, это можно использовать».
После эксперимента в OpenAI пообещали усилить защиту тестовой инфраструктуры и пересмотреть порядок подобных испытаний. Одновременно разработчики заявили, что современные языковые модели уже способны самостоятельно искать уязвимости, даже не имея доступа к их исходному коду. Впрочем, к подобным историям стоит относиться скептически, считает гендиректор IT-компании «А-Я эксперт» Роман Душкин:
«Я думаю, что здесь больше пиара, чем действительно чего-то принципиально нового. Не могу сказать, что происходит что-то страшное, потому что OpenAI любит подогревать интерес публики. Сами исследования компании были посвящены тому, как такие системы преодолевают различные защитные механизмы и кибербарьеры.
Агентный подход в искусственном интеллекте начал развиваться еще в 1990-х, и уже тогда существовали автономные агенты. Более того, интернет и сегодня буквально наполнен такими агентами, причем многие из них были созданы еще тогда. Просто мы не замечаем их работы. Скоро, скорее всего, мы не будем замечать и деятельность современных агентов.
Сейчас же вокруг этого просто раздувают ажиотаж, создают хайп, и именно этим будоражат людей».
Новейшую версию чат-бота GPT-5.6 OpenAI выпустила в начале июля. Тогда разработчики уверяли, что модель оснащена самыми надежными средствами защиты на сегодняшний день.