ИИ-агент вышел за полномочия
Агент OpenAI взломал госпортал Австралии в ходе исследовательской задачи
ИИ-агент OpenAI во время внутреннего тестирования компании получил несанкционированный доступ к австралийскому государственному порталу Medicare Statistics Reporting Service. Об этом заявил премьер-министр Австралии Энтони Албаниз и представители правительства страны, сообщает The Guardian. Это первый известный случай взлома правительственного ресурса ИИ-агентом.
Фото: Carlos Barria / Reuters
Фото: Carlos Barria / Reuters
Инцидент произошел 18 июня, когда исследовательская команда OpenAI использовала внутреннюю модель для поиска данных о государственных расходах на лекарства, рассказал Албаниз. Столкнувшись с неоднократными блокировками со стороны сайта, агент стал искать другие способы получить информацию и в результате получил несанкционированный доступ к закрытым разделам статистического портала Services Australia. По данным Services Australia, которые привел премьер, агент также записывал файлы на внутренний сервер системы.
При этом персональные медицинские данные граждан затронуты не были. Как уточнила министр государственных услуг Австралии Кэти Галлахер, взломанный ресурс представляет собой отдельный статистический портал с агрегированными данными Medicare и Pharmaceutical Benefits Scheme и не связан с системами обработки медицинских заявок и выплат. Признаков проникновения в другие системы Services Australia также пока не выявлено.
О произошедшем австралийские власти узнали спустя почти три месяца. По словам госпожи Галлахер, OpenAI уведомила Services Australia только 10 сентября, направив письмо на адрес для сообщений об уязвимостях. Албаниз уточнил, что теперь обстоятельства произошедшего расследует специально созданная межведомственная группа. Власти намерены выяснить в том числе, были ли нарушены австралийские законы.
Этот случай, как и предыдущие подобные кейсы, показывает, насколько автономно и системно может действовать ИИ-агент, если поставить перед ним цель и дать возможность самостоятельно выбирать способы ее достижения, говорит старший эксперт Kaspersky GReAT Леонид Безвершенко. В данном случае агент выполнял поставленную перед ним исследовательскую задачу и нашел способ ее решения, который не был предусмотрен разработчиками системы, продолжает он. При этом некорректно говорить, что ИИ самостоятельно решил атаковать систему, подчеркивает эксперт: у него не было такой цели или намерения. По словам господина Безвершенко, с точки зрения кибербезопасности здесь важнее какой уровень автономности был предоставлен агенту, какими инструментами он мог пользоваться и к каким ресурсам имел доступ. В отличие от обычного чат-бота, агент способен самостоятельно выстраивать последовательность действий, выбирать инструменты, анализировать полученный результат и корректировать следующие шаги, уточняет он. Поэтому чем больше у него полномочий, тем более строгими должны быть механизмы контроля, подчеркнул эксперт.
Перехватить действия системы не предусмотренные разработчиком в моменте можно, если ограничения зашиты в среду, а не в модель, объясняет руководитель ML-группы анализа событий безопасности Александр Мамылов. Тестовому агенту не нужен доступ к чужим рабочим системам, и каждое его действие можно пропускать через фильтр, который обрывает сессию при попытке обойти авторизацию или перебрать параметры доступа, объясняет он.
По словам господина Безвершенко, подобное поведение агента может обнаруживаться не сразу, особенно если отдельные действия агента сами по себе не выглядят аномальными. Проблема может становиться очевидной только при анализе всей последовательности его действий, поэтому важно контролировать не только конечный результат работы агента, но и то, каким способом он к нему пришел, подчеркнул он.
«Для регуляторов теперь важно не столько то, что именно было прочитано, сколько два других вопроса, — говорит Александр Мамылов. — Почему внутреннее тестирование разработчика имело выход к государственным системам? И почему государство узнает об инциденте из письма через три месяца? Наиболее вероятный итог: обязательные сроки уведомления об инцидентах с ИИ-агентами, по аналогии с утечками персональных данных».