Claude подобрал ключ к OpenAI
Исследователи использовали модель Anthropic для взлома прямого конкурента
Фото: Евгений Разумный / Коммерсантъ
Фото: Евгений Разумный / Коммерсантъ
Белые хакеры из исследовательской компании Hacktron использовали Claude, чтобы получить доступ к аккаунту сотрудника OpenAI в ChatGPT. Это позволило им получить доступ к закрытому хранилищу программного обеспечения компании и вносить в него изменения. По условиям программы Bug Bounty (поиск уязвимостей за вознаграждение) OpenAI выплатила команде белых хакеров вознаграждение в $6500, сообщает The Wall Street Journal. При этом на сами токены для ИИ-модели команда потратила $3000.
В первом случае исследователи Hacktron нашли уязвимость на форуме сообщества OpenAI, который работает на сторонней платформе Discourse. Они попросили Claude написать код для ее эксплуатации: предыдущая версия модели с задачей не справилась, однако вышедший на следующий день Claude Opus 5 смог подобрать рабочий способ атаки. В результате исследователи получили доступ к серверу форума и токенам авторизации пользователей — цифровым ключам, которые позволяют входить в сервис без повторного ввода логина и пароля.
Во втором случае выяснилось, что часть этих токенов принадлежала сотрудникам OpenAI и давала доступ не только к ChatGPT, но и к закрытым репозиториям компании на GitHub. Через ChatGPT исследователи смогли читать файлы внутреннего хранилища исходного кода OpenAI, известного как Monorepo, и даже отправили предложение изменить один из файлов. Само изменение принято не было, а исследователи прекратили проверку, когда поняли, что могут получить доступ к конфиденциальным данным.
Обе проблемы уже устранены, сообщили в OpenAI.
Сейчас в ИИ Bug Bounty используется повсеместно, и серьезную уязвимость могут найти не только Claude, ChatGPT, но и другие модели — GLM, Qimi, Qwen — при правильной настройки и обучении, говорит сооснователь 3side Антон Бочкарев. При этом у многих крупных компаний находили и не менее страшные уязвимости, просто об этом не было известно столь широко, так как это было сделано без ИИ, отмечает он.
«Сейчас все нейросети стали умнее по части кибербезопасности, и это, скорее всего, связано с хайпом. Производители поняли, что на этом можно сделать крутую рекламу и добавили эти вектора для обучения в приоритетные», — говорит Антон Бочкарев. С каждым крупным обновлением нейросетей стоимость взлома сильно падает, и атаковать становится выгодно буквально всех, сетует он.
Стоимость токенов — только часть стоимости атаки, отмечает руководитель Standoff Bug Bounty Роман Приходько: остаются работа специалистов, инфраструктура и неудачные попытки. Но удешевление технической части делает интересными и менее ценные цели, продолжает он. По его словам, ценные компании останутся приоритетом, но ресурсов у атакующих будет хватать на покрытие гораздо более широкий круг жертв за меньшее время.
Один случай взлома одной модели другой еще не означает, что ИИ способен самостоятельно собрать любую цепочку атаки, он показывает, как снижается трудоемкость сложной эксплуатации, говорит господин Приходько. Такие цепочки существовали и раньше, но с развитием моделей стоит ожидать более глубокого анализа связей между приложениями, уверен эксперт. Поэтому важно оценивать не только отдельную уязвимость, но и то, к каким системам и данным она открывает путь, отметил он.
При этом компании будут — а точнее, рынок угроз заставит их — использовать новые возможности ИИ для регулярной перепроверки своего кода, периметра и связей между системами и тд., считает Роман Приходько. Агенты ускорят эту работу, добавил он.