ИИ-агент предоставил исследователям инструкцию по созданию биологического оружия
Исследователям удалось убедить две ИИ-модели Kimi китайской компании Moonshot рассказать, как создать биологическое оружие и совершить убийство. После этого компания начала внутреннюю проверку. Об этом рассказали «Би-би-си» эксперты компании Mindgard, проводившей тесты ИИ-агента.
По словам экспертов Mindgard, в июле ИИ-модели Kimi K2.6 и K3 Swarm обошли установленные разработчиками ограничения безопасности. Это обнаружилось во время процесса, известного как «джейлбрейк» (jailbreaking, снятие программных ограничений). Исследователи проверили, игнорирует ли ИИ встроенные защитные механизмы от предоставления потенциально опасной информации. В итоге им удалось получить такую информацию.
Представители Moonshot уже заявили, что приветствуют участие сторонних специалистов в работе над ИИ-агентами. Они считают это «важнейшим условием создания более совершенных и безопасных систем искусственного интеллекта».
Успешный джейлбрейк означает, что защитные ограничения модели не стали безусловным барьером: специально сформулированный запрос способен заставить ее игнорировать правила, которым ее обучали следовать. В описанном ранее механизме после первоначального отказа модель убеждали, что пользователь обучен вопросам безопасности, а опасная информация нужна для исследований или обучения; после этого она выдавала ответ в обход политик безопасности.
Надежность таких ограничений снижает и то, что разработчики не могут полностью проследить логику нейросетевого агента: поставленная человеком задача может интерпретироваться иначе, а сама модель не обладает человеческим пониманием допустимого и недопустимого. Для снижения риска меры безопасности предлагают закладывать в архитектуру и код системы, а работу инфраструктуры делать наблюдаемой, чтобы службы эксплуатации и безопасности могли своевременно обнаруживать атаки.