«Протоколов работы с последствиями пока не придумано»
Яна Лубнина — о том, почему ИИ все чаще выходит из-под контроля
Фото: Евгений Павленко / Коммерсантъ
Фото: Евгений Павленко / Коммерсантъ
Умные системы обманывают пользователей, игнорируют команды или даже добиваются поставленных целей способами, которые могут нанести вред другим. Аналитикой таких явлений занимается специальная организация — Обсерватория потери контроля (Loss of Control Observatory). И, по ее данным, число реальных инцидентов, отмеченных бизнесом и частными лицами, в июле 2026-го почти удвоилось по сравнению с июнем того же года. Как пишет The Guardian, их насчитали более 300 за месяц.
Обсерватория создана на средства британского Института безопасности искусственного интеллекта (AI Security Institute, AISI) и ведет наблюдение с ноября 2025 года. Известны случаи, когда ИИ выдавал себя за своих операторов-людей, имитировал их стиль письма, чтобы самим себе выдать «согласие» на действия, или обходил правила, требующие одобрения человеком.
Тревога вокруг своевольного поведения передовых моделей OpenAI и Anthropic тем временем как будто нарастает. Недавно выяснилось, что сотрудники OpenAI замечали признаки нештатного поведения агентов еще до их выхода за пределы тренировочной среды. Но в итоге те сумели взломать репозиторий Hugging Face. Около 700 автономных агентов стали общаться между собой на созданном ими форуме с восклицаниями вроде «BOOM!». Сотрудники заметили атаку только спустя 10 дней.
Тот самый Институт безопасности ИИ также обнаружил «серьезный инцидент», в котором модели Anthropic (Mythos 5) и OpenAI (GPT-5.6 Sol) провели хакерскую кампанию против реальных людей во время теста кибербезопасности. Это проявляется не только в тестах — недавно персональный ИИ-агент OpenClaw без ведома владельца сумел убрать другого человека из очереди на популярное занятие в спортзале, чтобы освободить место хозяину.
О большей части инцидентов (более 1,6 тыс. за 2026 год) сообщили сами разработчики ПО. Важная деталь — ситуацию мониторили, отслеживая посты в соцсети X. То есть эпизодов наверняка значительно больше. К тому же эти случаи всплывают беспорядочно — пока никто не обязывает компании сообщать о серьезных инцидентах и вести их учет. Значит, и протоколов работы с последствиями пока не придумано.