Нейросеть настучала шерифу

Claude снова довел переписку до уголовного дела. Ранее компания Anthropic, которая разработала чат-бот, помогла арестовать мужчину, обсуждавшего с ИИ нападение на школу. Теперь под следствием оказалась жительница Флориды, которая планировала захватить полицейский участок.

По данным СМИ и комментариям шерифа округа Лу, 30-летней жительнице Бонита-Спрингс Карли Хеллер предъявлено обвинение в письменной угрозе насилием. Во Флориде это считается тяжким преступлением. Согласно протоколу задержания, 26 сентября женщина написала в чат-бот Claude, что собирается «устроить стрельбу» в офисе шерифа. А на следующий день сообщила, что раздобыла новый пистолет и назвала происходящее «последним шансом». Позже Хеллер объясняла, что использует нейросеть как дневник и «просто фиксирует свои мысли». Следователям этого оказалось достаточно. Заседание по делу назначено на ноябрь.

На подозрительные сообщения отреагировала система безопасности Claude и передала их на экспертизу живому сотруднику Anthropic. Тот посчитал переписку реальной угрозой и направил данные в полицию.

Система триггеров ИИ, видимо, расширилась, говорит главный редактор itzine.ru и автор подкаста ForGeeks Сергей Кузнецов:

«Пользователи не стали лучше думать. Особенно за 2026 год было много случаев, в том числе суицидных, именно поэтому стали в полицию раскрывать подобную информацию, чтобы предотвратить увечья и смертельные случаи. Да, Anthropic тоже это раскрывает. Любая публичная компания обязана это делать. Мне нравится, что мы идем в сторону какого-то регулирования этого всего. Лучше частично ограничить, как минимум с точки зрения медицины, какие-то опасные вещи. Лучше, если люди будут ходить к специалистам и разговаривать с живыми людьми хотя бы иногда».

С одной стороны, сюжет достоин отдельного сезона «Черного зеркала». С другой — та же Anthropic еще в 2025 году открыто объявила об изменениях в пользовательском соглашении. Компания может передавать переписку и раскрывать данные юзера властям. А с лета 2026 года для этого достаточно внутреннего «добросовестного предположения» Anthropic.

Эксперты допускают, что публичность кейса Хеллер напомнит пользователям об этом пункте соглашения. Но большая часть подобных историй, вероятно, так и останется в тени. При этом нейросеть реагирует не на отдельные слова, а на контекст всего диалога, отмечает основатель и генеральный директор Sistemma Сергей Зубарев:

«Если фильтрация стоит, которую добавляют разработчики на определенные смыслы, то очень легко понять, как модель реагирует при этих паттернах, например, отказывается вести диалог или говорит, что следует обратиться за помощью. Все модели имеют фильтры. Фундаментально структура такова, что она ошибается всегда. Поэтому эти люди могут чисто теоретически быть приглашены и давать какие-то пояснения, но это всегда следует учитывать, также и то, что мы пишем в чате».

Касается это абсолютно всех нейросетей. Все, что уходит в облако, потенциально может быть просмотрено третьим лицом, резюмирует руководитель больших данных, высоконагруженных систем и машинного обучения «Битрикс24» Александр Сербул:

«Я ловил ситуации, когда у того же Claude внезапно возникала ошибка, и было видно, что он собирает информацию. Где читает — непонятно. Нейросеть как бы сама себе рассказала, что я делаю, какой у меня проект, и описала это так, что информация будет интересна отделу маркетинга, например, для выработки предложений. Еще мелким текстом написано, что если вы ставите лайк, вся переписка уходит в облако, используется для обучения и может быть просмотрена. И с точки зрения конкурентного преимущества, наверное, компании будут прибегать к этим вещам очень редко».

Или просто об этом не будет известно широкой аудитории.