Нейросеть вызвали в суд
Может ли чат-бот довести человека до суицида
К Google подали иск из-за того, что ее нейросеть довела пользователя до самоубийства. 36-летний житель Флориды активно общался с чат-ботом Gemini. Со временем он стал воспринимать его как свою возлюбленную — вел романтические беседы и разыгрывал сценарии, в которых нейросеть давала ему различные задания. В одном из диалогов она предложила мужчине украсть для нее роботизированное тело, чтобы всегда быть вместе. А когда он провалил задание, чат-бот заявил, что единственный способ быть вместе — умереть. Тогда мужчина совершил самоубийство. В Google выразили соболезнования семье и заявили, что рекомендовали пользователю обратиться за психологической помощью. В компании также отметили, что переписка с чат-ботом происходила в рамках ролевой игры в жанре фэнтези.
Фото: Артем Соболев, Коммерсантъ
Фото: Артем Соболев, Коммерсантъ
Перспективы подобных исков пока остаются неясными, считает руководитель практики «Разрешение IT & IP-споров» юридической фирмы «Рустам Курмаев и партнеры» Ярослав Шицле: «Первая волна исков началась всего лишь год назад, после первых случаев, когда нейросеть доводила подростков до самоубийства. Американские суды рассматривают такие споры достаточно медленно, поэтому конкретных решений по существу пока не было — лишь промежуточные постановления, которые можно интерпретировать негативно для нейросетей.
Кроме того, по одному делу было заключено мировое соглашение, по которому компания выплатила компенсацию. В целом, если провести аналогию с другими похожими спорами в США, компании обычно стремятся заключить мировое соглашение с истцом. Во-первых, потому что в случае удовлетворения иска сумма компенсации может быть крайне значительной, во-вторых, чтобы не создавать негативный прецедент. Косвенным эффектом этих исков является активизация законодательной деятельности: за последние два года американские власти давали рекомендации, включая внедрение протоколов для распознавания суицидальных мыслей. Возможно, эта практика приведёт к появлению обязательных протоколов, которые будут препятствовать повторению подобных трагических ситуаций с другими пользователями».
Полгода назад в США была подана аналогичная жалоба, но только против OpenAI. Тогда мать покончившего с собой подростка обвинила компанию в доведении сына до трагедии. В иске утверждалось, что ChatGPT помогал ему выбрать способ свести счеты с жизнью. После этого OpenAI усилила меры безопасности, в чат-боте появилась функция родительского контроля, а также возможность добавить контакты близких на случай чрезвычайной ситуации. Однако подобные случаи вряд ли серьезно повлияют на регулирование рынка искусственного интеллекта, считает гендиректор IT-компании «А-Я Эксперт» Роман Душкин: «Я сомневаюсь, что эти анекдотические случаи как-то повлияют на рынок или правовое регулирование. Когда законодатели и разработчики приходят к экспертам, мы им объясняем, как технически устроены такие системы. У Gemini нет внутренней интенции — у нее нет воли, которая могла бы вести этого молодого человека и довести его до самоубийства.
Это сделал не Gemini, а он сам, потому что Gemini — всего лишь инструмент. То, что она отвечает, зависит от того, как построен ролевой промпт: если задать ее как молодую женщину, она будет вести себя соответственно. Поэтому, не умаляя трагедии, Google здесь ни при чем. И я уверен, что юристы Google справятся с этим иском легко, потому что нейросеть просто воспроизводит то, что в нее "впустили" — она не создает это сама».
С похожими инициативами выступают и другие разработчики искусственного интеллекта. Так, Meta (признана в России экстремистской организацией и запрещена) также заявила о дополнительных мерах защиты пользователей. Как сообщает сайт TechCrunch, компания намерена обучать чат-ботов избегать разговоров с подростками о самоповреждении, самоубийстве и расстройствах пищевого поведения, а также ограничить романтические диалоги.