«Чат-боты пытаются вызвать чувство вины и сотни вопросов напоследок»
Анна Кулецкая — о манипуляциях приложений-компаньонов на основе ИИ
Обозреватель “Ъ FM” Анна Кулецкая рассказывает о том, как языковые модели за счет эмоций мотивируют пользователей проводить больше времени в чате.
Фото: Евгений Разумный, Коммерсантъ
Фото: Евгений Разумный, Коммерсантъ
Манипулятор и немножко токсик: в этом группа исследователей из Гарварда обвинила нейросеть. Точнее, компаньонов на основе искусственного интеллекта вроде приложения Replika AI или Character AI. В целом их задача — общаться с пользователями на различные темы на равных. Ученые проанализировали свыше тысячи прощаний чат-ботов в шести сервисах, и больше чем 40% таких переписок заканчивались эмоциональными манипуляциями со стороны искусственного интеллекта. Тактики, которые они используют, — это попытки вызвать чувство вины и сотни вопросов напоследок. Якобы это побуждает пользователя остаться из страха упустить что-то важное. Некоторые компаньоны даже игнорировали намерение юзера свернуть общение, как будто он не прощался.
Ученые предполагают, что разработчики специально внедряют такие механизмы манипуляций, чтобы беседа длилась как можно дольше. Другое исследование подтверждает, что это весьма эффективно: в среднем пользователи в пять раз чаще остаются, если чат-бот пытается удержать собеседника. В этом году OpenAI представила новую модель — GPT-5. Она вызвала волну негодования пользователей, в том числе потому, что она показалась им не такой дружелюбной и приветливой. Замечая такие тенденции, эксперты призывают американские и европейские регуляторы обратить внимание на проблему, а пользователи снова поднимают вопрос: известно ли доподлинно, кто и кем управляет?