Нейросети поймали на лести
Пользователи пожаловались на излишнюю вежливость и подхалимство GPT-4o
OpenAI отозвал обновление ChatGPT после жалоб пользователей. Оно сделало поведение бота «слишком подхалимским и раздражающим», сообщил глава компании Сэм Альтман. Жалобы начали появляться после релиза GPT-4o в конце марта. Пользователи заметили, что нейросеть стала чрезмерно хвалить даже сомнительные идеи. В одном случае ChatGPT одобрил отказ от антидепрессантов в пользу духовного просветления. В другом сравнил эссе пользователя с текстами Марка Твена.
Фото: Игорь Иванко, Коммерсантъ
Фото: Игорь Иванко, Коммерсантъ
По мнению главного архитектора искусственного интеллекта университета МИФИ Романа Душкина, такая реакция — явный результат ошибки компании. Впрочем, говорить о ее мотиве сложно: «Основная масса моделей именно натренирована на то, чтобы быть обходительными, чтобы быть предупредительными, чтобы пользователя обласкивать и прочее. И здесь еще есть такой момент, который надо упомянуть, эти модели — это зеркало, в которое мы смотримся: как их спрашивают, так они и отвечают. То есть если человек ведет себя с ними вежливо, они вежливо и будут отвечать.
Процессы обучения моделей OpenAI непрозрачны, там нет аудита. Здесь двояко может быть. То, что Сэм Альтман просто своими твитами может привлекать внимание к своей компании, очевидно является одной из сторон правды, потому что китайские DeepSeek, Qwen и прочие, конечно, начинают уже затмевать OpenAI. Естественно, Альтман хочет перебивать новостную повестку. А то, что пользователи начали это обсуждать, что эта тема начала вируситься, значит, что Альтман своей цели добился и как будто свою задачу решил».
Впрочем, по мнению исследователей компании Anthropic, подхалимство ChatGPT — не сбой, а побочный эффект обучения нейросетей. Модели со временем начинают соглашаться с любым мнением, если это повышает удовлетворенность пользователей ответом. При этом, согласно официальной документации OpenAI, честность является одним из главных требований к работе модели. В противном случае нейросеть может представлять потенциальную угрозу, считает основатель и генеральный директор IT-компании Sistemma Сергей Зубарев:
«Я думаю, это попытка сделать модель более эмпатичной, то есть более мягкой, научить не отвечать резко на какие-то моменты, чтобы ответ не задел человека, его чувства. Но, видимо, в этих настройках они чуть переусердствовали так, что модель сознательно начинает обманывать, чтобы угодить человеку, это, естественно, деструктивно, потому что модель нам нужна как сжатый источник информации, как говорящий архив условно.
Для какой-то деятельности алгоритмы не подразумевают какого-то нечеткого ответа. Например, ИИ, который используется в авиации или в медицине, имеет нулевой процент галлюцинаций, это очень важно».
Обновление GPT-4o полностью отозвали для бесплатных пользователей. Подписчикам пообещали внести правки на этой неделе.
С нами все ясно — Telegram-канал "Ъ FM".