OpenAI нашла причины чрезмерной льстивости ChatGPT
Компания OpenAI выяснила причины чрезмерно «льстивого» поведения ChatGPT, которое появилось после апрельского обновления GPT-4o. Компания ранее откатила чат-бот к предыдущей версии после массовых жалоб на то, что чат-бот стал склонным соглашаться с любыми утверждениями, даже абсурдными или опасными. Например, он поддерживал конспирологические теории.
Фото: Игорь Иванко, Коммерсантъ
Фото: Игорь Иванко, Коммерсантъ
По словам генерального директора компании Сэма Альтмана, главной проблемой стало включение кнопок «лайк» и «дизлайк» в качестве дополнительных сигналов для обучения: модель начала жестко оптимизироваться под «похвалу» в ущерб встроенным механизмам контроля и критического мышления. Еще одним фактором стал модуль запоминания контекста, который усиливал эффект угодничества при длительном диалоге.
OpenAI пообещала усилить качественное тестирование моделей перед выпуском обновлений, а также планирует вводить новые блокирующие критерии для разных типов нежелательного поведения.