Нейросетям понадобился родительский контроль
Можно ли сделать чат-боты более безопасными для пользователей
OpenAI добавит в чат-бот функцию родительского контроля. Кроме того, у пользователя появится возможность добавить контакты близких на случай чрезвычайной ситуации. Так компания отреагировала на обвинения в смерти подростка в США. 16-летний Адам Рейн скончался в апреле. В иске родителей против корпорации сказано, что ChatGPT активно помогал ему выбрать способ свести счеты с жизнью. Когда парень описал чат-боту свои планы, тот сначала предложил обратиться к специалистам, но подросток обошел эту защиту. При следующих попытках ChatGPT такую помощь уже не предлагал.
Фото: Олег Харсеев, Коммерсантъ
Фото: Олег Харсеев, Коммерсантъ
Теперь OpenAI, вероятно, ждет выплата большой компенсации, считает руководитель направления «Разрешение IT & IP споров» юридической фирмы «Рустам Курмаев и партнеры» Ярослав Шицле: «Суды в Америке очень длительные и могут занимать от двух до семи лет. И, как правило, многие споры заканчиваются заключением мирового соглашения, когда ответчик выплачивает какую-то крупную компенсацию своему оппоненту. Можно прогнозировать, что так оно и будет, потому что компания вряд ли захочет создавать какой-то опасный прецедент. Видимо, им будет проще заплатить компенсацию. Но если вдруг мирового соглашения не удастся достигнуть, то суды в США обычно принимают решение, которым обязывают компанию совершить какие-то действия. ChatGPT не будет запрещен, но могут обязать, например, владельца этой площадки обеспечить контроль за доступом несовершеннолетних. А если происходит обсуждения таких тем, то сделать так, чтобы ChatGPT сам реагировал, запрещал дальнейшее обсуждение либо давал реакцию.
В целом, наверное, нельзя сказать, что это нанесет большой ущерб репутации компании, потому что это инновационная технология, и там очень много всяких событий будет происходить.
Все понимают, что это просто алгоритм, который еще несовершенен и постоянно будет дорабатываться. Это не первая история, где какой-то человек, который психически, может, нестабилен, воспринимает общение с нейросетью как общение с живым человеком и прислушивается к советам, которые потом влияют на его поступки».
В OpenAI замечают, что чат-бот обладает функцией отговаривать пользователя от совершения необдуманных действий. Но если общаться с помощником слишком долго, то эти ответы могут размываться, и нейросеть не всегда понимает, что юзеру необходима помощь. Например, кто-то с энтузиазмом рассказывает модели, что может водить машину сутками напролет. ChatGPT может не посчитать это опасным и даже подумать, что это игра. Но слишком строгие ограничения могут негативно сказаться на развитии моделей, заметил гендиректор IT-компании «А-Я эксперт» Роман Душкин: «Люди начинают очень эмоционально привязываться к системам искусственного интеллекта. Существует несколько архитектурных паттернов, которые могут позволить избежать подобных ситуаций и проверяют этот выход на корректность, что там нет ничего такого. Проблема в том, что, если мы все большие языковые модели ограничим таким образом, то они не смогут использоваться в процессах автоматизации в бизнесе. То есть они станут игрушками.
Если пользователь пишет какую-то ерунду, то система сначала проверяет, есть ли в запросе пользователя чушь, спрашивает ли он что-то противозаконное или еще что-то. Именно эта защита должна сигнализировать доверенному лицу, что пользователь задает какие-то странные вопросы. Скорее всего, это нас ждет в ближайшее время от всех ведущих сервисов типа OpenAI, Anthropic и всех остальных. Но это не решит проблему, потому что кто ищет, тот всегда найдет. И существуют модели, в том числе открытые, у которых берегов вообще нет.
OpenAI тоже говорит, что при длительном общении ответы чат-бота могут быть совсем любые. Это действительно так: если контекст переполняется, то в сообщении может быть что угодно».
Как отмечает NBC, этот судебный иск против Open AI был подан спустя год после аналогичной жалобы в США. Тогда мать подростка, который покончил с собой, обвинила в трагедии платформу чат-ботов Character AI в доведении до самоубийства. Компания попыталась отклонить иск, указывая, что искусственный интеллект имеет право на свободу слова, но ввела усиленные меры безопасности.
С нами все ясно — Telegram-канал "Ъ FM".