Opus позаботится о манерах

Нейросеть от Anthropic станет автоматически завершать разговор, если пользователь будет ее оскорблять. Новую функцию создатели искусственного интеллекта Claude добавили в модель Opus. По словам представителей компании, нейросеть будет обрывать собеседника в «экстремальных случаях вредоносного или оскорбительного общения». После этого можно будет начать новый чат или отредактировать свои прошлые запросы.

Выйти из полноэкранного режима

Развернуть на весь экран

Новая функция научит пользователя правильно формулировать сообщения, что крайне важно для экономии времени и трафика самой нейросети, считает основатель и генеральный директор Sistemma Сергей Зубарев: «Думаю, это психологическая защита самого пользователя, во-первых, от самого себя. Часто бывает, что у некоторых людей очень быстро заканчивается терпение, когда в одной цепочке диалогов они долго направляют информацию, в которой модель не сразу отвечает, либо это требует корректировки. В этих случаях ИИ начинает выдавать нерелевантные ответы, человек начинает нервничать. В итоге нейросеть понимает, что пользователь зашел в тупик, ему требуется перезагрузка, условно. Кстати, именно этот момент был одним из основных нетехнических триггеров. Естественно, это экономия ресурсов с точки зрения компаний, которые это используют, например, для сотрудников.

Вот эти разговоры ни о чем могут достигать до 15% от общего числа диалогов. Возникают попытки убедить модель, что она ошибается, это переход на чисто человеческие отношения. ИИ это совершенно не нужно, ему нужны какие-то факты, конкретика».

Anthropic заявляет, что новая функция убережет даже не пользователей, а саму модель искусственного интеллекта. Ранее компания запустила программу AI welfare, цель которой — обеспечить «благополучие нейросети». Тестировщики Claude заметили, что модель негативно реагирует на хамство и отвергает запросы пользователей на сексуальный контент и информацию, которая может навредить человеку вне диалога. Обрывать такие разговоры нейросеть станет, если собеседник продолжит отправлять запросы, а попытки перейти на более мягкий тон у Claude не увенчались успехом. Более вежливый и самостоятельный искусственный интеллект — по большей части не принцип, а пиар-стратегия для Anthropic, считает руководитель центра искусственного интеллекта Высшей технической школы Вюрцбурга Иван Ямщиков:

«Anthropic в основном свой пиар строит вокруг разного рода страшилок, связанных с искусственным интеллектом. В рамках этой маркетинговой стратегии довольно логично, что они вводят продуктовые фичи, которые напоминают пользователю, как опасно использовать генеративные нейронные сети. Это, скорее, привлекательно с точки зрения бизнеса, который, допустим, нацелен на какие-то чувствительные области. Если мы разрабатываем образовательное приложение, то, наверное, использовать модель Anthropic сейчас более выгодно, чем ИИ от OpenAI. Ведь наличие этой функции повышает безопасность нашего продукта.

То есть такая продуктовая фича может натолкнуть бизнес на мысль о том, что стоит, наверное, переключиться на Anthropic, потому что там не хотят, условно, порнографии в ответах. Компания же гарантирует, что ее не будет. Может быть, получится и сэкономить на покупке внешней модерации и переключиться с OpenAI на Anthropic. Если мы делаем сейчас, к примеру, бота для банка и не хотим сейчас какой-нибудь пиар-скандал, то примерно такая логика возможна».

Прерывать разговор с пользователем пока умеет модель Claude Opus 4 и 4.1. Новая функция появится только в чат-версии нейросети, заявляют разработчики.

С нами все ясно — Telegram-канал "Ъ FM".

Егор Парфенов