Anthropic запретила оскорблять нейросеть

Компания Anthropic запретила «бессмысленное оскорбительное или жестокое поведение» по отношению к своим ИИ-моделям. Ограничение введено в плановом обновлении Политики использования, которое вступит в силу 12 ноября.

В компании сообщили, что новое правило не затронет обычные проявления досады, споры, «мрачные творческие темы» или тестирование и исследования моделей.

Нововведение перекликается с уже действующим инструментом защиты на платформах Claude.ai и Claude Code. Он позволяет модели самостоятельно завершать диалог при постоянной и необоснованной агрессии собеседника.

Кроме защиты моделей от такого поведения Anthropic уточнила и расширила список запрещенных сфер применения нейросети. В частности, Claude запрещено использовать для вмешательства в выборы, создания инфраструктуры слежки, разработки ПО для управления оружием и принятия решений в уголовном процессе.