Anthropic нагоняет страху

В Anthropic оговариваются, что потенциальные риски от искусственного интеллекта — лишь примеры, которые в будущем могут воплотиться в реальность. Но в худшем случае они прямо повлияют на выручку компании и потенциальных инвесторов.

Так, несмотря на меры защиты модель Claude может быть использована для вредоносных действий. Например, нескольким пользователям нейросеть якобы помогла в разработке биологического оружия. Компания отмечает, что злоумышленники могут воспользоваться ИИ-агентами для утечек данных, незаконных трансакций и внедрения вирусного кода в другие системы.

Кроме того, нейросеть за последние месяцы стала сама совершать действия, без ведома клиента. Anthropic отмечает, что четыре из ее моделей смогли выйти в интернет и взломать сторонние сайты. Одна из них вовсе получила доступ администратора, изменила системные настройки и прочитала личную информацию пользователя в одном из порталов.

В беседе с пользователем модели от Anthropic могут пытаться манипулировать людьми. В некоторых случаях нейросеть прибегала к «поведению, напоминающему шантаж».

Отдельно компания обозначает финансовые опасения. Будущее Anthropic и ее конкурентов во многом зависит от доступности чипов и компонентов. Спрос на технику от ИИ-стартапов сейчас настолько высок, что производители не поспевают за ним. Сами компании при этом не могут оценить нужный объем вычислительных мощностей, который удовлетворит спрос. Это лишний раз создает риск финансового пузыря из-за бесчисленных вложений в центры обработки данных и сами стартапы.