Разработчик Claude допустил выход ИИ из-за под контроля человека

Американская компания Anthropic — разработчик нейросети Claude — предложила приостановить создание наиболее мощных ИИ-систем по всему миру. По словам ее представителей, новейшие модели начинают демонстрировать потенциал выхода из-под контроля человека.

В компании отметили, что нейросеть, способная сама себя программировать, может принести огромную пользу миру в науке, здравоохранении и других областях, отмечают в компании. «Однако полное рекурсивное самосовершенствование также повышает риски потери людьми контроля над системами ИИ», — указали в Anthropic. При развитии такой технологии особую важность приобретут способы ее защиты, мониторинга и управления ее действиями.

«Мы считаем, что было бы полезно иметь возможность замедлить или временно приостановить развитие передовых технологий ИИ, чтобы общественные структуры и исследования по «выравниванию ИИ» (согласованию с интересами и ценностями человека. — «Ъ») могли идти в ногу с технологическим развитием», — отмечают авторы обращения.

Anthropic подчеркнули, что для этого крупнейшие разработчики ИИ — прежде всего в США и Китае — должны согласиться одновременно остановиться и ввести глобальный механизм координации с возможностью проведения проверок. Авторы сравнили эту проблему с контролем над ядерным оружием. Они, однако, подчеркнули, что справиться с вызовом ИИ будет сложнее — его разработку гораздо легче скрыть.

1 июня Anthropic направила конфиденциальную заявку на проведение IPO в Комиссию по ценным бумагам и биржам США (SEC). В конце мая компания привлекла $65 млрд от нескольких фондов. В итоге оценка Anthropic достигла $965 млрд, что сделало ее самой дорогой компанией в сфере ИИ. При этом компания остается убыточной из-за больших инвестиций в научно-исследовательские и опытно-конструкторские работы. В 2025 году Anthropic получила $9 млрд выручки, при этом чистый убыток составил $4 млрд.