Глава Anthropic призвал компании замедлить темпы развития ИИ
Компании, занимающиеся искусственным интеллектом (ИИ), должны замедлить темпы совершенствования моделей. Об этом написал глава компании Anthropic (разрабатывает Claude) Дарио Амодеи в своем блоге.
Дарио Амодеи
Фото: Bhawika Chhabra / Reuters
Дарио Амодеи
Фото: Bhawika Chhabra / Reuters
По словам господина Амодеи, развитие ИИ ускорилось в разы и без принятия мер он может опередить способность человека контролировать системы. Его беспокойство также связано с инцидентом OpenAI-Hugging Face (OAI-HF), когда ИИ-агентам компании-конкурента удалось выйти из закрытой тестовой среды и взломать платформу для машинного обучения Hugging Face.
«Учитывая ускоряющиеся темпы развития возможностей ИИ, я опасаюсь, что через 6–12 месяцев такой «рой» сможет захватить весь интернет с помощью устойчивой бот-сети (что потенциально может нанести ущерб на сотни миллиардов долларов), и что масштабы ущерба будут только расти, если ИИ станет еще мощнее без необходимых мер безопасности», — написал Дарио Амодеи.
Глава Anthropic предложил три шага для регулирования темпов развития технологий: использовать встроенных оценщиков для проверки соблюдения безопасности процессов, объединение передовых ИИ-компаний для создания общих стандартов безопасности и глобальная координация правительств.
Практический смысл такого замедления — перенести решение о выпуске наиболее рискованных моделей из внутреннего процесса компании под внешний контроль. Модели должны проходить обязательное тестирование независимыми третьими сторонами по категориям рисков, включая угрозы кибербезопасности и биологическое оружие, а государство — получать возможность блокировать или сдерживать развертывание, если модель сочтут представляющей неприемлемые риски. Такой барьер позволяет не запрещать разработку целиком, а проверять доступ к опасным возможностям перед выпуском.
У ограничения доступа к моделям уже есть практический прецедент: в июне 2026 года американская администрация после предупреждения о том, что сотрудники Amazon получили от новой модели сведения, пригодные для серьезных кибератак, решила ограничить доступ иностранных государств, компаний и частных лиц к новым моделям ИИ, сочтя это наиболее эффективным способом снизить риски.
При этом коллективное замедление конкурентов нельзя просто оформить как неформальную договоренность: одновременная остановка разработки OpenAI, Google и Anthropic может выглядеть как сговор и нарушить антимонопольное законодательство США — именно поэтому Сэм Альтман выясняет, можно ли юридически организовать такое торможение. Кроме того, даже если американские корпорации согласятся на время отказаться от разработки сверхмощного ИИ, их китайские коллеги никого ждать не будут.