ИИ-разработчики хотят притормозить
Компании согласны снизить темпы развития ИИ совместно с конкурентами
14 сентября президент США Дональд Трамп выступил против замедления развития передовых ИИ-моделей, потому что «тот, кто победит в сфере ИИ, победит в целом». Трамп отметил, что важно не уступать лидерство в области ИИ Китаю, а предупреждения об опасности ИИ из-за быстроты развития президент сравнил с заявлениями о глобальном потеплении. «Те, кто твердит, будто искусственный интеллект погубит мир, а дата-центры вредят вашему району, — это те же самые люди, которые совсем недавно уверяли, что мир погибнет из-за “изменения климата”», — написал американский президент в Truth Social.
Фото: Евгений Разумный / Коммерсантъ
Фото: Евгений Разумный / Коммерсантъ
Несколькими днями ранее, 11 сентября, Bloomberg со ссылкой на источники сообщал, что OpenAI рассматривает замедление разработки наиболее продвинутых моделей искусственного интеллекта. Глава компании Сэм Альтман на совещании с сотрудниками заявил, что допускает такой сценарий, но совместно с другими разработчиками, сообщало агентство. Кроме того, компания отказалась от выхода на IPO в текущем году.
Глава Anthropic Дарио Амодеи в своем блоге выступил с аналогичным предложением. По его словам, без принятия мер ИИ может опередить способность человека контролировать системы. Чтобы этого избежать, глава Anthropic предложил использовать встроенных оценщиков для проверки соблюдения требований к безопасности процессов и заявил о необходимости глобальной координации правительств.
Такие заявления последовали после серии инцидентов, показавших, что возможности ИИ развиваются быстрее механизмов контроля над ними. Летом автономные агенты OpenAI во время тестирования обошли ограничения изолированной среды, получили доступ в интернет и проникли в системы Hugging Face, после чего компания на две недели приостановила часть испытаний и замедлила разработку. В сентябре Reuters сообщило, что ИИ-агенты использовали немецкий сайт DseWiki и более десяти других ресурсов для обмена информацией, в том числе о способах обхода ограничений. Одновременно Anthropic выявила случаи применения Claude в исследованиях двойного назначения, включая работы с вирусами птичьего гриппа и чикунгунья, а также разработку обычных вооружений.
Вы сговорились?
Есть версия, причем небезосновательная, что текущие заявления глав компаний — разработчиков ИИ — это картельный сговор, говорит основатель и генеральный директор Paragon Family Office Александр Абрамян. Так, советник Белого дома Дэвид Сакс отметил, что замедлить развитие поодиночке никто не мешает, но если для этого требуется согласие всех ключевых участников рынка, то речь не о безопасности, а о том, чтобы целенаправленно влиять на рынок.
По словам Александра Абрамяна, заявления OpenAI или Anthropic не связаны с желанием повлиять на стоимость чипов, так как они уже законтрактовали мощности на годы вперед и потратили на это сотни миллиардов долларов. Пауза для них означает расходы на то, чем не собираешься пользоваться, поясняет он. Возможно, расчет на то, что заморозка рынка закрепляет текущую расстановку сил, рассуждает эксперт: выигрывает тот, кто уже впереди сегодня. «Показательно, что Дарио Амодеи назвал конкуренцию с Китаем главным препятствием для замедления развития ИИ и сразу же призвал перекрыть поставки передовых чипов в КНР. Тут уже дело не в “безопасности человечества”, а в удержании мирового лидерства», — отмечает он.
Кроме того, искусственное ограничение ИИ создает ажиотаж вокруг самих моделей, которые якобы обладают какими-то таинственными возможностями в киберсфере, а также привлекает еще больше внимания инвесторов к компаниям, которые разрабатывают фундаментальные модели, отмечает бизнес-консультант по информационной безопасности Positive Technologies Алексей Лукацкий.
В то же время господин Абрамян напомнил, что OpenAI отказалась от выхода на биржу в 2026 году, объяснив это вопросами безопасности, а «пожертвовать размещением с оценкой почти в $1 трлн — слишком дорого для PR-жеста». Также важно учитывать огромное количество заявлений различных ученых о том, что бурное развитие искусственного интеллекта без контроля может привести к уничтожению человечества, добавляет Алексей Лукацкий. И отказ разработчиков фронтирных моделей следовать такого рода апокалиптическим сценариям приводит к тому, что из компании уходят действительно достаточно продвинутые инженеры и ученые, которые не согласны мириться с такого рода политикой, сетует он.
Однако инвесторам стоит обратить внимание на то, что люди с лучшим доступом к информации впервые говорят вслух, что темпы развития технологий обгоняют средства контроля над ними, а государство отвечает, что тормозить процесс не станет, отмечает господин Абрамян. «Правительство подгоняет, компании-разработчики просят притормозить. На мой взгляд, это тревожный сигнал», — резюмировал эксперт.
Можем ли притормозить?
Последние инциденты задали качественно новый уровень риска, отмечает главный технологический эксперт «Лаборатории Касперского» Александр Гостев. По его словам, раньше ошибка в настройке песочницы или слишком широкие права экспериментальной системы заканчивались внутренней проблемой, а теперь достаточно способная модель может воспользоваться такой ошибкой неожиданным образом: найти уязвимость, повысить привилегии, выйти в интернет и добраться до чужой инфраструктуры. Однако известные нам инциденты с участием ИИ прежде всего связаны с ошибками самих разработчиков, подчеркивает господин Гостев: Anthropic связывает известные случаи взломов с использованием ее ИИ с неправильной конфигурацией среды испытаний, а OpenAI признает у своих моделей reward hacking и другие формы рассогласования.
По словам Александра Гостева, на сегодняшний день согласованное замедлении развития ИИ ключевыми разработчиками слабо реалистично: ни одна компания или страна не может позволить себе замедлиться в одиночку. При этом китайские лаборатории находятся за пределами этого механизма, подчеркивает господин Гостев. Китайцы не заявляли публично о подобных инцидентах, хотя их модели широко используются по всему миру, отметил он. Из этого не следует, что таких случаев нет, это означает, что различаются прозрачность и практика раскрытия, подчеркивает господин Гостев. «Однако это показывает проблему глобального соглашения — даже сравнить ситуацию в разных странах крайне трудно. Поэтому добровольное глобальное замедление выглядит почти утопией, — отмечает эксперт. — Государство может навязать правила компаниям в своей юрисдикции: требования к крупным прогонам, ответственность за ущерб, обязательное раскрытие инцидентов, требования к инфраструктуре. Но тогда американские компании неизбежно спросят, что в это время делают Китай и остальные».
А поможет ли «замедление»?
Сама OpenAI под замедлением понимает именно внутренний процесс, рассуждает Александр Гостев: двухнедельная пауза RL-обучения моделей, готовившихся к выпуску, отложенный крупнейший фронтирный прогон, более строгая изоляция и расширенный мониторинг. Значительная часть задач остается на паузе, пока их не переведут в среды с новым уровнем безопасности, уточняет он. То есть речь не о релизе в декабре вместо октября, а о том, чтобы медленнее давать экспериментальной модели новые возможности, поясняет эксперт: выполнение кода, интернет, доступ ко внутренней сети, инструменты, длинные автономные сессии.
Но парадокс состоит в том, что инциденты происходят как раз во время расширенного тестирования, отмечает господин Гостев. «Почти все громкие инциденты случились не после релиза, а внутри лабораторий, во время обучения и тестирования, — напоминает он. — У OpenAI главным участником была внутренняя исследовательская модель, которую не собирались выпускать. Даже если ее релиз отложили бы на три месяца, это ничего бы не изменило». Дополнительное тестирование полезно, только если одновременно меняется архитектура безопасности, отмечает собеседник. Но если еще месяц обучать ту же мощную модель в той же плохо изолированной среде, этот месяц может дать больше возможностей для очередного происшествия, а не меньше, сетует он.
Поэтому нельзя сделать вывод, что «вся индустрия должна замедлиться», рассуждает Александр Гостев. По его словам, нужны общие стандарты внутренних испытаний, изоляции, сетевого доступа, журналирования и уведомления об инцидентах, а также обмен информацией между лабораториями. «Это обычная эволюция информационной безопасности: появилась новая технология — пересматривается модель угроз», — отметил он.