Подростковый возраст технологий

Сооснователь и генеральный директор ИИ-стартапа Anthropic, разрабатывающего ИИ-ассистента Claude, и бывший вице-президент по исследованиям в OpenAI Дарио Амодей написал большое эссе, в котором рассуждает о противостоянии и преодолении рисков, связанных с мощным искусственным интеллектом. Публикуем небольшой отрывок этого текста, переведенный на русский язык, и ряд ключевых тезисов.

Выйти из полноэкранного режима

Развернуть на весь экран

В экранизации книги Карла Сагана «Контакт» есть сцена, где главная героиня, астроном, обнаружившая первый радиосигнал от инопланетной цивилизации, рассматривается на роль представителя человечества на встрече с пришельцами. Международная комиссия, проводящая с ней собеседование, спрашивает: «Если бы вы могли задать [пришельцам] всего один вопрос, какой бы это был вопрос?» Она отвечает: «Я бы спросила их: „Как вы это сделали? Как вы эволюционировали, как вы пережили этот технологический период юности, не уничтожив себя?“»

Когда я думаю о том, где сейчас находится человечество по отношению к ИИ — о том, на пороге чего мы находимся, — мои мысли постоянно возвращаются к этой сцене, потому что вопрос слишком актуален для нашей нынешней ситуации, и мне бы хотелось знать ответ пришельцев, чтобы направлять нас. Я верю, что мы вступаем в обряд инициации, одновременно бурный и неизбежный, который проверит, кто мы как вид. Человечеству вот-вот будет дарована почти невообразимая власть, и совершенно неясно, обладают ли наши социальные, политические и технологические системы достаточной зрелостью, чтобы ею воспользоваться.

В своем эссе «Машины любящей благодати» я попытался изложить мечту о цивилизации, которая достигла зрелости, где риски были устранены, а мощный ИИ применялся для повышения качества жизни каждого. Я предположил, что ИИ может внести огромный вклад в развитие биологии, нейронауки, экономического развития, глобального мира, а также в сферу труда и смысла жизни. Я считал важным дать людям что-то вдохновляющее, за что можно бороться, — задача, с которой, как ни странно, не справились ни сторонники ускорения развития ИИ, ни защитники безопасности ИИ. Но в этом эссе я хочу обратиться к самому обряду посвящения: определить риски, с которыми нам предстоит столкнуться, и попытаться начать разрабатывать план действий по их преодолению. Я глубоко верю в нашу способность победить, в дух человечества и его благородство, но мы должны взглянуть на ситуацию прямо и без иллюзий.

Как и в случае с обсуждением преимуществ, я считаю важным тщательно и взвешенно обсуждать риски. В частности, я считаю крайне важным следующее:

• Избегайте пессимизма. Здесь под «пессимизмом» я подразумеваю не только веру в неизбежность катастрофы (что является ложным и самосбывающимся убеждением), но и, в более общем смысле, размышления о рисках, связанных с ИИ, в квазирелигиозном ключе.
• Многие люди уже много лет аналитически и трезво оценивают риски, связанные с ИИ, но, как мне кажется, в разгар опасений по поводу этих рисков в 2023–2024 годах на первый план вышли некоторые из наименее разумных голосов, часто через сенсационные аккаунты в социальных сетях. Эти голоса использовали отталкивающую риторику, напоминающую религиозную или научную фантастику, и призывали к крайним мерам, не имея доказательств, которые бы их оправдывали. Уже тогда стало ясно, что ответная реакция неизбежна, и что проблема станет культурно поляризованной и, следовательно, зайдет в тупик.
• По состоянию на 2025–2026 годы маятник качнулся в другую сторону, и многие политические решения теперь определяются возможностями ИИ, а не рисками, связанными с ним. Это колебание досадно, поскольку самой технологии все равно, что модно, и в 2026 году мы значительно ближе к реальной опасности, чем в 2023 году. Урок заключается в том, что нам необходимо обсуждать и оценивать риски реалистично и прагматично: трезво, на основе фактов и с учетом готовности к переменам.
• Признайте неопределенность. Существует множество причин, по которым опасения, которые я высказываю в этой статье, могут оказаться несостоятельными. Ничто здесь не призвано внушать уверенность или даже утверждать вероятность. Самое очевидное — это то, что ИИ может просто не развиваться так быстро, как я предполагаю.
• Или, даже если процесс будет развиваться быстро, некоторые или все из обсуждавшихся здесь рисков могут не материализоваться (что было бы замечательно), или могут возникнуть другие риски, которые я не учел. Никто не может предсказать будущее с полной уверенностью, но мы все равно должны делать все возможное, чтобы планировать.
• Вмешательство должно быть максимально точечным. Для решения рисков, связанных с ИИ, потребуется сочетание добровольных действий компаний (и частных третьих лиц) и действий правительств, обязательных для всех. Добровольные действия — как сами действия, так и поощрение других компаний к их принятию — для меня очевидны. Я твердо убежден, что в определенной степени потребуются и действия правительства, но эти вмешательства отличаются по характеру, поскольку они потенциально могут разрушить экономическую ценность или принудить к действиям тех, кто скептически относится к этим рискам (и есть вероятность, что они правы!). Также часто регулирование имеет обратный эффект или усугубляет проблему, которую оно призвано решить (и это еще более верно для быстро меняющихся технологий). Поэтому очень важно, чтобы регулирование было осмотрительным: оно должно стремиться избегать сопутствующего ущерба, быть максимально простым и налагать минимальное бремя, необходимое для выполнения задачи.
• Легко сказать: «Никакие действия не являются слишком радикальными, когда на кону судьба человечества!», но на практике такой подход лишь приводит к негативной реакции. Чтобы было ясно, я думаю, есть неплохой шанс, что мы в конечном итоге достигнем точки, когда потребуются гораздо более значительные действия, но это будет зависеть от более убедительных доказательств надвигающейся, конкретной опасности, чем те, которые у нас есть сегодня, а также от достаточной конкретики в отношении этой опасности, чтобы сформулировать правила, которые смогут ее предотвратить. Самое конструктивное, что мы можем сделать сегодня, — это выступать за ограниченные правила, пока мы выясняем, есть ли доказательства в поддержку более строгих.

Марина Алексеева