«Действительно кризисные явления реализуются неожиданно»
Зампред ЦБ Алексей Заботкин об экономических прогнозах
8 октября прошло второе мероприятие осеннего цикла разговоров Российской экономической школы (РЭШ) о социальном государстве, финансовых иллюзиях и прогнозировании. Ожидания профессионалов часто не сбываются, зато происходит то, чего никто не ждал. Заместитель председателя Банка России Алексей Заботкин говорил о влиянии прогнозов на поведение бизнеса и потребителей с профессорами РЭШ Олегом Шибановым и Маратом Салиховым. «Ъ» публикует текстовую версию дискуссии.
Филипп Стеркин, главный редактор научно-популярного портала РЭШ GURU: На первый взгляд экономические прогнозы с их многосложными многоступенчатыми моделями, массивами данных и формулами кажутся чем-то очень далеким от того, чем мы занимаемся в повседневной жизни. Но на самом деле прогнозирование — самое что ни на есть типичное для нас занятие. Мы каждый день оцениваем, что будет через час, завтра, через год, через много лет. И по самым разным поводам: как отреагируют близкие на сюрприз, а шеф — на просьбу о прибавке, что будет с какими-то экономическими параметрами, будь то рубль или цены на жилье, ставки по вкладам, по кредитам, не говоря о ситуации на фондовом рынке, если вы инвестор.
И на самом деле даже в каких-то бытовых прогнозах мы часто не так уж отличаемся от маститых титулованных прогнозистов и совершаем ошибки по похожим с ними причинам, в общем, как минимум психологическим. Но, перефразируя Булгакова, это на самом деле еще полбеды; плохо то, что наши прогнозы тоже могут влиять на действительность: мы ждем роста рынка — и рискуем надуть пузырь, мы ждем бурного роста цен — и, собственно говоря, разгоняем эти цены, разгоняем инфляцию, мы ждем спада на рынке, начинаем экономить, ждем спада в экономике — и приближаем, собственно, этот самый спад.
Как же в такой непредсказуемой ситуации строить прогнозы о поведении всей экономики? Обо всем этом мы и будем говорить сегодня с тремя выпускниками РЭШ: с Алексеем Заботкиным, заместителем председателя Банка России; с Олегом Шибановым, профессором РЭШ, и с профессором РЭШ Маратом Салиховым, который изучает прогнозы как явление, а прогнозистов — как объект.
Олег Шибанов, профессор РЭШ: «Прогнозистов как объект» — какой жестокий человек! Ну это же просто, ну это же жестоко!
Алексей Заботкин, заместитель председателя ЦБ: Они как минимум субъект.
Филипп Стеркин: В данной ситуации… Мы об этом, может быть, тоже поговорим. Дискуссия уже началась: кто же прогнозисты, если рассматривать это как материал для исследования — материал, можно сказать еще.
А начать я хотел бы, конечно же, со знаменитого и вечно актуального вопроса королевы Елизаветы: почему не смогли это предсказать? Это она про кризис 2008 года, но с тех пор мы были свидетелями большого числа событий, про которые можно задать этот вопрос, и он также актуально прозвучит. Или реакция на которые, возможно, была плохо спрогнозирована, недостаточно точно. Был, например, сильно переоценен масштаб падения экономики последние годы, был недооценен инфляционный шок после COVID-19. Недавно я читал колонку известного экономиста Кеннета Рогоффа о том, что второе президентство Дональда Трампа начинается успешнее, чем ожидалось. Конечно, пишет: «Пока успешнее».
Так вот вопрос: почему же при всем этом огромном масштабе данных, при мощи моделей экономисты раз за разом не могут более или менее точно спрогнозировать последствия каких-то масштабных событий. И наверное, в общем, это одна из ключевых общественных претензий к экономистам.
Алексей Заботкин: Вопрос правда очень хороший. Для начала дам на него, наверное, ответ из трех частей. Ну, во-первых, это самое очевидное, экономика — это очень сложная система. Причем важно не забывать, что это система с сильными механизмами обратной связи, в которой действуют — ну в отличие, скажем, от физических систем — субъекты, а не объекты. Субъекты, поведение которых сегодня, их решения в настоящем определяются ожиданием этими субъектами того, что будет в будущем и что это для них будет значить: для их там выгод, благосостояния и так далее.
И вот это взаимодействие обратной связи, в которую вовлечены ожидания относительно будущего, радикально усложняет и структуру экономических моделей, и аппарат анализа данных для целей прогноза. Напомню, что методы, которые позволили полноценно, корректно эконометрически обсчитывать эти эффекты, были разработаны вообще сравнительно недавно, где-то в конце 1990-х — начале 2000-х годов.
Второй момент: и структура экономики, и типы взаимодействия между ее составными частями, устройство экономических механизмов, механизмов обмена и экономических институтов со временем меняются и на макроуровне, поэтому нет возможности использовать стандартный подход научного метода из естественных наук, а именно повторяющийся эксперимент. Поэтому вот механическая экстраполяция там неких усредненных прошлых трендов или прошлых кризисов на будущие события дает заведомо неполное представление о том, что может происходить в тех условиях, которые все-таки отличаются, и отличаются структурно от того, что было в предыдущие десятилетия, за которые у нас есть данные.
И в-третьих, действительно кризисные явления реализуются неожиданно. Нередко их причиной становятся непредвиденные шоки неэкономического свойства.
Но вы верно подметили, что, как правило, экономика справляется с кризисом на самом деле лучше, чем большинство экономистов и профессиональных экономистов предсказывают в разгар кризиса.
И я рискну предположить, что это связано с тремя причинами.
Первое. Адаптивность экономики — и бизнеса, и граждан — на самом деле очень высокая, и если нет больших, накопленных до кризиса уязвимостей и ошибочных решений по ходу кризиса, которые могут усугубить ситуацию, как, например, случилось в ту же Великую депрессию, то экономика поглощает шок быстрее, чем мы склонны опасаться, находясь внутри кризиса.
Фотогалерея
Хроника крупнейшего в истории США финкризиса
Фото: AP
Фото: National Archives and Records Administration
Фото: National Archives and Records Administration
Фото: National Archives and Records Administration
Фото: National Archives and Records Administration
Фото: AP
Фото: AP
Фото: AP / File
Фото: AP
Фото: National Archives and Records Administration
Фото: Library of Congress
Фото: National Archives and Records Administration
Фото: Franklin D. Roosevelt Presidential Library and Museum
Фото: The New York Public Library
Фото: Library of Congress
Фото: Franklin D. Roosevelt Library
Фото: United States Department of Agriculture
Фото: Library of Congress
Фото: U.S. National Archives and Records Administration
Фото: The New York Public Library
Фото: Dorothea Lange / Library of Congress / Library of Congress
Фото: Library of Congress
Второе: с точки зрения принятия решений и в частном, и в государственном секторе при кризис-менеджменте лучше исходить из плохого сценария. Если в итоге будет лучше, то это не станет проблемой. Мы быстрее и с меньшими потерями справимся с кризисом. А если мы недооценим глубину кризиса и недостаточно своевременно отреагируем на него, и несоразмерно, то, соответственно, потери, издержки этого, ошибки в эту сторону больше. Может, дальше по ходу поговорим про ошибки первого и второго рода при прогнозировании.
И третий момент, собственно говоря, при своевременной и соразмерной реакции экономических властей их действия уменьшают глубину и длительность последствий кризиса. И, соответственно, прогнозы могут эффективность этих действий также недооценивать. Наверное, это мои вот соображения по первому вопросу.
Филипп Стеркин: Что вы ответите на критику: почему же опять просчитались? Что добавите?
Олег Шибанов: Строго говоря, это не критика, а вопрос. Критика — это когда вас после этого увольняют. А когда вам задают вопросы — это уточнение. Во-первых, я с тем, что Алексей сказал, согласен, да, но некоторые вещи здесь иногда вызывают недоумение. То есть если вы смотрите, например, на честный отчет ЕЦБ по поводу того, что произошло с инфляцией, вот в 2021–2023 годах, то вы можете заметить, что они прямо утверждают: часть моделей, которые они использовали, были не готовы к тому, чтобы оценивать подобную инфляцию, потому что они настраивались на другом промежутке времени, на том горизонте, где инфляция была низкой, и из-за этого они, может быть, недооценили возможные шоки, которые могут в экономику приходить.
И в этом плане мы, экономисты, макроэкономисты, любые аналитики должны постоянно улучшать свои модели и стараться их приближать к тому, что является, наверное, наилучшими способами думать о будущем, да и о текущем моменте. Но все же с шоками и с тем, как они неожиданно появляются, я бы согласился сильнее всего из того, что Алексей предлагал.
Потому что вот мы не люди, у которых есть хрустальный шар.
У нас российская экономика и поведение, например, валютного курса за последний горизонт времени, за 2025 год, наверное, оказалось довольно неожиданным для многих из нас. То есть часть аналитиков, и включая консенсус (аналитиков.— “Ъ”), наверное, неточно понимала, как высокая ставка повлияет на курс в этом году. Потому ли это, что мы ничего не умеем? Ну, может, и такой ответ, да. Может быть, ответ другой: что зачастую вы не знаете, насколько изменится поведение участников рынка, насколько будет интересно людям в текущей ситуации сберегать, а насколько они захотят покупать импорт и валюту.
И в этом плане изменение поведения на фоне шоков, которые происходят, может оказаться действительно несколько не совпадающим с тем, что исторические данные нам предъявляли.
И в этом плане я бы добавил, что российские данные в этом смысле даже более удобны с точки зрения анализа, несмотря на их многие сложности, нестационарность и подобные вещи, большое изменение макрополитики в 2014–2015-м. Связано это с тем, что многие из наших данных прямо разнообразны. То есть если вы берете данные с разумных горизонтов, хотя бы с 2000 года, вы видите в них очень разные макрорежимы: вы видите, что где-то инфляция была высокой, и рост был высоким, где-то, наоборот, рост очень низкий, инфляция высокая, и где-то там и рост высокий, и инфляция низкая. В этом плане вы можете получить чуть более богатую картинку, которую легче анализировать.
Поэтому мой ответ — ну с королевой я, к счастью или к несчастью, не виделся и не мог ей напрямую ответить на вопрос,— но я бы честно сказал, что хрустального шара ни у кого нет. Мы можем описывать сценарии достаточно неплохо, объясняя, что в разных ситуациях в базовом, рискованном или оптимистичном сценарии произойдет, но выбрать из них гарантированно мы, конечно, не можем, потому что мы в будущее не смотрим, в отличие от опытных людей.
Филипп Стеркин: Да, и в один шок, в общем, нельзя войти дважды. Вот я как раз про сценарий хотел бы поговорить. Вообще в принципе часто ждут от экономистов, что они скажут точную цифру, ну или дадут какой-то максимально узкий диапазон, более или менее точно что-то. Или скажут, или вот дадут определенность, скажут: двигаться будем в этом-то направлении, нужно идти направо, а потом повернуть налево. В условиях большой определенности что становится вообще более важным: пытаться вот угадать цифру или предсказать цифру — конечно, спрогнозировать, не угадать — или же описать сценарий развития событий? Внутри этого сценария есть цифры, диапазоны и дальше — вероятность развития вот этих событий.
Вот Амос Тверски, соавтор Даниэля Канемана и тоже одна из ключевых фигур в поведенческой экономике, говорил, что у большинства людей есть три установки: «случится», «не случится» и «может быть, случится». То есть, получается, нужно угадать, с какой вероятностью это может быть. Что про сценарии скажете и про цели прогнозирования вообще, особенно в ситуации неопределенности?
Алексей Заботкин: Про цели прогнозирования, наверное, рассуждать даже попроще, чем про сценарии. Конечно, ответ на этот вопрос, как вы понимаете, зависит от того, кто прогнозирует и с какой целью. Для Центрального банка важно понимать, как экономика, спрос, инфляция будут себя вести при разных сценариях будущего. То есть, да, есть наиболее вероятный, по коллегиальному мнению совета директоров, сценарий, который мы публикуем как базовый. Но в ходе обсуждения, которое предваряет решение по ставке — оно длится, как вы знаете, там целую неделю — департаменты, стафф, что называется, докладывают гораздо более широкий спектр вариаций и сценариев.
Это нужно по двум причинам: и для того, чтобы каждый участник обсуждения мог увидеть те модельные расчеты, которые основаны на наборе предпосылок, близких к его представлению, о наиболее вероятном ходе событий. И, что не менее важно, второе: чтобы все участники обсуждения видели сноп возможных траекторий для разных версий будущего.
Конечно, у каждого будет своя субъективная оценка того, как распределение вероятностей натянуто над пространством этих модельных траекторий.
Но как бы вот пространство для анализа, оно задается как раз такой очень разнообразной пищей для размышления, которая основана на модельных расчетах.
Причем у нас есть департамент денежно-кредитной политики, есть департамент исследований и прогнозирования, они представляют самостоятельные и независимые друг от друга картинки. Они иногда очень близки друг другу, иногда они ложатся чуть шире, и это как раз дает пространство для обсуждения. Так что вот роль прогнозирования, с моей точки зрения,— это иметь внутри себя согласованный инструмент, то бишь модель, которая позволяет в едином фреймворке сопоставлять разные варианты предпосылок относительно будущего и уже на базе вот такого вероятностного взгляда принимать решения.
Учитывая цену ошибки, как я уже сказал, и ошибки первого рода, которая, ну наиболее важна, но и ошибку второго рода тоже принимать во внимание. Ошибка первого рода — это ложная тревога. Когда мы предсказали что-то плохое, оно не случилось, и это нестрашно как бы на самом деле. Ошибка второго рода — это то, что офицеры ПВО называют пропуском цели. Собственно говоря, нам надо, чтобы по возможности как бы пропусков цели было поменьше. И вот это называется робастным подходом к принятию решений. Как говорится, предупрежден — значит, вооружен.
Филипп Стеркин: Что вы скажете про цели и про пользу от прогнозирования и что вы выделяете как системные проблемы прогнозирования, которые сбивают точность приборов? Не только экономистов, можно поговорить и про социологов, и про политологов.
Марат Салихов, доцент РЭШ: Ну я вообще человек из бизнес-школы, у меня фокус был больше на микропрогнозах, чем на макропрогнозах. Но я точно соглашусь с Алексеем, что одна из главных целей прогнозирования — это координация внутри организации, создание общего понимания общих целей для всех людей, которые так или иначе действуют. И есть такой малоизвестный афоризм малоизвестного французского философа Жана Поля Рихтера, но он мне очень нравится. Звучит он так: хороший врач по крайней мере если не вылечит, то убережет вас от плохого врача. И та же самая логика применима в принципе к любой статистике.
Например, эксперт в области спортивной аналитики Билл Джеймс говорил, что альтернатива хорошей статистике — это не отсутствие статистики, а плохая статистика. Ту же самую логику можно применить к любым социальным наукам, то есть даже если, например, социальные науки, такие как экономика или социология, не дают нам где-то четкого понимания, по крайней мере они защищают нас от самоуверенных и невежественных точек зрения. То есть даже если у нас большая неопределенность и прогноз расплывчатый, если этот прогноз хороший, если он обоснованный, то по крайней мере он может нас как-то защитить от излишней самоуверенности в том, что мы делаем.
Наверное, вот эти две причины. То есть хорошее понимание того, что делать, и создание общих целей для людей внутри организации.
По системным проблемам прогнозирования очень многое, мне кажется, зависит от того контекста, в котором мы это рассматриваем. Но, наверное, для экономики можно выделить четыре главные такие проблемы. Первая будет в том, что, хотя кажется, что данных очень много, многие люди считают, что на самом деле их недостаточно. Потому что, например, рецессий после войны (Второй мировой.— “Ъ”) в мире произошло не так много, и мы не можем строить надежные статистические модели, основываясь на них.
Многие данные нам просто недоступны, и недоступны они нам не просто так, а по злой или доброй воле участников рынка, потому что они стараются скрыть информацию, которая у них есть, из рациональных побуждений.
И уже поэтому применение статистических моделей становится сложным.
Вторая вещь в том, что опять же, как отметил Алексей, экономика — это адаптивная система с обратной связью, и такие системы особенно сложно моделировать. И создавать алгоритмы для них гораздо сложнее, чем, например, прогнозировать погоду. А ведь даже погоду мы научились прогнозировать хорошо не так давно, примерно в 70-е, 80-е годы XX века. Так что я думаю, что экономике многое можно простить.
Третья причина, разумеется, нестационарность, потому что ну экономика 70 лет назад, экономика 50 лет назад и экономика сейчас — это очень разные экономики. И предсказать часто факторы, которые влияют на развитие экономики, сложно, например, по той простой причине, что один из важных драйверов экономики — это технологии. А если бы мы умели предсказывать новые технологии, то мы, по сути, их бы изобретали раньше времени.
Эти три причины, которые я сейчас изложил, подводят нас к тому, что на самом деле использование статистических объективных методов для прогнозирования, которые кажутся главной альтернативой, исключительно таких методов, не всегда возможно, и приходится прибегать к помощи экспертов, которые могут смотреть вперед, которые, может быть, имеют доступ к какой-то информации, которую мы еще не структурировали, и которые вот как-то преодолевают ограничения этих методов.
Но тут возникают еще две проблемы, потому что эксперты у нас действительно не объекты, а субъекты. И, как все люди, они, во-первых, подвержены когнитивным искажениям.
Оптимизм — мы все хотим, чтобы все было хорошо,— излишняя самоуверенность, склонность следовать мнению толпы — все это создает, очевидно, еще один уровень проблем для прогнозирования.
Второй уровень в том, что достаточно сложно создать сбалансированные стимулы для прогнозистов. Например, как вознаграждать прогнозистов за то, что они говорили правду? То есть если они знают, что прогноз такой, чтобы они именно его сообщали, а не искажали его нам по пути. Или как сделать так, чтобы прогнозисты действительно вкладывали усилия в то, чтобы собирать данные, генерировать модели и так далее? Это вопросы достаточно нерешенные. И вот эти, наверное, пять факторов, три объективных и два субъективных, они суммаризуют те основные системные проблемы, на мой взгляд, которые есть у прогнозистов.
Я бы еще вот сейчас хотел бы отметить, что, чтобы понять, какие проблемы вносят свой вклад в проблему прогнозирования, недостаточно смотреть на одно конкретное событие или на одного конкретного прогнозиста. Нужно иметь большие выборки больших данных по многим прогнозам, многим прогнозистам, многим моделям. И только так мы можем заметить какие-то статистические закономерности, которые позволят нам ответить на эти вопросы.
Я бы хотел отметить три вот таких набора данных, на которые мы будем смотреть, которые, возможно, мы будем еще упоминать сегодня. Первый — это опрос профессиональных прогнозистов, который проводит Федеральный резервный банк Филадельфии уже, по-моему, 50 или 70 лет. Там профессиональные прогнозисты каждый квартал делают прогнозы по очень большому спектру макроэкономических переменных. И можно посмотреть, насколько они хорошо это делают.
Второе — это так называемые М-соревнования, где очень много прогнозных моделей используется для предсказания широкого спектра макроэкономических переменных и так далее. И можно понять, какие из этих моделей предсказывают лучше, а какие — хуже. И третий, наверное, вот этот набор данных, с которым я провел очень много времени, это набор данных, который создал Филипп Тетлок, психолог из Университета Пенсильвании...
Филипп Стеркин: Поговорим сейчас отдельно про фигуру прогнозиста.
Марат Салихов: Но я просто буду упоминать, я бы хотел немножко просто рассказать, что это такое, если можно.
Филипп Стеркин: Давайте мы вот когда пойдем ниже, еще вернемся к этому вопросу. Сейчас, если сможете, ну просто в двух словах, чтобы мы двинулись дальше.
Марат Салихов: Филипп Тетлок провел несколько турниров по прогнозированию, где эксперты предсказывали вероятности тех или иных геополитических событий, и он измерял, насколько точно они предсказывают.
Филипп Стеркин: Ну вот я еще, кстати, могу порекомендовать нашим зрителям выпуск подкаста РЭШ «Экономика на слух» с Маратом, где он очень наглядно, на антропологических историях объяснял, какая может быть польза, от, казалось бы, абсурдных и вообще совершенно бесполезных прогнозов.
А как вы считаете, если смотреть, так сказать, в прошлое, да, в один шок нельзя войти дважды, но как вы считаете, растет ли точность прогноза все-таки по мере накопления данных о шоках, по мере вообще расширения инструментария. По мере того, как хрустальный шар, он как-то становится все более точным, казалось бы.
Вот Нейт Сильвер в книге о прогнозировании «Сигнал и шум» скептичен и пишет о том, что, несмотря на увеличение знаний, разрыв между тем, что мы знаем, и тем, что мы думаем, что знаем, расширяется. И он это сравнивает: это все равно что заявлять, что вы умеете хорошо стрелять, потому что ваши пули оказываются в одних и тех же местах, хотя и невероятно далеко от центра мишени.
Вот как вам кажется, растет ли точность прогнозов, в том числе наших главных прогнозистов — Центробанка, Минэкономразвития, Минфина? Ну и вообще в целом — то есть мы говорим не только про наши госорганы.
Олег Шибанов: Смотрите, значит, у прогноза есть некоторый предел точности. То есть вы можете считать, что бесконечный набор данных позволит вам бесконечно точно прогнозировать с нулевой ошибкой. Но проблема в том, что даже бесконечный набор данных будущие шоки не видит. Вот если эти будущие шоки хоть немножко отличаются от того, что было в прошлом, они полностью, на 100%, воспроизводят структуру этих прошлых шоков, то на этом все заканчивается. Есть, соответственно, необходимая неточность прогноза, которая заведомо будет проявляться.
Теперь что касается качества. Ну, смотрите, модели действительно все расширяются и расширяются. То есть в этом плане, например, макроэкономисты, с моей личной точки зрения и с точки зрения литературы, все точнее могут прогнозировать некоторые вещи. Значит, здесь некоторый вопрос возникает: насколько улучшение качества прогноза по историческим данным, которые мы получаем,— это скорее игра против слабого оппонента или это все-таки действительное улучшение?
То есть, условно говоря, мы берем, не знаю, машинное обучение, нейронные сети, еще какие-то вещи и получаем с ними получше прогноз. Это что такое? Это означает, что наши предыдущие модели просто были достаточно… простыми — ладно, хорошо, скажу все-таки это слово,— и из-за этого они давали такие результаты? Или это означает, что мы действительно движемся к чему-то, что позволяет нам лучше прогнозировать? Условно говоря, нелинейности мы теперь так хорошо учитываем, что они выбрасывают нас как раз в сценарии, а в рамках сценариев уже легче прогнозировать, чем это делать в среднем.
Поэтому мой личный взгляд: прогнозы, конечно, улучшаются, но здесь каждый раз нужно брать себя за руку, и, когда говоришь «прогнозы улучшаются», напоминать себе вот каждый раз, если ты макроэкономист, что у тебя количество точек очень маленькое.
И если ты думаешь, что ты хорошо прогнозируешь, ну, давай еще раз вот вспомни, что у тебя, например, для российской экономики, даже если брать с 90-го, например, года, то квартальных данных у тебя будет меньше 40 лет. И это означает: меньше 160 точек этих самых квартальных данных роста ВВП. И если человек считает, что у него получается на таком количестве точек блестящий прогноз, здорово.
Теперь что касается качества прогнозов коллег. Ну, смотрите, если бы я знал не свою исследовательскую статью, которые уже опубликованы и показывают, насколько эти прогнозы хороши, я бы тогда на них с удовольствием ссылался. Я такую статью, честно говоря, не знаю, потому что… ну, может, пропустил, это вполне вероятно. Вот мы какие-то подобные вещи, в том числе в рамках исследовательских проектов РЭШ, делаем и какие-то результаты получаем. Еесли их валидируют, когда-нибудь опубликуют, мы что-нибудь скажем.
Ну объективно можно сказать, что иногда заметно на глазок, да, что мы не поняли, но обычно мы не понимаем все сразу. То есть когда, например, мы берем 2024 год и смотрим на то, что происходило с прогнозами по ставке, что у аналитиков, что у Министерства экономического развития и ЦБ. Да, мы все видим одну и ту же картину. То есть мы все предполагали понятную, может быть, динамику с постепенным снижением ставки. В реальности она повышалась, потому что шоки инфляционные оказались гораздо более серьезными и неожиданными, чем мы думали в начале года.
Поэтому я бы здесь вот уверенно не стал говорить, что, если кто-то на один процентный пункт исторически точнее инфляцию прогнозировал, что этот человек останется лучшим прогнозистом на 2025-й или на 2026-й. Здесь все равно надо быть осторожным со своими мнениями.
Филипп Стеркин: У меня как раз про количество точек есть вопрос от аудитории и экономиста Сергея Егиева. В России за эти десятилетия, за 30 лет, экономика несколько раз очень сильно обновилась и поменялась. Вот как раз стоит ли при построении моделей для прогнозов использовать, стараться использовать очень длинные ряды данных? Или это вообще может сбить только точность, потому что данные за 1990-е уже нерелевантны и только будут сбивать точность модели. Алексей, как вы считаете? Олег, вы хотите начать?
Олег Шибанов: Если вопрос Алексею, то начинает Алексей, да, а я потом.
Алексей Заботкин: Я коротко на него отвечу. Это соображение абсолютно верное в отношении 1990-х годов. Все-таки там была такая экономика, что называется in transition, причем в очень такой яростной части этой переходной фазы. Поэтому с точки зрения того, на каких данных мы калибруем свои модели, это данные, которые начинаются там с начала 2000-х. И это еще связано на самом деле и с сопоставимостью данных.
Конечно, там можно найти ряды, которые по многим показателям уходят в 1990-е годы, но если покопаться в деталях, то там были очень сильные изменения и в методологии, и так далее.
То есть такие вот более или менее устойчивые вещи, где мы знаем, что это яблоки и яблоки на всем протяжении ряда, это начало 2000-х.
Но, да, даже на этом горизонте, здесь как бы сложно не согласиться и с замечанием Сергея, что там есть как бы такие серьезные структурные брейки, да. Но это уже как бы задача прогнозной модельной команды — проставить соответствующие контроли для того, чтобы данные говорили консистентную историю с учетом той структуры, которая накладывается на модель.
То есть логика здесь такая, что у вас все-таки есть некоторые базовые законы и базовые закономерности, ну, условно говоря, как в физике, там закон всемирного тяготения и три закона Ньютона, которые должны выполняться всегда. Но при определенных условиях, конечно, у вас начинают там реализовываться релятивистские эффекты и так далее. Вот вы должны, когда вы калибруете свою модель, учитывать соответствующие поправки там на моменты, когда происходит смена режима.
Но базовая структура модели одинаковая для всех экономик. И честно говоря, даже в плановой экономике, если правильно интерпретировать те данные, если данные, которые по ней генерируются, честные, то в принципе можно применить очень похожую по своей природе структуру модели, и она будет генерировать правильные прогнозы, консистентные с тем, что происходит в этой экономике. По крайней мере, в той ее части, которая управляется рыночными силами, потому что на самом деле в любой плановой экономике есть либо легальный, либо не очень легальный рыночный сегмент, иначе бы она просто не балансировалась. Полностью плановая экономика сбалансироваться не в состоянии.
Олег Шибанов: Я тоже кратко постараюсь. Значит, если вы помните, еще в 1995 году была трехзначная инфляция, то есть в этом плане использовать все данные из 90-х очень тяжело. Мы тоже в своих моделях, скорее, пользуемся (данными.— “Ъ”) с начала 2000-х. Но я бы сказал, что у нас ощущения чуть-чуть разные от разных переменных. То есть вы можете делать прогнозы в моделях общего равновесия. Можете использовать, например, эконометрические модели, такие очень частные, которые даже неравновесны по своей сути.
И вот мой и коллег опыт такой, что с инфляцией как раз использовать длинные ряды очень удобно. И режимы инфляции — это очень хорошая штука. В том смысле, что когда-то она была высокой, там нулевые у нас, например, когда-то она была достаточно низкой, в 2016–2020-м. В этом смысле мы можем весь этот ряд использовать достаточно эффективно.
А вот если вы думаете про некоторые переменные, например ВВП, то рост ВВП претерпевал сильные структурные изменения, и в этом смысле нулевые от двадцатых отличаются настолько сильно, что, наверное, очень тяжело их хорошо соединить. Поэтому это зависит, конечно, от того, как вы моделируете, но, на мой личный взгляд, не все данные легко использовать в таком частном, скажем так, режиме.
Филипп Стеркин: Давайте мы сейчас возьмем результат нашего опроса. Мы много говорили про модель, Марат говорил уже и про фигуру прогнозиста. Давайте вот мы сейчас посмотрим, кому склонна доверять — чьим прогнозам — наша аудитория. Мы видим, что с большим отрывом побеждает консенсус экспертов (53,8%). Дальше идет квалифицированный эксперт, языковые модели и алгоритмы.
Фото: Российская экономическая школа
Фото: Российская экономическая школа
Конечно же, я хочу вас спросить, можете ли вы сказать, кому бы вы, кому бы вы посоветовали доверять и кому бы вы сами бы доверяли, если речь идет о каких-то вещах, в которых вы не являетесь экспертами. Не знаю, как изменятся цены на авиабилеты, фантазирую.
Алексей Заботкин: Мы полагаемся, естественно, в данном случае, ну не мы, а вот как бы тот, кто не является экспертом в том вопросе, на который он пытается получить ответ, конечно, он полагается на мнение тех, кого он считает достаточно информированным для того, чтобы давать адекватную оценку. То есть, с моей точки зрения, при этом нельзя, конечно, верить мнению отдельно взятого человека. Я думаю, мы дальше поговорим по поводу того, что там любое субъективное мнение, оно имеет рискованным быть, ну есть риск того, что оно смещено в ту или иную сторону.
Поэтому ну, строго говоря, такой общий подход, наверное,— это что надо доверять не очень большой группе информированных экспертов, которые вооружены хорошим арсеналом научно обоснованного метода оценки ситуации и прогнозирования.
Это ну, на самом деле, та же рекомендация, которой надо следовать, когда вы к врачу идете: если вам дают какие-то там далеко идущие советы, вы идете и получаете второе мнение. Если ситуация очень сложная, то собирают консилиум из разных специалистов, которые пытаются посмотреть на ситуацию с разных сторон. В этом смысле, мне кажется, макроэкономический анализ имеет очень много общего с этими веками испытанными методами.
Опять же, именно поэтому Центральные банки принимают решения через коллегиальные органы. Потому что ценно мнение не того, кто наиболее уверен в своем суждении и в своей правоте, а ценно мнение тех, кто готов делиться своим мнением и слушать аргументы коллег, и в итоге приходить к какому-то более целостному пониманию того, что имеет место быть сейчас, что в принципе может быть, какой веер возможности имеет место на будущее. И соответственно, какое решение в связи с этим может быть наиболее взвешенным.
Филипп Стеркин: И теперь даже есть возможность посмотреть вообще мнения, какие были в Центробанке, когда принималось это решение. То есть это теперь публичная информация.
Олег Шибанов: Вы знаете, с моей точки зрения, надо слушать всех, кто способен внятно говорить. То есть есть люди, которые просто с вами будут сильно не совпадать во взглядах, таких людей вы не сможете слушать, потому что вам будет неприятно. Ну если человек говорит, что экономика не существует, а все вокруг — это наше воображение, то, наверное, вам будет тяжело воспринимать его точку зрения. В других случаях надо слушать, на мой личный опять же взгляд, практически всех. Потому что тут даже не вопрос здравого смысла, он у многих, безусловно, сильный.
А вопрос того, что разные точки зрения могут вас обогатить, люди могут пропускать что-то, опять же никто из нас не совершенен.
Поэтому если кто-то вдруг вам напомнит важную деталь, которую вы упустили, то это для вас как для аналитика может оказаться важным не только сейчас, но и в будущем.
Но в целом с точки зрения быстрой какой-то реакции я, естественно, показываю всегда три слайда: то есть это Центральный банк, Минэкономразвития и, соответственно, консенсус аналитиков. Причем консенсус аналитиков я показываю много раз, несколько слайдов, честно говоря, не три, я все-таки ошибся. Потому что консенсус аналитиков на сайте ЦБ очень красиво нарисован, там можно наворовать графики, навставлять их в свою презентацию и показывать, что в целом этот консенсус думает,— очень удобно.
Марат Салихов: У меня тут две мысли есть по этому вопросу. Первое: наверное, сильно все зависит от контекста. Например, если мы смотрим на предсказание спроса на какой-то известный товар, то я бы первым бы поставил модели машинного обучения, статистические модели, потом, возможно, большие языковые и только потом — экспертов. Если мы смотрим на макроэкономику, наверное, все было бы наоборот.
A вторая вещь. На самом деле все эти альтернативы нужно скомбинировать, потому что у нас может быть панель экспертов, они делают предсказания, мы можем за ними следить во времени. И например, натренировать статистическую модель, которая корректирует их ошибки в той или иной степени. Если мы видим там, что у нас есть оптимист, мы можем его немножко приблизить к реальности. Если есть пессимист, то, наоборот, тоже сделать самоуверенным; раздавать веса: тем, кто лучше предсказывает,— больше вес, тем, кто хуже предсказывает,— меньше вес и так далее.
И разумеется, можно также конструировать синтетических экспертов на основе больших языковых моделей. Например, один из моих студентов-бакалавров как раз в этом году защитил диплом на такую тему.
Филипп Стеркин: Давайте двинемся дальше. Вот вы говорили о планировании, о планах, что цель прогноза — это планы. В какой мере цель хорошего плана может вступать в конфликт с целью точного прогноза? То есть если я хочу добиться какого-то результата, я разрабатываю план, и под это я подгоняю прогноз, не просто потому, что я его даже подгоняю, но я верю, что я добьюсь этого результата, и, соответственно, вот будет так. Алексей в начале говорил, что одна из причин, когда там кризис начинается,— реакция властей, и все развивается не так, как, в общем-то, ожидалось.
Часто планирование вступает в конфликт с прогнозированием. Ну, например, когда тот, кто планирует, он что-то хочет получить: деньги из бюджета государственного, негосударственного ли бюджета, корпоративного ли бюджета. Как вот устроена эта цепочка сообщающаяся?
Марат Салихов: Ну мой ответ будет такой. Прогнозирование нам дает понимание того, что может произойти. А планирование — это уже действия, которые мы хотим предпринять, исходя из этого понимания. То есть прогноз в какой-то степени более общий, потому что на одном прогнозе разные люди могут разные планы составить. Это с одной стороны.
А с другой стороны, есть такой вот пример конфликта между планированием и прогнозированием. Классический пример, его еще в 1978 году в Harvard Business Review описал Джейкоб Гоник, топ-менеджер IBM в Бразилии, и ситуация вообще очень такая типичная. Вот, например, есть менеджер по продажам. Менеджеру по продажам надо поставить квоту, чтобы вычислить его бонус. Квота вычисляется из прогноза спроса на той территории, где менеджер по продажам действует.
Кто знает, спрос на этой территории? Ну практически никто, кроме самого этого менеджера по продажам, и прогноз, соответственно, строится на основе информации, которую этот менеджер предоставляет. Если у нас за перевыполнение квоты положен бонус, то что получается? Ну менеджер по продажам занизит прогноз максимально, чтобы перевыполнить план. Ну и таких, понятно, подобных ситуаций очень много и в организациях, и в прогнозировании, и так далее.
И вот эта вот идея Гоника, она не так давно тоже во многих исследованиях получила развитие там, то есть люди смотрят, как правильно выстроить схему стимулирования.
И один, например, подход — это делать так, чтобы бонус сильно рос по мере приближения к выполнению квоты. И слабее рос после, и тогда люди будут говорить правду.
И в этом смысле, конечно, возникают конфликты интересов, когда один и тот же человек и генерирует прогноз, и предпринимает действия на основе него. И одним из лекарств может быть организационное разделение: прогнозисты заботятся о том, чтобы генерировать точные прогнозы, а уже потом люди, которые предпринимают действия, должны брать эти прогнозы за основу.
Филипп Стеркин: Ну да, и на уровне государства возникает тоже конфликт: например, какое-то ведомство дает прогноз определенный, представляет этот прогноз дальше, ему нужно получить под это финансирование из Минфина. Ну то есть вот возникает некий конфликт. Видите ли вы такой конфликт?
Алексей Заботкин: Ну, если позволите, я повторю примерно те же тезисы, которые сказал Марат, но с точки зрения опыта плановой экономики. То есть, действительно, если я не вру, то у Владимира Мееровича Полтеровича на самом деле была там довольно давно уже высказана мысль, что, собственно говоря, искажение информации в ходе формирования планов является краеугольной причиной, по которой плановые экономики априори всегда проигрывают рыночным на длинной дистанции.
И Марат уже сказал в одном из предыдущих вопросов, что участники рынка пытаются придержать частную информацию, которая является источником их информационного преимущества при конкурентной борьбе. Что происходит в плановой экономике? Все участники процесса планирования очень хорошо понимают, что те данные и те вводные, которые они дают наверх, в плановые органы, повлияют на те решения, которые эти плановые органы примут в отношении деятельности этих самых участников планирования внизу, и в конечном счете — на способность их достигать результаты, на их вознаграждение, ну и так далее.
И это создает очень серьезные стимулы, мягко говоря, если уж не откровенно вводить вышестоящий орган в заблуждение, то смещать эти вводные ровно так, как Марат писал про этих продажников в Америке. То есть вы завышаете свои запросы ресурсов и занижаете плановые показатели, для того чтобы иметь некоторый запас прочности на непредвиденные обстоятельства. И премию чтобы вы получили, даже если что-то пойдет против вас.
И в результате у центрального планировщика объективно на самом деле недостаточно информации для того, чтобы понять, что есть истина.
Он не в состоянии настолько детально понимать ситуацию, ну, что называется, на земле.
И рыночный механизм, который основан на конкурентном обмене по свободно устанавливаемым ценам, по факту оказывается более эффективным инструментом выявления вот этой самой частной информации. То есть рыночная цена в конечном счете ее и отражает: сколько и каких благ обществу нужно, кому именно они нужны и кто их способен произвести, в каком количестве с наименьшими издержками.
Ну здесь ключевой момент, что, конечно, это все верно как бы в предпосылках теорем благосостояния, вальрасовской экономике, но с некоторыми поправками это верно и в более ограниченном смысле для более широкого класса ситуаций, где рынок является механизмом формирования равновесия в экономике. И, как я уже сказал: в полностью плановой экономике равновесие, скорее всего, в принципе недостижимо. Поэтому в любой плановой экономике всегда есть на самом деле рыночный сегмент, который уравновешивает то, что не сбивается планом в той или иной мере.
Филипп Стеркин: Ну знаете, для меня таким неким памятником, надгробием плановой экономики является, то количество недостроя, которое осталось от Советского Союза. То есть уже когда, собственно, все развалилось, уже разваливалось, в бюджете денег не было, а все равно продолжали что-то где-то строить, какие-то там огромные гостиницы, какие-то еще там здания. Вот этот недострой, так сказать, наглядное свидетельство того, к чему приводит в итоге плановая экономика, потому что план был, надо его реализовывать, и запросы есть от кого-то.
Алексей Заботкин: Ну главное, что он не сбивается. Здесь важный момент состоит в том, что если все завышают свои запросы ресурсов и занижают свои выпуски, то, когда это все дальше собирается на уровне агрегатном, у вас на самом деле никакого равновесного сбалансированного плана возникнуть не может. И вы можете это более или менее отрихтовать, когда у вас сравнительно простая экономика. Ну такая вот эпохи начала индустриализации, которая была в двадцатые, тридцатые годы, условно говоря.
Когда у вас экономика, которая должна производить очень большую номенклатуру разнообразных товаров и услуг, то сложность задачи растет гиперэкспоненциально, я так подозреваю. И по факту Госплан занимался пересчетом своих планов на регулярной основе, сильно отставая от развития ситуации в течение всех 1980-х.
Филипп Стеркин: Я хотел бы продолжить разговор про влияние прогнозов. Прогноз ведь еще является и средством, инструментом коммуникации. Центробанк, например, сам создает прогноз и сам же сообщает его рынку. Как прогноз влияет на поведение бизнеса и населения? Как вы это учитываете? Как вы это отслеживаете? Как ЦБ в прогнозе учитывает влияние своего прогноза?
Алексей Заботкин: Ой, это очень хороший вопрос. И здесь, наверное, опыт последних двух лет для нас был очень поучительным. Мы увидели, что в течение всей половины прошлого года и бизнес, и финрынки продемонстрировали склонность интерпретировать наш прогноз очень буквально и, что важно, избирательно. Что произошло?
В прогнозе содержалось ожидание снижения ключевой ставки по мере замедления инфляции. При этом экономические агенты сохраняли ожидания того, что инфляция будет оставаться высокой, инфляционные ожидания были по-прежнему повышенными, они до сих пор остаются повышенными, и при этом предполагали, что ставка все равно будет снижаться, несмотря на то, что инфляция остается высокой.
И в рамках этого совмещения ожиданий из прогноза экономических агентов с прогнозом ставки из нашего прогноза, что делать с методологической точки зрения нельзя, потому что прогноз можно воспринимать только целостно, получилось так, что реально главные заемщики оценивали денежно-кредитные условия, уровень реальных процентных ставок как сравнительно умеренный. И этот маховик роста кредита раскручивался вплоть до осени, и в итоге это потребовало гораздо более высокого уровня ключевой ставки, чтобы этот процесс пресечь.
И поэтому здесь вот это, наверное, не пример какого-то самосбывающегося прогноза, а скорее пример прогноза, который был некорректно считан. Мы извлекли из этого соответствующие уроки.
С середины прошлого года мы гораздо более навязчиво объясняем, что траектория ключевой ставки, которая содержится в прогнозе, имеет смысл только в контексте остальных предпосылок прогноза и остальной механики прогноза. Если кто-то по каким-то причинам считает, что инфляция будет замедляться более постепенно или не будет замедляться, он должен исходить из того, что Центральный банк, когда это увидит, на самом деле поведет ставку по другой траектории. Собственно говоря, то, как это и описано в сценариях в «Основных направлениях денежно-кредитной политики».
Филипп Стеркин: Еще вопрос про коммуникацию. Как раз о том, как правильно это доносить, как рассказывать о прогнозах, чтобы, оставаясь правдивым, не вызывать паники или, наоборот, чрезмерных ожиданий.
Вы уже пояснили, как действует Центробанк. А как вы относитесь к подходу Центробанка Армении, который не использует сейчас в своих сценариях базовый, а оставляет два полярных таких сценария: один, который выше прогнозов рынка, a второй — ниже? Подход такой: зачем в такой неопределенности, как сегодня, создавать ложное ощущение предсказуемости?
Алексей Заботкин: Мы пытаемся этого избежать. Как вы знаете, у нас даже базовый прогноз дается в формате диапазонов, чтобы отметить неизбежный люфт в суждениях о будущей динамике показателей. Ну и то, что на сленге экономистов называется модельной неопределенностью. То есть мы все понимаем, что каждая модель отражает, в том числе суждения того, кто является оператором этой модели. Соответственно у вас есть некоторые зазоры по поводу того, каким образом именно ее следует оценивать.
Базовый прогноз в таком диапазонном формате, на наш взгляд, это важный инструмент для демонстрации того, как совет директоров рассматривает наиболее вероятный ход событий.
Есть альтернативные подходы, которые, в частности, последние два года использует Центральный банк Армении, где они не выделяют базового прогноза, они коммуницируют скорее верхние и нижние траектории, которые разнесены гораздо шире, чем края диапазонов нашего базового прогноза для принципиально разных сценариев. И, говорят, обсуждая решения, совет директоров исходил из набора альтернатив, которые лежат внутри этого облака.
Мы следим за их опытом. Более того, в 2023 году на нашем воркшопе в Санкт-Петербурге была отдельная панель с участием Айка Аветисяна, который является директором макроэкономического департамента Банка Армении. Там он этот подход докладывал, мы его обсуждали. Но пока нам представляется, что такой well defined базовый прогноз имеет ценность для нас с точки зрения эффективности коммуникации.
А вот разброс более широкого набора сценариев мы демонстрируем раз в год в рамках публикации альтернативных сценариев в «Основных направлениях денежно-кредитной политики». Этот документ — его текущую редакцию — можно найти на нашем сайте.
Филипп Стеркин: Что вы скажете об этом подходе банка Армении и насколько он бы подходил для России? Или оптимальным вам кажется как раз прогноз Банка России с диапазоном и раскрытием альтернативных сценариев?
Олег Шибанов: Если можно, я даже чуть с другой точки зрения попробую высказаться, с точки зрения, условно говоря, аналитиков коммерческих банков. Если вы думаете, можно ли обойтись без базового прогноза, сильно теоретически, да, практически, конечно, нет. Потому что вам нужны какие-то разумные сбалансированные числа из каких-то равновесных моделей, вероятно, чтобы вы могли положить это в основу бизнес-плана или каких-то других подходов, которые вы обсуждаете с бизнесом.
Поэтому без базового сценария, когда вы только крайние траектории показываете, можно обойтись, когда вы делаете стресс-тесты. Говорите: вот в хорошем случае так пойдет, в плохом — так пойдет, какое у нас влияние может быть на портфель банка или на экономику в целом. Поэтому мне кажется, что базовый сценарий — это всегда очень полезный ориентир. Я рад, что Банк России его предоставляет. И в этом смысле мне кажется, что без него было бы сложнее ориентироваться.
Филипп Стеркин: Я хотел бы разбавить нашу дискуссию таким потребительским вопросом. Стоит ли розничному инвестору пытаться предсказывать рынки? Стоит ли потребителю пытаться предсказать цены, ставки, чтобы разбогатеть на рынке? Хотя бы предсказать курс рубля — стоит ли пытаться? Такой волнующий, для многих важный вопрос…
Олег Шибанов: А почему он волнующий и важный, я хочу уточнить? То есть в чем мотивация считать его волнующим и важным для этих людей — с вашей точки зрения?
Филипп Стеркин: Ну, во-первых, есть люди, у которых есть валютные расходы, поэтому для них уже это может быть важным элементом. Поэтому для каких-то людей это может быть важным вопросом. Цены на многие активы могут зависеть от курса точно так же. Я могу достаточно долго перечислять...
Олег Шибанов: Да, понятно. Давайте я тогда про эти две вещи скажу. Если у вас есть расходы в какой-то чужой валюте, вы просто диверсифицируете свой портфель. Если у вас доходы в рублях, но расходы вы будете нести в валюте — ну, например, для образования детей — в этой ситуации, конечно, надо копить, в том числе в чужой валюте, и не надо пытаться играть с валютными курсами. Диверсификация портфеля — это стандартный инструмент.
Если вы хотите сыграть на рынке и заработать на том, как валюта движется и как ставки движутся, у меня плохие новости. Ни на том, ни на другом заработать рядовой инвестор практически никогда не может, особенно на длинном горизонте. То есть на коротком это возможно, а вот на длинном горизонте — от двух лет… есть просто исследования, которые четко показывают, чем это заканчивается в среднем: человек очень много денег может на этом потерять.
Поэтому, когда вы думаете про финансовые рынки и про то, как, наверное, можно размышлять про них, я бы всегда думал в терминах того, что долгосрочно зарабатываете на финансовых рынках вы за счет взятия риска. Не за счет того, что вы торгуете постоянно, угадываете движение рынка, пытаетесь сделать 2X за два дня, на весь капитал торгуете в какой-то важной позиции. Это работает не так.
Для непрофессионального инвестора история должна выглядеть исключительно как диверсификация портфеля и вложение в многочисленные индексы, если это доступно. То есть в каких-то ситуациях россиянам стало гораздо сложнее инвестировать в иностранные рынки, и поэтому, конечно, придется размышлять дополнительно.
Я не даю инвестиционный совет, я всего лишь говорю о принципах, которые нужно применять. Зарабатывают люди на том, что они вдолгую вкладывались, например в индекс акций, или, если им очень повезло, угадывают, есть отдельные победители. Но это везение редкое, и на рынках зачастую разворачивается в неожиданный момент. Условно говоря, вы вкладываете в компанию, которая сначала выглядит прекрасно, но проходит пять лет, она проигрывает конкуренцию Amazon, и ее больше нет.
Поэтому, с моей точки зрения, пытаться торговать, угадывая направление движения, или прогнозируя, или предсказывая, на рынках, где множество участников и они достаточно активны,— это смелое решение. Это показывает, что у человека есть уверенность в себе и это здорово, ее надо применить в другом, в своей карьере, в том, что вы все больше и больше зарплату зарабатываете и пытаетесь продвигаться по карьерной лестнице. А потом, если хотите, делаете свой стартап и можете разбогатеть на том, что у вас прекрасный бизнес.
А вот бизнес на финансовых рынках… Извините меня, Баффетт не переигрывает рынки уже очень много десятилетий. И когда вы считаете, что, конечно, вы лучше Баффетта умеете прогнозировать, тогда вы молодец, и это здорово.
Филипп Стеркин: Давайте перейдем к нашему следующему блоку, но я прошу вывести в начале результаты ответов на наш второй вопрос: что мешает точности прогнозов? Мне они показались очень интересными. То есть с достаточно большим отрывом побеждает ответ — давление, 30% так ответило, ведь прогнозисты редко независимы.
Фото: Российская экономическая школа
Фото: Российская экономическая школа
И что интересно, эта мысль у нас уже тоже звучала, то есть назывались разные причины: данных не хватает, экономика постоянно меняется слишком быстро, модели устаревают. Вы уже высказали свое мнение, но мне интересно будет, если кто-то из вас выскажется по поводу этого ответа. Насколько мешает нехватка, недостаток независимости прогнозистов?
Олег Шибанов: А можно я кратко? Я совсем кратко и опять очень аккуратно — не с точки зрения отдельного банка, а с точки зрения в целом индустрии. Слушайте, ну если вы лучше прогнозируете и у вас есть возможность постоянно это доказывать вашему топ менеджменту, то вы гораздо лучше себя чувствуете, чем если вы плохо прогнозируете.
Поэтому неправильно прогнозировать для аналитика в коммерческом банке и, наверное, в России просто меньше развита индустрия, в пенсионной и страховой компании практически никакой такой мотивации нет. И если кто-то ее придумал, здорово, но сообщаю, что она отсутствует у аналитиков.
Филипп Стеркин: Как Кейнс говорил, мудрость банкира состоит не в том, чтобы не ошибиться, а в том, чтобы ошибиться вместе со всеми, то есть совершить ту же ошибку, что и все. Как я понимаю, у прогнозистов примерно такой же подход?
Марат Салихов: Есть высказывание экономиста Эдгара Фидлера, что на фоне экономических прогнозистов овцы выглядят независимыми мыслителями. Мне кажется, это некоторое преувеличение. Я думаю, что в разных контекстах мы получаем разные результаты.
Есть теоретическая статья (Марко.— “Ъ”) Оттавиани и (Питера Нормана.— “Ъ” ) Сёренсена «Стратегия профессионального прогнозирования» (.pdf). Она описывает, что в зависимости от контекста прогнозисты могут вести себя по-разному. Например, действительно может быть сценарий, в котором прогнозисты не хотят отрываться от консенсуса и хотят делать прогноз, близкий к среднему, чтобы не выглядеть какими-то там выскочками. Бывают сценарии, когда, наоборот, прогнозисты слишком пытаются отделиться от консенсуса, чтобы оказаться среди лучших.
И в тех окружениях, где у нас все похоже на конкурс, где мы вознаграждаем лучших прогнозистов, мы увидим, что на самом деле прогнозисты будут стремиться отделить себя от консенсуса, а не приблизить к нему.
Филипп Стеркин: Алексей, у меня к вам вопрос про фигуру прогнозиста. Существует большое количество исследований о тех когнитивных искажениях, которым подвержены экономисты, о каких-то субъективных на что-то реакциях. Вот, например, была работа экспертов МВФ, которая показывала, что прогнозисты слишком подвержены влиянию хороших новостей и в меньшей степени подвержены влиянию плохих новостей, и хорошие новости вызывают более серьезные колебания в прогнозах.
Вот вы со стороны, наблюдая за сообществом макроэкономических прогнозистов, замечаете какие-то отклонения, когнитивные искажения, которым подвержены люди? И внутри Центробанка, наверное, тоже.
Алексей Заботкин: Хороший вопрос. Олег уже похвалил то, что мы показываем очень развернутое представление нашего макроопроса. Конечно, мы там не даем индивидуальные имена, кто что предсказывает. Мы даем диапазоны с разбросами центральной тенденции и т. д. Кто не видел это, на нашем сайте рекомендую посмотреть. Там хороший пример практики того, как можно думать о консенсусном прогнозе. Консенсусный прогноз не исчерпывается средним.
Возвращаясь к вашему вопросу. Мы-то внутри ЦБ видим отдельные позиции, и я точно знаю, у кого какие смещения есть. Кроме этого, мы проводим встречи с аналитиками, где еще и на качественном уровне обсуждаем их взгляды и пытаемся прояснить какие-то вопросы по итогам заседаний. Поэтому у каждого, конечно, есть свои ну не когнитивные искажения, скорее некоторые убежденности в определенных постулатах, с которыми, может быть, кто-то другой категорически не согласен.
Но для этого и нужно, чтобы у вас была когорта экспертов, на которую вы можете ориентироваться, где эти разные позиции друг друга уравновешивают и соревнуются друг с другом. В этом смысле прозрачность и публичность дают наилучший результат. Потому что эксперты соревнуются за свою репутацию. Если все их прогнозы, что называется, on the record, то можно за десять лет посмотреть, кто как прогнозировал, и это будет влиять на количество подписчиков в Telegram-канале, а в конечном счете, наверное, и на ту компенсацию, которую этот эксперт будет получать в той организации, которая его нанимает.
Вы упомянули книжку Тетлока «Superforecasting» («Суперпрогнозирование: искусство и наука предвидения»), она меня в свое время очень заинтересовала, до сих пор стоит на таком не самом главном, но видном месте, то есть на полке, до которой не надо лезть по лестнице. Она очень наглядно демонстрирует важную вещь, что залогом хорошего прогноза является в первую очередь дисциплинированный и критический анализ поступающих новых квантов информации, причем в реальном времени. И регулярный апдейт прогноза на основании этих данных.
Исходя из того массива данных, которые проанализировал Тетлок в рамках эксперимента, о котором говорил Марат, это является более важным фактором, чем узкоспециальная экспертиза конкретного прогнозиста в конкретной предметной области.
Мне кажется, это очень важное наблюдение: во главе угла — дисциплина, регулярный апдейт прогноза, честный учет поступающих данных.
Это на самом деле одна из причин, и весомая причина, почему центральные банки не принимают решение о том, какая будет траектория ключевой ставки на год вперед 1 января, и дальше расходятся и оставляют стафф просто изменять ключевую ставку в соответствии с обозначенной траекторией. А все-таки собираются раз в шесть недель в среднем, чтобы уточнять оптимальную траекторию своей политики с учетом поступающей информации. Собственно говоря, идея Тетлока в этом, мне кажется, вполне находит свое отражение.
Филипп Стеркин: Я помню, давно-давно один достаточно известный экономист, когда я спрашивал его, как он обновляет свой прогноз, сказал, что я свои прогнозы раз в полгода не меняю. То есть он так высечен в камне, в граните.
Алексей Заботкин: Джон Мейнард Кейнс с ним бы не согласился. Есть цитата, которую обычно приписывают ему, хотя, насколько я понимаю, он этого не говорил, тем не менее она очень уместна для этого этапа дискуссии про прогноз: «When facts change, I change my mind» («Когда факты меняются, я изменяю свое мнение»).
Филипп Стеркин: Эта цитата есть и в такой формулировке: якобы он отвечал на письмо Черчилля, который писал: «Я прихожу к вашей точке зрения», на что Кейнс ответил: «Жаль, я ее меняю». Прекрасное высказывание.
Марат, мы несколько раз уже упоминали Тетлока. А что показывают его исследования, что ваши исследования показывают? Если кратко описать, каков этот вот идеальный прогнозист? Алексей сейчас уже говорил про определенные характеристики…
Марат Салихов: Ну суперпрогнозист — это часто не эксперт, например в политологии или социологии, это просто человек, который интересуется именно прогнозированием, а не предметной областью. Очень часто это человек, который занимается какой-то количественной дисциплиной, инженерией, программированием. Обычно определяющие характеристики, если смотреть на данные Тетлока, с которыми я сейчас активно работаю, это интеллект, умение работать с цифрами и когнитивная рефлексия, то есть осторожность и склонность к аналитическому мышлению, а не к быстрым, импульсивным действиям.
Результаты одного из моих пока неизданных исследований говорят также, что вредят прогнозисту излишняя экстраверсия, открытость опыту и старательность. То есть хороший прогнозист — это тот, которому интересно заниматься прогнозированием, но который не вкладывает, возможно, слишком много усилий в то, чтобы собирать данные, потому что часто это приводит к тому, что мы получаем много шума вместе с данными на входе.
Филипп Стеркин: Марат в подкасте у нас рассказывал: открытость новому опыту вредит. Как вам кажется?
Алексей Заботкин: Я бы скорее с этим не согласился.
Марат Салихов: А у меня комментарий есть на самом деле. Есть два разных вида открытости. Одна — это открытость опыту, то есть человек любит путешествовать, условно говоря, или там пробовать разные виды блюд и т. д. A вторая — это открытость мышления. То есть открытость разным точкам зрения, гибкость и т. д. И вот открытость опыту при прочих равных ухудшает качество прогноза, а открытость мышления — улучшает.
Филипп Стеркин: Филип Тетлок пишет, что ореол известности или следование какой-то большой теории мешает точности прогнозирования. И он очень, мне кажется, наглядно сравнивал такую большую идею с зелеными линзами, которые носили жители и посетители Изумрудного города. То есть все видно через зеленые линзы, они, может быть, что-то могут подчеркнуть, но гораздо чаще искажают реальность, потому что все люди все видят через призму своей теории.
Как вам кажется, есть ли действительно такая проблема для маститых экономистов, когда они выступают с прогнозами через призму идеи?
Олег Шибанов: Я в мозги всех крупных экономистов залезть не могу, поэтому у меня есть только внешние наблюдения. Часть из них — очень скромные люди. Часть — такие экстраверты, которые стремятся подавить аудиторию.
Но я один пример вчера прочитал в книжке, которую сейчас пытаюсь разобрать. Известный экономист Ларри Саммерс в период большой инфляции в Америке в 2021–2023 годах говорил, что если мы применяем наши исторические оценки, то для того, чтобы победить эту высокую инфляцию, нам нужна будет очень сильная рецессия. То есть он говорит: чтобы инфляцию теперь с 7%, допустим, до 2% снова опустить, нам придется учесть исторический опыт Америки и то, что есть большой коэффициент потерь: когда вы инфляцию снижаете, вы теряете в росте ВВП очень много и уходите в рецессию.
Это утверждение интересное. Но в этой ситуации вы оказываетесь заложником того опыта, который у вас был, академического, может быть, управленческого. Потому что в итоге американская экономика, конечно же, не попала в рецессию. И оказалась в ситуации, где мягкая посадка пока выглядит правдой. То есть действительно удалось провести дезинфляцию без сильного торможения экономики.
И в этом смысле я бы не сказал, что крупные, опытные экономисты на одной и той же идее останавливаются и рассказывают ее 30 лет. Это зависит от самого человека. Кто-то может уверовать в то, что он когда-то нашел, и это транслировать много лет. Но обычно экономисты — и академические, и прикладные — довольно гибкие люди. Они постепенно придумывают новые идеи, какие-то новые эконометрические даже исследования, которые позволяют им чуть лучше понять то, что происходило. Поэтому мне кажется, что нет такого жесткого зависания на одном и том же.
Филипп Стеркин: Вот еще вопрос вам уже от наших зрителей. В чем должны разбираться сегодня экономисты? Насколько должны разбираться и в геополитике, чтобы давать прогнозы?
Олег Шибанов: Если мне дадут еще 20 лет, я, безусловно, стану профессионалом и в этом направлении тоже. У меня 20 лет для этого, наверное, не будет. И мне многие вещи приходится брать как вводные, то есть я могу в сценарном анализе предполагать какие-то вещи и обсчитывать, к чему это приводит. Но объективно стать профессионалом геополитики я не могу, потому что у меня нет еще 20 лет на образование политолога.
И я считаю, что люди, которые делают прогнозы, должны прислушиваться к многим профессионалам из разных отраслей. И к отраслевым людям, которые исследуют отдельные направления условного нефтегаза, металлов и т. д. И, с другой стороны, к тем, кто исследует вот такие сложные вещи, потому что геополитика, политология — это отдельная, большая, тяжелая, сложная наука. Которой я в литературе знаю 0.
Я вот сейчас сяду и буду ежедневно читать статьи, через пять лет я выйду на уровень человека, который два года на PHD отучился, потому что у меня другие обязанности еще есть. Поэтому, с моей личной точки зрения, разбираться невозможно. Это моя точка зрения, может быть у кого-то она другая. Но с точки зрения прислушиваться и пытаться разобраться, что об этом говорят коллеги, которые понимают лучше, ну, это, конечно, важно.
Филипп Стеркин: Марат, а вот из исследований, которыми вы занимаетесь… удается ли экспертам предсказывать геополитику?
Марат Салихов: Тут надо определить, что такое геополитика, что такое эксперты. Было два больших исследования Тетлока. Одно — в восьмидесятых годах, называлось Expert political judgement. Там он собирал конвенциональных экспертов по социальным наукам, по военным вопросам и т. д., задавал им вопросы. Эти вопросы часто были долгосрочными, например со сроком до пяти лет.
И исход этого исследования был пессимистичным: эксперты мало чем отличались от случайного выбора альтернатив. Но они были лучше, чем люди с улицы или студенты, которые были хуже, чем случайный выбор альтернатив.
То есть экспертиза была, но сильно много определенности эта экспертиза не создавала.
Потом, в 2010-е годы, Тетлок поучаствовал в турнире, организованном IARPA (американское Агентство передовых исследований в области разведки.— “Ъ”), его команда называлась «Good judgment project» (с англ.— «Трезвый расчет»). И он там набирал людей, которые не эксперты, а просто хотели прогнозировать, интересовались этим. Он из них выбрал лучших по итогам первого года турнира — 2%. И потом эта команда уверенно побеждала всех остальных. И качество прогнозирования было стабильно лучше, чем случайный выбор, то есть они примерно в 75–80% случаев верно угадывали исход дела.
И теперь эти люди прогнозируют и на других платформах. Например, очень хороший сайт metaculus.com, который генерирует довольно интересные прогнозы, а также polymarket.com, который является рынком предсказаний.
Филипп Стеркин: Еще один вопрос от нашего зрителя. Есть ли статистика, чьи прогнозы лучше искусственного интеллекта или экспертов?
Алексей Заботкин: Мне такие исследования неизвестны. Я подозреваю, что на самом деле честный такой баттл устроить пока проблематично. Потому что у вас просто нету длинной истории существования прогнозов, сгенерированных искусственным интеллектом. Конечно, можно попытаться зафреймить LLM-модель (large language model, большая языковая модель.— “Ъ”) чтобы она якобы не смотрела в ту информацию, которая находится раньше точки отсечения информационного множества, и попытаться таким образом сгенерировать, как бы просимулировать прогнозы, которые были бы даны, если б LLM давала их тогда.
Но здесь есть, на мой взгляд, по-прежнему очень открытый вопрос. В какой мере оператор LLM может произвести такое цензурирование информационного множества для LLM, которая была натренирована на полном массиве? То есть, условно говоря, чтобы проделать это упражнение, вы должны оттренировать LLM в винтажах на все сужающейся выборке информации.
А задавать generic LLM вопрос, какой бы нам дали прогноз, условно говоря, в конце 2020 года на 2021-й? И считай, что ты как бы не знаешь данные, начиная с января 2021 года. Есть подозрение, что такого рода констрейнт (ограничение.— “Ъ”) не будет работать, и неявным образом LLM будет все равно заглядывать в будущее. Не потому, что она будет как-то читить, а потому, что просто она натренирована на этих данных, то есть ей априори известно то, что было после точки отсечения.
Поэтому если кто-то хочет этим заняться, это хороший исследовательский проект. Но это надо делать в реальном времени. Прямо как эволюционируют основные LLM-ки, задавать им стандартный промт, пусть они генерируют прогнозы, и дальше сравнивать их. И лет через пять-шесть посмотреть, насколько они побьют консенсус экономистов, который собирает Банк России.
Марат Салихов: У меня комментарий короткий. Есть такой сайт ForecastBench, который позволяет сравнивать разные решения, основанные на LLM-ках. И у нас бакалавр сделал как раз такое, смотря на события, которые произошли после отсечки, на которых эта LLM-ка была натренирована. И пока что люди лучше в среднем, но движение в правильном направлении происходит. Ну, конечно, это все предварительные результаты, неопубликованная статья.
Но, возможно, мы увидим через несколько лет, что по крайней мере для геополитики LLM-модели могут сравниться с людьми.
В Лондонской школе экономики этим занимается группа с Филипом Шёнегером. А по экономическому прогнозированию сейчас Джон Хортон из MIT Sloan пытается строить агентов, которые симулируют экономических прогнозистов. И, может быть, мы тоже скоро получим об этом информацию.
Филипп Стеркин: В завершение хотел бы вот какой вопрос задать. У нас несколько раз звучала мысль про ошибки. Можно ли оценить стоимость ошибок в макропрогнозах? Наверное, можно на каком-нибудь микроуровне оценить, хотя тоже не знаю. Но вот макропрогноз?
Допустим, мы просчитались в масштабе падения экономики, переоценили его, заложили слишком большой пакет помощи, внесли очень большое искажение в экономику или, наоборот, начали усердно зажимать бюджет, потому что мы готовились к коллапсу, и нужно, значит, копить, копить, копить резервы. А вот можно ли достоверно вообще оценить стоимость этой ошибки?
Алексей Заботкин: Вопрос интересный и нетривиальный. Надо сначала договориться, в чем мерить эту стоимость. Вот с точки зрения логики макроэкономической политики обычно в качестве издержек принимается некоторое отклонение экономики от траектории устойчивого роста. То есть безвозвратные потери, связанные с тем, что экономика какое-то время находилась ниже своего тренда (или в случае перелета — выше тренда, соответственно там издержки, связанные с высокой инфляцией).
Каким образом это свести в единую метрику, я с ходу, наверное, не скажу. Но можно воспользоваться той методологией, которая используется при анализе политики и называется «функция потерь центрального банка». Но это — точка зрения Центрального банка. Насколько эта метрика для этого упражнения подходит, я думаю,— это тема для обсуждения. То есть, если задаться метрикой, то посчитать можно что угодно. Вопрос в том, чтобы договориться о метрике — как считать.
Филипп Стеркин: Олег, вы что-то скажете про ошибки?
Олег Шибанов: Есть честные ошибки и ошибки нечестные. Есть ошибки, которые предполагают наши слушатели, что кто-то из аналитиков целенаправленно стремится подогнать под что-то — под запрос начальства, под свои идеи и т. д.
А есть ошибки честные, когда вы делаете прогноз на том уровне, на котором вы хотите, и получаете результат. Очевидно, что большинство ошибок аналитиков, конечно, второго вида.
И поэтому думать, что там неточности какие-то в результатах у отдельных аналитиков или у крупных государственных организаций, связанные с подгонкой,— я вот не могу.
Поэтому у меня с точки зрения ошибок вопрос не к тому, что получилось и насколько точно попали, а вопрос как раз к тому, насколько мы согласуемся с логикой, которую пишут в этих сценариях.
Ну вот, например, с логикой текущего сценария экономического, который по текущему бюджету, который внесен в Госдуму, я совершенно согласен. В этом плане с логикой прошлого прогноза — 2024 года — мне было чуть труднее солидаризоваться, потому что я ее недопонимал. А в этом году полностью понял. И солидарен.
Филипп Стеркин: Как раз в логике бюджета очень часто возникает этот самый конфликт. Допустим, Минэкономразвития отстаивает более слабый курс, Минфин отстаивает более жесткий курс, потому что это вопрос расходов бюджета и там цена нефти и т. д. И там целые баталии происходили между Минэком и Минфином, раньше во всяком случае. И не всегда модель побеждала желание увидеть ту или иную цифру в табличке.
Олег Шибанов: Я не работал ни там, ни там, но я знаком с коллегами и оттуда, и оттуда. Давайте я скажу вслух, что они не собираются вас обманывать. Вот я скажу за них, можете их пригласить на будущие подкасты, и они это скажут сами. Никто не собирается обманывать, когда делает прогноз.
Филипп Стеркин: Хорошо, у меня вопрос еще вот какой. Что показывают исследования, как уходить от фрейминга? Что делать, чтобы как-то свои байесы пытаться контролировать, учитывать, быть более объективным? Мы про прогнозы говорим.
Марат Салихов: Классическая схема, которую Канеман предлагает и на которую Тетлок напирает в своей книге,— это иметь внешний взгляд и внутренний взгляд. Когда мы пытаемся понять, что происходит в какой-то ситуации, предсказать вероятность чего-то, нужно, во-первых, посмотреть, какой референтный класс. Если мы смотрим на военный конфликт, например в Африке, надо посмотреть, что происходит в подобных же военных конфликтах в первую очередь, а не пытаться сразу уходить в детали данной конкретной ситуации. И там определить, какая должна быть наша стартовая точка. И уже только после этого обновлять.
Нужен именно общий фреймворк. Пытаться обобщать до того, как мы уходим в детали.
Конечно, детали важны, но, наверное, одна из главных причин байеса в том, что человек действительно замкнут в своем пространстве.
Может быть, одна из идей может быть такой — ввести какие-то координаты. Ну, например, где происходит этот конфликт, что это за явление и попробовать конструировать разные комбинации по этим координатам и анализировать, что с ними происходит.
Филипп Стеркин: Но все-таки давайте завершим про искусственный интеллект. Без него, так сказать любая беседа — как свадьба без невесты. Мы уже говорили: кто точнее, когда точнее, эксперт, модель. Когда эксперт, его мнение обязательно дополняет модели и т. д. Центробанк, кстати, на это указывал, что его макропрогноз хотя и опирается на модельные расчеты, не формируется из них автоматически, он учитывает экспертные суждения — это мнение конкретных людей.
Если мы говорим про будущее — не совсем близкое, но обозримое — стоит ли нам ждать такой революции? Вот как была революция достоверности в экономике, про нее говорят. Так вот, стоит ли нам ждать революции точности прогнозов благодаря каким-то новым совершенно методам — данным и искусственному интеллекту? И можем ли мы в итоге прийти к прогнозу только по алгоритму? Ну или человек, в общем, непредсказуем, так что никакой алгоритм нам не позволит делать стопроцентные прогнозы?
Алексей Заботкин: Можно я немножко сначала в историю, а потом про будущее?
Филипп Стеркин: История — всегда прекрасно.
Алексей Заботкин: С точки зрения той узкой зоны ответственности, которую имеют центральные банки, а именно низкая инфляция, если посмотреть на историю последних четырех десятилетий, то очевидно, что качество прогноза улучшилось. Потому что конечным мерилом того, насколько этот прогноз хорош, насколько хороши решения, которые на основе этого принимаются, является то, что инфляция способна оставаться низкой. И есть широкий спектр стран, центральные банки которых если не с середины восьмидесятых, то с начала девяностых последовательно демонстрировали там инфляцию на уровне 2%, 3% в среднем.
Единственное сильное отклонение было сильное в 2021–2022 годах, но и с ним они тоже поборолись довольно неплохо, прямо скажем. К цели пока полностью инфляция не опустилась не только в США и Великобритании, но и в ряде других стран.
Но в целом мандат поддержания низких цен в течение последних трех десятилетий центральные банки исполняли на основе решений, которые принимались на основе прогнозов.
И делали это гораздо лучше, чем в предыдущие три десятилетия. Соответственно, с моей точки зрения, это то, что называется beyond reasonable doubt (вне разумного сомнения.— “Ъ”) — демонстрация того, что прогнозы улучшились.
По поводу будущего. По поводу искусственного интеллекта и конкретно LLM-моделей — это мощнейший инструмент для человечества. Для людей интеллектуального труда это как изобретение экскаватора для людей, которые до этого копали траншеи лопатами. Производительность труда сильно от этого возрастет в нашей сфере деятельности.
Насколько LLM cвободны от предвзятости байесов и так далее, это еще предстоит узнать. У меня есть подозрение, что там байесы есть. По поводу экономических и прогнозных вещей на этот счет исследования нет, но есть масса сообщений в прессе, которые показывают, что на самом деле по вопросам социально-политической повестки LLM уже демонстрируют смещение, исходя из того, на каком корпусе текстов, на каком контенте обучен конкретный LLM. Поэтому считать, что это какая-то панацея и конкретно взятая LLM — это абсолютно непредвзятый холодный разум, который гораздо умнее, чем дисциплинированный эксперт, я бы не стал.
Ну и чтобы закончить, не быть таким уж скептиком по поводу LLM, то, для чего я попросил LLM помочь мне. Я попросил его дать синопсис из 500 слов про «Сигнал и шум» Нейта Сильвера. Полностью его зачитывать не буду и в интересах времени, и чтобы не спойлерить тем слушателям, которые еще не имели счастья почитать эту книжку. Но одну фразу все-таки процитирую: «Ultimately "The Signal and the Noise" is not just a manual for better forecasting but a call for intellectual humility in the face of complexity» («В конце концов "Сигнал и шум" это не руководство для лучшего прогнозирования, но и призыв к интеллектуальному смирению перед лицом сложности»).
Я думаю, хорошо, что LLM понимает экспертов в области прогнозирования, чему они нас учат. И, наверное, если LLM будут к этому прислушиваться, то будут двигаться в том же направлении, в котором двигаются и скромные люди, прогнозисты.
Филипп Стеркин: Но, кстати, про байесы LLM. Как раз исследование Cortana (хотя могу ошибиться) показывало, что у него есть байес, что он переоценивает, например, рост цен, ему свойственна здесь переоценка, то есть ничто человеческое…
Алексей Заботкин: Но опять же, вопрос — на каких данных и на каком промежутке времени вы это даете. То есть он может переоценивать просто потому, что вы его спрашиваете про тот период, где есть смещение, да?
Марат Салихов: Я хочу сразу сделать комментарий про байесы. На программе ФИБ («Финансы, инвестиции, банки».— “Ъ”) в РЭШ в этом году студент Андрей Рязанцев (MAF'2025) получил награду за лучшую магистерскую диссертацию как раз за работу, которая расширяла исследования про системы ценностей LLM-моделей. И вот это исследование оригинальное показывало, например, что LLM-модели ненавидят Илона Маска и Дональда Трампа, если задавать им вопрос, чью жизнь они больше ценят.
А студент посмотрел, как это влияет на финансовое принятие решений, и, например, если LLM знает, что она консультирует босса мафии, то она будет предлагать более рискованные и менее законные способы заработка.
Ну это просто как комментарий о том, что AI-модели действительно — не бесстрастные механизмы. Многие люди, например, их используют, чтобы играть в компьютерные ролевые игры, то есть они достаточно неплохо могут уже симулировать поведение реальных людей. И много есть исследований, которые показывают, что они, когда поставлены в ситуации выбора, подвержены тем же поведенческим байесам, что и многие из нас.
А главный вопрос, мне кажется, — увидим ли мы революцию. Я думаю, что тут есть две вещи. Первая. Из-за этих моделей усложнится общество, усложнится экономика, усложнится поведение субъектов экономики, и, возможно, их станет даже сложнее предсказывать. A вторая вещь. Возможно, что по мере развития общества, может быть, мы научимся предсказывать развитие отдельных экономик, но вопросы, которые нас будут волновать, будут уже совсем другие. И уже эти вопросы будут гораздо сложнее, чем то, с чем приходится иметь дело сейчас.
Филипп Стеркин: Олег, предлагаю вам подвести черту. Много про это говорили, но тем не менее — ваш прогноз относительно революции точности будущего.
Олег Шибанов: Я просто, может быть, более примитивный человек, недопонимающий такого хайпа вокруг LLM. Очень классные модели, очень языковые и все такое, они просто для прогноза не предназначены. А с точки зрения того, как нейронные сети и многие другие похожие на LLM вещи используют аналитики, они все больше и больше туда идут. Поэтому здесь вопрос качества моделей того, как мы их немножко структурируем и будем улучшать, очевидно, стоит перед каждым из нас.
Но с точки зрения того, что именно LLM-модели или какой-то другой искусственный интеллект станет мощнейше прогнозировать, то для этого нам придется по-честному вживить Neuralink или какой-то другой нейроинтерфейс каждому человеку, чтобы эту информацию Большой брат собирал и делал выводы, кофе мы хотим сегодня или булочку купить. И в этом плане, наверное, не все согласятся на подобные нейроинтерфейсы.
А до момента, пока мы людей такую информацию не попросим совершенно добровольно сдавать каждую секунду, мы просто не сможем гарантированно понимать, что происходит с экономической активностью. И в этом смысле… слушайте, ну качество прогнозов будет улучшаться, да.
Неминуемо шоки будущего мы все равно прогнозировать не сможем, потому что если кто-то встал с плохим настроением и пошел из-за этого за плюшкой с вареньем, он деловую активность немножко поменял. Как настроение прогнозировать? Ну это с химией как-то связано человека и т. д. То есть здесь столько промежуточных шагов, что мы, я надеюсь, как человечество еще долго их не сделаем, потому что такое нарушение конфиденциальности частной жизни будет слишком уж большим шагом в прекрасное будущее.
Поэтому мой взгляд — будет постепенное улучшение, но надеяться на то, что вот именно этот инструмент, именно LLM станет прорывом, я бы не стал.
Филипп Стеркин: Ну да, хочется надеяться, что точность прогнозов не будет достигнута путем того, что искусственный интеллект будет точно знать, сколько мы выпьем чашек кофе, потому что он нам, грубо говоря, навяжет это количество чашек кофе.