Не доверительные отношения
Как рост галлюцинаций ИИ снижает доверие к нему государства и бизнеса, но не пользователей
В эпоху развития нейросетей пользователя от ответа на любой вопрос отделяет лишь несколько секунд взаимодействия с чат-ботом. И хотя скорость доступа к данным растет, снижается качество самой информации. Нейросети научились генерировать убедительные, грамматически правильные, но вымышленные факты, а общество постепенно привыкает к их присутствию в информационном поле и часто не перепроверяет данные. Эксперты и законодатели предлагают создать национальную систему защиты знаний, в противном случае «цифровой геном» человечества может быть серьезно искажен.
Фото: Евгений Павленко, Коммерсантъ
Фото: Евгений Павленко, Коммерсантъ
Галлюцинации как новая норма
Массовое распространение фикций в ответах ИИ сегодня превращается в системную угрозу. Современные большие языковые модели (LLM) склонны к так называемым галлюцинациям — генерации информации, содержащей, например, вымышленные даты, события и биографии. «Проблема деградации кода знаний из-за ИИ — это не просто теоретический риск, а реальность, с которой уже столкнулись юриспруденция, наука и медиа»,— констатирует основатель «Рувики» Владимир Медейко. Он напоминает о профессиональном фиаско американского адвоката Стивена Шварца, который использовал ChatGPT для подготовки иска и в итоге представил суду шесть вымышленных дел с несуществующими номерами и цитатами еще в 2023 году.
В академической среде проблема тоже актуальна: исследователи начали включать в свои работы ссылки на статьи, сгенерированные ИИ, которые выглядят правдоподобно, но никогда не публиковались. «Есть названия журналов и имена реальных ученых, но самих публикаций не существует. И когда ИИ генерирует галлюцинации в библиографии, это создает "информационный шум", который мешает молодым ученым отделять истину от вымысла, постепенно разрушая научную преемственность»,— объясняет Владимир Медейко.
В числе последних кейсов галлюцинаций нейросетей ситуация, когда элитная юридическая фирма призналась суду, что их ИИ-инструмент (использующий технологии OpenAI) выдал неверные цитаты из Кодекса о банкротстве США и сослался на несуществующие судебные решения. Газета Chicago Sun-Times подтверждает, что искусственный интеллект был использован для составления списка несуществующих книг для чтения. Ситуация осложняется тем, что ошибки ИИ закрепляются в «цифровой памяти» интернета, формируя общую базу знаний, на которой будут обучаться будущие поколения.
Симптомом глубокого общественного недоверия к цифровым источникам стала жесткая критика «Википедии» журналистом Такером Карлсоном. Он отметил, что «проблема не только в отдельных неточностях "Википедии", но и в самом принципе формирования контента — когда ключевую роль играют отбор и интерпретация информации». Проблема, по его словам, масштабируется: «Если подобные источники становятся базой для обучения ИИ, ложь не просто тиражируется, она становится фундаментом для новых нейросетей, что неизбежно ведет к потере смысла».
Человеческий контроль: фильтр для алгоритмов
В экспертной среде крепнет убеждение: делегирование знаний машине без участия человека ведет к созданию «информационных пузырей». Антон Башарин, старший управляющий директор AppSec Solutions, считает этот риск самым недооцененным: «Когда ИИ становится единственным окном в мир, он неизбежно формирует вашу картину реальности. Просто потому, что модель выдает наиболее вероятный, "средний" ответ. И это серьезнее, чем "пузыри соцсетей", потому что ИИ воспринимается как нейтральный и объективный источник. А он таковым не является. Делегирование знаний и решений искусственному интеллекту будет расти». В России, по оценкам эксперта, ИИ-ассистенты регулярно используются уже 15–20% пользователей, что делает вопрос объективности критическим.
Директор по науке и ИИ «Группы Астра» Владимир Нелюб подчеркивает, что в русскоязычном сегменте риск искажений особенно высок из-за дефицита качественного, структурированного контента и засилья SEO-текстов. «Главная проблема в том, что такие ошибки выглядят убедительно. Пользователь получает связный текст и воспринимает его как проверенное знание»,— отмечает он. Выходом, по его мнению, может стать верификация данных.
«Энциклопедические онлайн-проекты, научно-образовательные энциклопедии, университетские и академические ресурсы, цифровые библиотеки, отраслевые справочники, а также открытые энциклопедические проекты на русском языке могут стать источником проверенного русскоязычного знания — как для пользователей, так и для обучения и донастройки ИИ-систем»,— говорит Владимир Нелюб. Но для этого важно, добавляет он, чтобы такие проекты были не просто наборами статей, а доверенной инфраструктурой — с авторством, экспертной редактурой, ссылками на источники, датами обновления и историей изменений.
Выходом видится и возврат к принципу экспертной ответственности. В проекте «Рувики» реализуют гибридную модель: ИИ берет на себя рутину — анализ новостных лент и первичную валидацию фактов, но финальную редактуру и рецензирование проводят профильные специалисты из Российской академии наук, Российской государственной библиотеки, Государственного архива РФ, ведущих музеев и экспертных площадок. «При этом мы даем возможность нашим читателям получать знания через уже привычный диалог с нейросетью. Думаю, что другие форматы энциклопедий постепенно будут уходить в прошлое: проекты, базирующиеся только на человеческом труде, будут проигрывать в скорости, а проекты исключительно на базе ИИ — терять в достоверности»,— считает Владимир Медейко.
Гибридная модель верификации данных важна не только для обучения общества, но и для обучения самих нейросетей. «Проблема "мусора на входе" (GIGO — Garbage In, Garbage Out) в эпоху LLM перерастает из технического несовершенства в угрозу. ИИ обучается на данных, созданных людьми — со всеми нашими предубеждениями, ошибками, ярлыками и конфликтующими точками зрения. А если при этом модель еще обучена на обрывочных или непроверенных данных из интернета, она будет генерировать опасные советы»,— отмечает руководитель проектов развития AI-решений Directum Илья Петухов.
Суверенный ответ и национальные эталоны
Кризис верификации требует не только технологических, но и законодательных решений. Первый зампред ИТ-комитета Госдумы Антон Горелкин предупреждает: есть мнение, что если ничего не предпринимать, то уже через десять лет мы окажемся в синтетической реальности. «Наступит день, когда масса сгенерированного контента станет критической и похоронит под собой результаты научной деятельности человечества: мы останемся не только без верифицированных данных, но и потеряем саму возможность их проверять и признавать достоверными»,— опасается депутат.
По его мнению, внимания заслуживает идея создания национального ИИ-верификатора — эталонной нейросети, обученной исключительно на проверенных государственных базах, архивах и научных данных. «Подобная нейросеть будет лишена недостатков зарубежных моделей: она будет учитывать законодательство и культурные особенности, а использование верифицированных источников снизит риск галлюцинаций и фактических ошибок. Похожее уже предлагается в правительственном законопроекте о регулировании ИИ-технологий: в этом документе она носит название «суверенная языковая модель».
Но даже если появится некий «ИИ-верификатор», полагаться лишь на него не стоит, считает Антон Горелкин: «Распространение искаженных знаний — следствие того, что люди пренебрегают необходимостью проверять информацию, критически ее оценивать. И основная роль здесь за энциклопедическими ресурсами, которые работают по проверенной временем технологии».
Для системного повышения качества знаний в рунете Владимир Нелюб предлагает внедрять практику верификации непосредственно в интерфейсы ИИ-продуктов. Система должна показывать источники, отделять факт от предположения и честно признавать неопределенность в чувствительных областях, таких как медицина или право. Сохранить подлинную систему знаний можно только через совместную ответственность государства, ИТ-компаний и самих пользователей, полагает эксперт. Образовательный сектор же, по его мнению, должен сместить акцент с простого поиска информации на критическую оценку ее достоверности — этот навык должен стать таким же базовым для современного человека, как умение читать и писать.