Нейросети просят перепровериться
Как образовательные ресурсы привыкают работать с генеративным ИИ
Крупнейшие игроки рынка поисковых систем внедряют технологию нейросетевого поиска, при которой искусственный интеллект (ИИ) предлагает пользователю агрегированный ответ на его запрос. Однако есть большая проблема с тем, что нейросети до сих пор галлюцинируют, выдумывая факты в ответ на запрос пользователя. Эта уязвимость может осложнить внедрение ИИ в те сервисы, где точность данных остается ключевой, например в медицинские справочники или энциклопедии.
Фото: Евгений Павленко, Коммерсантъ
Фото: Евгений Павленко, Коммерсантъ
Искусственный интеллект ставят на выдачу
В конце июня стало известно о сделке, которая может стать крупнейшей для американской Apple с начала ее существования. По данным Bloomberg, корпорация рассматривает возможность покупки стартапа Perplexity, стоимость которого, по оценкам инвестфондов, может составлять $14 млрд. Perplexity — это поисковая система и чат-бот, которые, в отличие от традиционных поисковиков, в ответ на запрос пользователя сначала обращаются к языковым моделям, а затем выдают не набор релевантных ссылок, а готовый ответ.
Между тем владельцы традиционных поисковых систем уже начали использовать нейросетевые функции в работе своих поисковиков. Причина тренда понятна: в борьбе за потребителя выигрывает именно эта технология.
Так, по данным Coherent Market Insights, объем рынка ИИ-поиска с $43 млрд в 2025 году вырастет до $108 млрд к 2032-му (CAGR 14%), а уже к концу 2025 года практически 50% всего глобального рынка поиска будет приходиться на ИИ-решения.
В мае 2024 года Google интегрировала свою нейросеть Gemini в поиск, дав пользователям возможность получать не только набор ссылок, но и саммари в ответ на запрос. По данным самой компании, к 2025 году эта система охватила более 1 млрд пользователей. Уже в 2025 году Google расширила функционал AI, пересадив его на Gemini 2 и научив свои сервисы сравнивать продукты в таблицах и поддерживать мультимодальные запросы. В начале июля корпорация усилила AI-возможности, внедрив в функцию Circle to Search (позволяет обвести интересующий предмет на экране и загуглить его) ИИ-функциями для более глубокого поиска.
По схожему пути идет и «Яндекс». Год назад компания запустила поиск с нейро, предложив саммаризацию выдачи, а затем стала дополнять его новыми возможностями: от решения математических задач до подбора товаров и услуг. В мае 2025 года «Яндекс» интегрировал в поиск «Алису» с функциями ИИ-агента. Представитель «Яндекса» сообщил «Ъ-Review», что с момента появления ИИ-ответов в поиске их ежедневная аудитория выросла в полтора раза и превысила 13 млн пользователей.
Обратитесь к энциклопедии
Однако данная инновация может столкнуться с технологическими проблемами. Внедрение нейросетей в поиск данных как непосредственно в поисковиках, так и на отдельных сайтах не всегда может быть полезным для пользователя.
В некоторых случаях ИИ-моделям свойственно галлюцинирование — выдумывание фактов, цифр, событий и иной информации в ответ на пользовательский запрос. Наибольший риск такая ситуация несет, если речь идет об информации, точность которой носит критический характер.
Это, например, медицинские, научные или энциклопедические данные.
Чтобы решить проблему, владельцы таких ресурсов донастраивают нейросетевой поиск. Как рассказали «Ъ-Review» представители энциклопедии «Рувики», они внедрили ИИ-поиск так, что нейросеть, основанная на Yandex GPT, сначала анализирует материалы в периметре энциклопедии, а затем создает по запросу пользователя саммаризированный ответ. «Технически это комбинация поисковой системы по статьям нашего сайта и большой языковой модели, которая анализирует контент и дает пользователю готовый ответ»,— уточнили в компании. Для снижения вероятности ошибки ответ ИИ-ассистента базируется только на статьях сервиса, которые рецензируют внешние эксперты из научных организаций, в том числе из Российской академии наук, объясняет представитель «Рувики».
Качественная разметка данных — залог эффективности любого ИИ-продукта, считает первый зампред ИТ-комитета Госдумы Антон Горелкин: «Если мы говорим про энциклопедические ресурсы, их существование невозможно без участия профильных специалистов, обладающих нужными компетенциями в части верификации научных данных. В данном случае их задачей становится еще и профилактика появления ИИ-галлюцинаций, когда нейросеть пытается угодить пользователю и сочиняет те или иные факты».
Представитель «Рувики» добавил, что снизить креативность нейросетей при энциклопедическом поиске также помогает понижение температуры нейросети — параметра, который регулирует креативность ответов. При минимальной температуре алгоритм не генерирует новые смыслы, а выдает только ответ на основе данных, на которых он обучен, то есть только на основе энциклопедических статей. Это увеличивает точность ответов и не позволяет ИИ придумывать факты.
Лекарство от галлюцинаций
Судя по выводам исследователей, полностью избавиться от галлюцинирования нейросетей, которое существенно осложняет поиск достоверных данных, будет непросто. Так, согласно недавнему исследованию, на которое ссылается журнал Nature, различные чат-боты с генеративным ИИ при поиске научных данных и ссылок на подобные материалы допускали ошибки в 30–90% случаев.
Сегодня существует несколько эффективных способов уменьшения вероятности галлюцинаций в нейросетях, рассказал гендиректор MWS AI (входит в МТС Web Servises) Денис Филиппов.
Один из наиболее действенных — метод Retrieval-Augmented Generation, когда модель сначала находит информацию в проверенных заданных источниках, а затем формирует ответ на основе этих данных. Не менее важно дообучение модели на тщательно отобранных данных с однозначными правильными ответами.
Третий подход — ограничение уверенности модели. В этом случае нейросеть программируют так, чтобы она сообщала о своей неуверенности, а не выдавала потенциально ложную информацию, перечисляет эксперт.
В таких условиях логичным продолжением тренда может стать диверсификация сервисов. Например, нейросети, от которых требуется точность, будут анализировать данные только в строго заданном, размеченном и проверенном экспертами массиве в той или иной сфере.
«Мы видим, что пользователи стали задавать все более детальные вопросы, требующие экспертного ответа, и ассистент должен не только предоставлять широкие, развернутые тексты, но и демонстрировать глубокую экспертизу в определенной теме»,— говорят в «Рувики».
Антон Горелкин считает, что в дальнейшем внедрение генеративного ИИ в российские энциклопедические ресурсы будет идти по трем направлениям: «Первое — персонализация контента, выдача информации под конкретного пользователя в адаптированном формате и стиле изложения, чтобы сделать материалы доступными для разных возрастных категорий. Второе — поддержка многоязычности, автоматический перевод статей на разные языки, что позволит расширить глобальный потенциал российских электронных энциклопедий». И третье — генерация образовательных материалов на основе текстов статей, например тестовых заданий для проверки знания ключевых вопросов по той или иной теме.
Этот текст — часть проекта ИД «Коммерсантъ», посвященного трендам бизнеса и финансового рынка. Еще больше лонгридов с анализом ключевых отраслей российской экономики, экспертных интервью и авторских колонок — на странице Review.