ИИ поймали на обмане

Нейросети искажают новости, об этом говорится в новом исследовании Европейского вещательного союза и BBC. Аналитики изучили 3 тыс. ответов ИИ на вопросы о новостях на 14 языках. Оценивалась точность, способность искать источники и отличать мнения от фактов. В исследовании тестировали ChatGPT, Microsoft Copilot, Gemini и Perplexity. Результаты показали, что 45% ответов содержали по крайней мере одну существенную ошибку, а 81% имели более мелкие погрешности. Среди них: некорректный выбор источников, вводящая в заблуждение информация или использование устаревших данных.

Выйти из полноэкранного режима

Развернуть на весь экран

Почему нейросети допускают такие ошибки? Объясняет гендиректор IT-компании «А-Я эксперт» Роман Душкин: «Это принципиальное свойство больших языковых моделей: они обучились на каком-то корпусе текстов и внутри своей структуры что-то запомнили. Соответственно, если, допустим, GPT-5 обучилась на корпусе текстов до ноября 2024 года, то все, что произошло после ноября 2024 года, GPT-5 просто не знает. Поскольку эти модели являются вероятностными, пять экземпляров одной и той же модели могут ответить совершено по-разному, даже противоположно друг другу. Это особенность вероятностного инференса.

Чтобы не допускать таких ошибок, нужно использовать не чистую большую языковую модель, а искусственного когнитивного агента, построенного на ее базе. Второй механизм, который должен быть настроен, — это фактчекинг.

Мы его называем выходной GARD, это от английского guardrail — ограда. Соответственно, GARD проверяет, нет ли в тексте, который выдала большая языковая модель, галлюцинаций. Использование чистой большой языковой модели в области журналистики — это нонсенс сегодня. Это очень крутой, мощный инструмент обработки информации, но нельзя его использовать бездумно».

Худшим образом проявила себя нейросеть Gemini: три четверти ее ответов содержали серьезные ошибки в источниках информации и интерпретации материала. Например, она неверно трактовала изменения в законах или ссылалась на несуществующие первоисточники. В качестве другого примера приводятся ответы ChatGPT, который спустя несколько месяцев после смерти папы Франциска все еще считал его действующим понтификом.

На данный момент полностью рассчитывать на нейросети нельзя, считает специалист Центра международных исследований интеллектуальной собственности в Страсбурге Александр Тюльканов, в том числе на браузеры с встроенным нейросетевым ассистентом: «Если вы используете, допустим, большие языковые модели или что-то на их основе, вы никогда не можете быть уверены в том, что результат точен. Всегда останется какая-то вероятность ошибки. Можно было бы рекомендовать не использовать генеративные ИИ для создания тех результатов, которые вы не способны сами проверить. Это неизбежное свойство генеративного ИИ, нужно просто принять, что для многих задач ИИ не подходит.

В том, что компании активно выпускают браузеры со встроенными ИИ-ассистентами, ничего хорошего я пока не вижу. Все еще не решена базовая проблема кибербезопасности, проблема противостояния так называемым промпт-инъекциям, когда система, обрабатывающая какие-то документы в интернете, не способна различить ваши команды и текст или контент, который она обрабатывает. Злоумышленники научились использовать это для того, чтобы давать скрытые в контенте команды, которые ваш браузер будет интерпретировать так, что будет выполнять не вашу задачу, а задачу, которая поставлена злоумышленником».

В августе газета The Guardian заметила, что онлайн-издания Wired и Business Insider стали удалять новости под авторством Марго Бланшар. Впоследствии выяснилось, что такого автора не существует, а новости оказались фейковыми и были написаны нейросетью. Автор успела опубликовать выдуманные материалы и в других изданиях. Большая часть уже была удалена.

С нами все ясно — Telegram-канал "Ъ FM".

Александра Майданская