«ИИ полностью выдумал информацию»
Яна Лубнина — о поиске фильмов с помощью нейросетей
Фото: Игорь Иванко, Коммерсантъ
Фото: Игорь Иванко, Коммерсантъ
Представим ситуацию: человек приходит с работы уставшим, ужинает и плюхается на диван с одним желанием — посмотреть тот самый сериал, который сегодня обсуждали у кулера. Только как же он назывался? Но под рукой же искусственный интеллект! Можно просто надиктовать ему примерное описание шоу, и тот выдаст результат. Оказалось, в 20% случаев ИИ выдумывает сюжеты фильмов, персонажей или просто ничего не знает о новинках.
Эксперимент провела компания Gracenote (часть Nielsen, управляет одной из крупнейших мировых баз данных по телевидению, кино, спорту, музыке и подкастам). Специалисты оценивали способность незаземленной большой языковой модели работать с каталогом из 2600 фильмов и сериалов в 13 странах. Проверялись два параметра: соответствие метаданных и фактическая точность ответов. Также отдельно анализировались новые фильмы последних двух лет — модель практически не могла дать о них корректную информацию.
Результаты печальные: для 506 названий фильмов ИИ полностью выдумал информацию. В совокупности доля результатов нулевого, низкого и среднего качества данных составила 77-91%, высокое качество выдачи наблюдалось в трети случаев.
Незаземленная большая языковая модель — это LLM, которая не подключена к внешним актуальным источникам данных и опирается только на информацию из своей обучающей выборки. И это не только защищенные корпоративные системы. ChatGPT или Gemini в базовой версии тоже формально незаземленные и видят совсем немного свежих данных в вебе. То же касается многих моделей для умных домов.
Так что полагаться на них в части поиска того самого фильма пока не приходится. А это расстраивает: ведь столько шедевров кинематографа проваливается в бездну забвения просто потому, что мы сами не можем вспомнить название или просто не знаем, что классного сняли до современных блокбастеров. Хочется всемирный умный каталог каталогов!