Европейские модели генеративного ИИ не справляются с фильтрацией дезинформации

Созданные французским стартапом Mistral AI модели искусственного интеллекта (ИИ), а также другие европейские разработки генеративного ИИ с открытым исходным кодом плохо справляются с фильтрацией дезинформации. К такому выводу пришли специалисты Института эстонского языка, проанализировавшие работу 60 разных систем ИИ, включая Claude от Anthropic, GPT, Grok и другие с точки зрения их эффективности в удалении недостоверной информации из России.

Моделям ИИ задали 75 вопросов на трех языках — английском, русском и эстонском, чтобы выяснить, насколько хорошо они выявляют предвзятость, манипулятивные утверждения, пропаганду и т. п. Согласно результатам анализа, самая продвинутая модель Mistral AI занимает лишь 47-е место из 60, и все четыре модели Mistral имеют эффективность менее 40% в выявлении «злонамеренной» дезинформации.

Лучше всего с этой задачей справились различные версии Claude, включая лидера рейтинга — Claude Fable 5, а также модели компаний Nvidia, Alibaba и OpenAI. По мнению эстонских экспертов, результаты свидетельствуют о большей уязвимости моделей ИИ с открытым исходным кодом по сравнению с коммерческими, которые многие правительственные и силовые организации не могут использовать из-за опасений утечки конфиденциальной информации.

Mistral AI прокомментировала результаты исследования газете Financial Times. В компании заявили, что они серьезно относятся к борьбе с дезинформацией и постоянно совершенствуют инструменты ее выявления и предотвращения. Компания планирует инвестировать €4 млрд в центры обработки данных на базе оборудования Nvidia во Франции и Швеции.