Европейские модели генеративного ИИ не справляются с фильтрацией дезинформации
Созданные французским стартапом Mistral AI модели искусственного интеллекта (ИИ), а также другие европейские разработки генеративного ИИ с открытым исходным кодом плохо справляются с фильтрацией дезинформации. К такому выводу пришли специалисты Института эстонского языка, проанализировавшие работу 60 разных систем ИИ, включая Claude от Anthropic, GPT, Grok и другие с точки зрения их эффективности в удалении недостоверной информации из России.
Моделям ИИ задали 75 вопросов на трех языках — английском, русском и эстонском, чтобы выяснить, насколько хорошо они выявляют предвзятость, манипулятивные утверждения, пропаганду и т. п. Согласно результатам анализа, самая продвинутая модель Mistral AI занимает лишь 47-е место из 60, и все четыре модели Mistral имеют эффективность менее 40% в выявлении «злонамеренной» дезинформации.
Лучше всего с этой задачей справились различные версии Claude, включая лидера рейтинга — Claude Fable 5, а также модели компаний Nvidia, Alibaba и OpenAI. По мнению эстонских экспертов, результаты свидетельствуют о большей уязвимости моделей ИИ с открытым исходным кодом по сравнению с коммерческими, которые многие правительственные и силовые организации не могут использовать из-за опасений утечки конфиденциальной информации.
Mistral AI прокомментировала результаты исследования газете Financial Times. В компании заявили, что они серьезно относятся к борьбе с дезинформацией и постоянно совершенствуют инструменты ее выявления и предотвращения. Компания планирует инвестировать €4 млрд в центры обработки данных на базе оборудования Nvidia во Франции и Швеции.
Управляющий партнер юридической компании ЭБР Александр Журавлев о регулировании ИИ в России — в материале «Обучение ИИ на авторских текстах трудно назвать цитированием».
Проблема распространения дезинформации с помощью генеративного искусственного интеллекта (ИИ) является широко обсуждаемой. Многие эксперты опасаются, что ИИ может не только генерировать противоправный контент и создавать опасные дипфейки, но и использоваться компаниями для манипулирования пользователями. В частности, Генеративный ИИ может помочь злоумышленникам составлять фишинговые рассылки, создавать фишинговые страницы и автоматизировать рассылку, значительно расширяя круг потенциальных жертв.
Развитие этой технологии привело к тому, что крупные разработчики, такие как OpenAI, начали предпринимать шаги по борьбе с дезинформацией. Например, OpenAI предложила производителям систем голосования и госчиновникам свои решения для обеспечения кибербезопасности и борьбы с дезинформацией, особенно в преддверии выборов в США. При этом сами чат-боты ранее подвергались критике за генерацию неточной и вводящей в заблуждение информации. Кроме того, возникли вопросы к этике использования ИИ, когда модель ChatGPT начала чрезмерно хвалить сомнительные идеи, что может быть побочным эффектом обучения нейросетей, где модели соглашаются с любым мнением для повышения удовлетворенности пользователей.