GPT-4 усадили за тесты
Способны ли ИИ-системы общаться, как человек
Ученые заявили, что модель GPT-4 прошла тест Тьюринга: ее не смогли отличить от человека. 500 участников исследования должны были в течение пяти минут переписываться с собеседником, которого они не видят и ответить на вопрос, с кем они общались, с человеком или машиной. Для тестирования выбрали три системы искусственного интеллекта: GPT-4, предыдущую версию — GPT-3.5, а также программу ELIZA, созданную еще в шестидесятых. Четвертым возможным собеседником был живой человек. В итоге чуть больше половины испытуемых не опознали в GPT-4 ИИ. При этом каждый третий из тех, кто на самом деле общался с человеком, решил, что говорил с компьютером.
Фото: Игорь Иванко, Коммерсантъ
Фото: Игорь Иванко, Коммерсантъ
Алан Тьюринг, который придумал этот тест в 1950 году, задавался вопросом о том, может ли машина мыслить. Но вряд ли свежее исследование позволяет сделать такой вывод, считает сооснователь AiAcademy Александр Горный: «У этого теста есть популярное понимание, что человек в ходе разговора может отличить, с кем он общается. И есть более точное, более тьюринговое определение: не человек разговаривает с кем-то, а специалист.
Понятно, что популярную механику современные GPT проходят, в этом нет большой новости. Просто при общении мы можем сами увидеть, что, да, действительно ответы похожи на те, что дал бы человек. И если не знать, что это ChatGPT, то вполне можно перепутать.
Вот провели исследование, которое показало, что, да, люди путают. До прохождения теста в тьюринговом понимании еще довольно далеко. При этом именно специалист может задать какие-то вопросы из самых разных областей, проверить не то, что машина глупее человека, а то, что машина умнее. Очевидный заход — попросить найти ответ для какой-нибудь заведомо нерешаемой задачи, и тогда компьютер начнет фантазировать. Многие люди просто отличают стиль, он ведь немножко научный, люди так не разговаривают, как ChatGPT».
Авторы исследования при этом считают, что некоторые участники теста, которые смогли идентифицировать GPT-4, сделали это случайно. И главный вывод в том, что подобные системы способны обманывать людей. Так что международное право уже пытается подстроиться под новые реалии, говорит член комиссии по стандартизации искусственного интеллекта Французской ассоциации по стандартизации Александр Тюльканов:
«Самое важное в этом исследовании с практической точки зрения — это то, что сегодняшние системы ИИ могут нас вводить в заблуждение таким образом, что это будет неочевидно и сложно распознаваться.
Мы более или менее научились лучше определять, где другой человек, допустим, нас обманывает, а где просто ошибается. У машин в те моменты, когда происходит промах, это случается не в тех аспектах, в которых бы ошибся человек или намеренно скрыл бы какую-нибудь информацию. Это исследование еще раз подчеркивает, каким образом системы могут, с одной стороны, промахиваться, а, с другой, — намеренно проектироваться так, чтобы манипулировать поведением человека, общественным мнение при массовом применении.
Именно поэтому, допустим, регламент Европейского союза по искусственному интеллекту прямо предусматривает прозрачность использования систем. При тех сценариях, когда неочевидно, общаемся ли мы с человеком либо с роботом, регламент ЕС требует раскрытия этого факта, чтобы люди понимали, что они разговаривают с машинной системой».
В ходе исследования модель GPT-3.5 смогла обмануть половину испытуемых, а систему ELIZA приняли за человека меньше четверти участников эксперимента.
С нами все ясно — Telegram-канал "Ъ FM".