GPT-4 учится на картинках

GPT-4 может понимать, что изображено на картинке, и использовать эти данные при решении задач, заявляют в компании OpenAI. Например, система способна считать информацию с диаграммы и объяснить ее. Разработчики обещают, что новая модель будет давать меньше неверных ответов, реже «сходить с ума» и говорить на запрещенные темы. Утверждается, что GPT-4 точнее предыдущей версии и даже сдала тесты по юриспруденции и математике лучше, чем 90% людей. Кроме того, она лучше справляется со сложными инструкциями. В качестве примера разработчики приводят задачу: перескажи сюжет Золушки, используя слова в алфавитном порядке, без повторов.

Несмотря на заявления Microsoft, в поисковой системе Bing модель работает неуверенно, убедился “Ъ FM”. Чат-бот заявил, что ему можно прислать ссылку на картинку, а он расскажет, что на ней изображено. Но вместо описания кадра из сериала «Твин Пикс» бот начал пересказывать пост с «Пикабу» (хотя и картинку мы взяли с этого ресурса).

Затем Bing получил ссылку на обзор иностранной прессы на “Ъ FM”, в котором рассказывалось о так называемом гаванском синдроме. Бот заверил, что способен расшифровать аудио, но сначала принял двухминутную запись за сорокаминутный подкаст, а, когда ему указали на ошибку, решил, что это репортаж про конфликт на Украине.