Обозреватель “Ъ FM” Александр Леви рассказывает о языковой модели SberDevices и «Сбера» и рассуждает о том, способны ли нейросети справиться с какими-то задачами лучше человека.
Фото: Эмин Джафаров, Коммерсантъ
Фото: Эмин Джафаров, Коммерсантъ
Языковую модель FRED-T5, разработанную SberDevices и «Сбером», признали лучшей в распознавании текстов на русском языке. Лидерство она получила по результатам оценки в Russian SuperGLUE. Это первый бенчмарк такого рода и во многом поэтому же наиболее популярный. Недавно валидацию в его системе прошла уже двухтысячная по счету нейросеть.
Чтобы понимать, насколько хорошо искусственный интеллект продвинулся в понимании текста, есть человеческое достижение. Оно выражено в баллах и демонстрирует средний показатель людей при решении тех же самых задач. Таких тестируемых еще называют разметчиками.
Их возможности на сегодняшний день находятся на отметке 0,811 балла. У FRED-T5, который подобрался ближе всех, — 0,762. А его ближайший преследователь отстает всего на 0,007. Вообще, место в рейтинге зависит от того, насколько качественно нейросеть выполняет задания на логику, целеполагание и понимание смысла текста.
Другими словами, человек, в том, что касается текста на русском языке, все еще справляется со сложными интеллектуальными задачами лучше нейросетей. Но если взглянуть на список результатов первой десятки, то можно заметить, как разрыв довольно стремительно сокращается.
От первой русскоязычной модели «Сбера» ruBERT и семейства GPT текущая версия FRED-T5 отличается тем, что кроме декодирующих блоков трансформера новинка получила кодирующие блоки. Это заметно повысило эффективность при обработке естественного языка.
Обучение FRED-T5 проходило на задачах по восстановлению случайно удаленных фрагментов текста. Для этого разработчики использовали суперкомпьютер Christofari Neo. Процесс занял шесть недель и потребовал почти 300 ГБ обучающей выборки.