«Разработка стала дипломной работой»
Александр Леви — о GFusion
Фото: Иван Водопьянов, Коммерсантъ
Фото: Иван Водопьянов, Коммерсантъ
Сбер выложил в открытый доступ первую российскую диффузионную языковую модель на основе GigaChat. Эксперимент получил название GFusion. Привычные решения вроде ChatGPT, Claude или Gemini генерируют текст последовательно. Это похоже на работу печатной машинки: слева направо, слово за словом, без возможности исправить созданное. У диффузионных моделей подход иной. Ответ появляется сразу целиком в виде наброска, а затем уточняется в итерациях. Это можно представить как работу скульптора, который отсекает кусочки камня в разных его частях, а не строго сверху вниз.
Такой подход дает преимущество — скорость. Например, американская модель Mercury от Inception Labs выдает более 1000 токенов в секунду — примерно в десять раз быстрее GPT 5.2 или Claude. Российская GFusion пока скромнее: плюс 45% к быстродействию GigaChat 3. При этом, по словам команды, разница в качестве ответов составляет буквально пару процентных пунктов. Настройки модели подбирались так, чтобы прирост скорости не сказался на смысле и точности, заверили в Сбере.
При этом диффузионные решения чаще галлюцинируют. Об этом говорят результаты первого контролируемого тестирования, представленного на главной профильной конференции ACL. На точных фактических вопросах у диффузионных моделей 9 ошибок из 10. Для привычных последовательных решений — чуть лучше: 8 из 10. Галлюцинации GFusion в Сбере пока не измеряли, но заверяют, что архитектурные предпосылки для меньшего числа ошибок есть. Бенчмарки планируются.
Стоит отметить, у GFusion есть конкретный автор — студент четвертого курса ВШЭ Даниил Тихонов. Эта разработка стала дипломной работой молодого человека. Это лишь подчеркивает, что сфера диффузионных моделей еще не устоялась. Стандартов нет, и одиночка с идеей может достичь высокого уровня. Сбер не только опубликовал модель, но и сделал ее открытой, чтобы развивать индустрию. Думаю, здесь есть и практическая надежда, что GFusion со временем станет мировым стандартом — как когда-то это случилось, например, с Llama.