VK обновила языковую модель Diona для генерации текстов

VK (MOEX: VKCO) представила обновленную языковую модель Diona для генерации и обработки текстов. Новая версия требует меньше ресурсов, что снизило нагрузку на инфраструктуру. Об этом сообщили «Ъ» в компании.

При разработке использовались наработки предыдущей версии, которую тренировали в том числе на комментариях из открытых групп во «ВКонтакте». Кроме того, обновленную модель обучали на больших объемах текстов.

Диапазон параметров (число внутренних переменных, определяющих, как модель распознает и обрабатывает информацию) у новой версии модели вырос в 1,5 раза. Теперь он составляет от 4 млрд до 30 млрд. Diona будет учитывать контекст объемом до 32 тыс. токенов (минимальных единиц текста, например, слово или часть). Это в восемь раз больше, чем у предыдущей версии.

Источник «Ъ» в крупной российской ИТ-компании оценивает инвестиции в разработку в 500–800 млн руб.

Подробнее — в материале «Ъ» «VK подучила язык».