Яндекс сократил расходы на обучение ИИ почти на 5 млрд руб. в год

Яндекс (MOEX: YDEX) существенно повысил эффективность обучения больших языковых моделей (LLM), добившись годовой экономии в 4,8 млрд руб. Об этом сообщили «Ъ» в пресс-службе компании.

Ключевым технологическим решением стала собственная библиотека YCCL (Yet Another Collective Communication Library). Она позволила в два раза ускорить обмен данными между графическими процессорами, сократить объем передаваемой информации и перенести управление на центральные процессоры.

Дополнительное ускорение на 30% обеспечил переход на формат FP8 с пониженной точностью вычислений. Коммуникации между процессорами сократились вдвое. Исследования компании также показали, что увеличение объема передаваемых данных (батча) до 16–32 млн токенов не замедляет обучение, позволяя использовать ресурсы графических процессоров с минимальным простоем.

В числе других улучшений — повышение стабильности IT-инфраструктуры, оптимизация кода и усовершенствование архитектурных решений. Все меры позволили снизить затраты без потери качества разработок.