Алгоритмы собираются вместе

Рекомендательные системы, помогающие пользователям ориентироваться среди миллионов товаров, музыкальных треков и видео, переживают архитектурную революцию. Традиционный подход, основанный на каскаде из десятков разрозненных и специализированных моделей, исчерпал свой ресурс эффективности из-за чрезмерной сложности ручной настройки. Сегодня мировые и российские исследовательские команды форсируют переход к сквозным генеративным нейросетям.

Эксперименты на реальной аудитории, результаты которых зафиксированы в техническом отчете исследователей, доказывают, что единая модель способна полностью заменить громоздкий конвейер алгоритмов, существенно повысив вовлеченность пользователей и радикально упростив инженерную поддержку высоконагруженных сервисов. О том, зачем индустрии ИИ понадобился собственный «LLM-момент»,— в материале «Ъ-Наука».

Рекомендательные алгоритмы давно стали базовой инфраструктурой массовых интернет-сервисов, определяя порядок выдачи товаров на маркетплейсах, фильмов в онлайн-кинотеатрах и музыкальных треков в стриминговых платформах. До недавнего времени для оперативной обработки гигантских каталогов задачу распределяли по этапам. Сначала простые алгоритмы отбирали кандидатов из миллионов объектов, после чего сложные модели подробно оценивали получившийся короткий список и ранжировали варианты.

Однако классическая каскадная архитектурная схема столкнулась с жесткими технологическими ограничениями. Поскольку модели обучаются отдельно и имеют изолированные критерии качества, ошибка на первом этапе становится фатальной: если подходящий объект отсеяли в начале, финальный ранжировщик уже не сможет его вернуть. Кроме того, инженерам приходится вручную конструировать тысячи признаков, вроде частоты взаимодействия пользователя с конкретной категорией контента. Подобная связанность означает, что локальное улучшение одного компонента не гарантирует апгрейда всей системы, а поддержка связей между этапами требует постоянной ручной работы сотен специалистов.

Логичным ответом на этот вызов стала попытка совместить подбор и оценку объектов внутри единого контура. Ведущие мировые и российские инженерные команды сейчас двигаются в сторону отказа от специализированных цепочек в пользу общей генеративной нейросети. В такой парадигме модель не создает новый контент, а учится предсказывать идентификаторы подходящих объектов непосредственно из каталога. По мнению старшего преподавателя департамента больших данных и информационного поиска ФКН НИУ ВШЭ Кирилла Хрыльченко, происходящее сейчас упрощение архитектуры в итоге позволит кардинально улучшить общее качество персональных рекомендаций для конечных пользователей.

Ключевым барьером на пути внедрения генеративного подхода долгое время оставались жесткие требования к скорости работы и вычислительным затратам. Новая экспериментальная архитектура, разработанная российскими исследователями, стала первым примером успешного сквозного замещения каскада, функционирующим без вручную сконструированных признаков и продемонстрировавшим положительный результат на реальных пользователях.

Модель обрабатывает историю действий человека и формирует монолитное представление его интересов, которое одновременно используется как для генерации кандидатов, так и для их финального ранжирования. Задачи обучаются совместно, что обеспечивает полную согласованность изменений. При обучении алгоритм опирается на оценки более мощной модели-учителя, однако в режиме реального времени обслуживание аудитории выполняется одной сквозной нейросетью.

Площадкой для семидневного A/B-тестирования новой архитектуры стала зрелая рекомендательная система в умных колонках с голосовым ассистентом, где воспроизведение контента начинается автоматически без предварительного выбора жанра или исполнителя. Экспериментальная модель полностью заменила действующий каскад из 15 генераторов кандидатов и двух уровней ранжирования. По итогам теста, подробные результаты которого исследователи зафиксировали в своем техническом отчете, суммарное время прослушивания выросло на 6,3%, количество лайков — на 11,42%, а число команд повторить трек — на 17,99%. Статистическая значимость этих результатов усиливается тем фактом, что нейросеть показала прирост поверх контрольного варианта, который уже содержал в себе базу всех предыдущих многолетних оптимизаций. В частности, прирост аудитории активных слушателей оказался в 2,4 раза выше, чем после внедрения прошлого поколения алгоритмов.

Наблюдаемую смену архитектур в рекомендациях эксперты напрямую сравнивают с революцией в обработке естественного языка, где появление крупных языковых моделей (LLM) позволило решать разнородные задачи в рамках одной нейросети. Переход на сквозные решения позволяет инженерам сосредоточить усилия на качестве данных и масштабировании, отказавшись от поштучной настройки компонентов каскада.

Руководитель группы «Технологии персонализации» Института AIRI Евгений Фролов отмечает, что современные рекомендации генерируются примерно так же, как языковая модель продолжает текст. Если в классических трансформерах «следующим словом» выступал сам товар, то теперь технология вплотную приблизилась к принципам LLM: любой объект раскладывается на семантические идентификаторы (semantic id), что обеспечивает высокую емкость и гибкость представлений. В рамках этого подхода каждый трек или товар получает многоуровневый «адрес», кодирующий признаки от общих к точным.

Основная сложность метода заключается в том, что на финальном уровне разные объекты могут получить одинаковый семантический адрес и система перестает их различать. Российские исследователи предложили оригинальное решение: нейросеть не пытается устранить такие совпадения на нижнем уровне, а передает их на разбор встроенной внутренней субмодели, которая точнее определяет, какой именно из схожих объектов лучше подходит конкретному человеку. Эксперименты подтвердили возможность бесшовного переезда на новую технологию без потери качества, что упрощает поддержку кода и открывает новые продуктовые сценарии.

Практическое тестирование подобных одностадийных генеративных систем подтверждает их высокую жизнеспособность для крупного бизнеса, где даже доли процента прироста точности дают колоссальный экономический эффект. Представители крупнейших отечественных финтех-платформ отмечают, что индустрия коммерческой разработки сейчас активно движется в сторону открытого исходного кода (open source) в сфере ИИ. Внедрение сквозных нейросетевых фреймворков для предиктивной персонализации позволяет встраивать сложные алгоритмы ранжирования в стандартные инженерные пайплайны как обычные базовые модели. В итоге открытость таких инструментов дает возможность ИТ-сообществу верифицировать новые подходы за пределами изолированных корпоративных экосистем.

Развитие отечественных рекомендательных систем последние годы шло по пути укрупнения моделей на базе трансформеров. Новая архитектура логически завершает этот процесс, замыкая весь конвейер в одном контуре. Параллельно российское инженерное сообщество интегрирует свои наработки в глобальную науку: выложенные ранее в открытый доступ датасеты промышленного масштаба уже активно используются независимыми международными исследователями для тестирования собственных алгоритмов, а результаты российских экспериментов учитываются глобальными платформами при проектировании архитектур для сервисов коротких видео.