Из России с оптимизацией

29 октября в Будапеште завершилась EMNLP 2026 — ведущая международная конференция по обработке естественного языка и искусственному интеллекту (ИИ) уровня A*. Исследователи из России представили сразу семь новых методов дообучения языковых моделей, которые позволяют сократить время и затраты на вычисления. Они прошли через слепое рецензирование и отсматривались наравне с работами ведущих мировых компаний и лабораторий.

Когда безопасность требует держать данные внутри компании, остается разворачивать ИИ-модели на собственной инфраструктуре. Но чаще всего содержать отдельную нейросеть под каждую задачу — слишком дорого. Исследователи ИИ-центра Т-Банка продемонстрировали в Будапеште ответ на эту «боль» — метод обучения универсальной языковой модели для корпоративных запросов.

Команда первой описала воспроизводимую методику постобучения русскоязычных больших языковых моделей (LLM) с агентскими навыками. Универсальная модель на основе компактной Qwen3-32B, обученная с помощью этого метода, успешно объединила более 200 внутренних ИИ-сервисов Т-Банка и принимает на себя 50% трафика корпоративной LLM-платформы. Стоимость обработки запросов выходит существенно ниже, чем при использовании тяжеловесной Qwen3-235B — в три-четыре раза в среднем и до девяти раз в отдельных сервисах.

«Мы показали, что одну относительно компактную языковую модель можно дообучить под реальные корпоративные задачи, заменив ею более дорогие решения и сохранив качество»,— говорит директор Центра искусственного интеллекта Т-Банка Дмитрий Ушанов.

Другая разработка ученых из ИИ-центра Т-Банка, которую показали на EMNLP 2026,— метод обучения визуально-языковых моделей для работы с документами. С его помощью исследователи научили экономичную Qwen3.5-35B-A3B-Base извлекать данные из документов любого типа по текстовому запросу на 50% дешевле, чем при использовании лучших открытых моделей, и на 80%, чем с помощью ручной обработки. При этом для ее дообучения хватило всего одного чипа GPU Nvidia H100.

«Обученная нами визуально-языковая модель для обработки документов не просто автоматизирует процесс, а снижает его стоимость, оставаясь экономически эффективной при совместной работе с оператором»,— отмечает Дмитрий Ушанов.

Метод решает привычные проблемы автоматизированного извлечения структурированных данных из больших объемов документов, с которыми сталкиваются компании. Так, использование открытых моделей для этой задачи часто обходится дороже ручной обработки, а существующие специализированные системы распознавания и извлечения текста требуют отдельной настройки под разные типы документов.

Исследователи «Т-Технологий», «Сбера», МФТИ и Университета «Иннополис» представили на EMNLP метод SimplexLoRA, повышающий качество дообучения языковых моделей. Разработка стала развитием популярного метода LoRA, который широко применяется для адаптации LLM под конкретные задачи. Команде удалось улучшить выдачу моделей: понимание текстов, краткие изложения, ответы на вопросы, рассуждения — при том же числе обучаемых параметров и стоимости инференса.

Метод LoRA встраивает небольшой дополнительный модуль (адаптер) в слои нейросети, которые преобразуют числовые представления текста. При этом каждому адаптеру отводится равное число обучаемых параметров, хотя вклад различных слоев модели в решение конкретных задач неодинаков. SimplexLoRA эти различия учитывает: он определяет слои, наиболее важные для решения той или иной задачи, и отводит их адаптерам больше обучаемых параметров, а остальным — меньше.

«При адаптации языковой модели к новой задаче важно понимать, где дополнительные обучаемые параметры принесут наибольшую пользу. SimplexLoRA позволяет подобрать их распределение между слоями в начале дообучения. Для разработчиков ценность такого подхода — в возможности повысить качество адаптации модели к задаче, сохранив привычную основу LoRA»,— говорит руководитель Центра исследований и разработок «Т-Технологий» Станислав Моисеев.

Усовершенствованный метод успешно опробовали в 12 задачах на четырех моделях (DeBERTaV3, BART-large, Llama 3.1 8B и Qwen3-8B). Эффект сильнее всего был заметен в работе с небольшим количеством обучаемых параметров.

Исследователи «Т-Технологий» представили в Будапеште методы F-GRPO и ESSA, которые повышают эффективность дообучения с подкреплением. Это ключевой этап обучения LLM, на котором модели получают оценку своих ответов и учатся чаще выдавать более подходящие.

F-GRPO — это подход к дообучению языковых моделей, который не усекает разнообразие правильных решений. Дело в том, что при стандартном подходе дообучения с помощью наград за правильные ответы (например, в математике или программировании) модели «зацикливаются» на самых частых решениях из выборки, «забывая» другие правильные, но редкие стратегии. Предложенный метод решает эту проблему: он слабее меняет настройки модели на простых задачах, где она и так часто права. В итоге модель не сужает свой кругозор.

Вдобавок, не требуя дополнительных вычислительных затрат, F-GRPO в четыре раза сокращает генерацию

ответов без потери качества. Так, дообученная по этому методу Qwen2.5-7B показала более высокое качество, сгенерировав всего восемь ответов, чем при 32 ответах при использовании GRPO.

«Обучение с подкреплением стало одним из главных инструментов улучшения рассуждающих моделей, но у него есть ограничение: оно склонно закреплять то, что модель уже умеет, тем самым сужая разнообразие корректных потенциальных ответов. Метод F-GRPO призван ослаблять обучение на задачах, которые модель уже уверенно решает, и не давать редким, но правильным вытесняться»,— говорит руководитель направления Alignment лаборатории фундаментальных научных исследований ИИ Т-Банка Борис Шапошников.

ESSA исключает из процесса дообучения ресурсоемкие вычисления градиентов и работает почти в восемь раз быстрее популярных методов. Он работает по принципу эволюционного алгоритма: на каждом шаге создается новое поколение модели из множества ее слегка различающихся версий, каждая из них решает задачи и получает оценку, а очередное поколение строится на основе лучших версий из предыдущего. При этом изменениям подвергается лишь небольшой набор параметров LoRA-адаптеров.

Метод существенно экономит вычислительные ресурсы: он работает со сжатыми (квантизованными) моделями, вплоть до 72 млрд параметров на одной видеокарте, и почти не требует обмена данными между видеокартами.

Еще два метода, которые команда «Т-Технологий» привезла в Будапешт,— LIMe и KronSAE — позволяют без потери качества сокращать количество вычислительных операций при обучении нейросетей и снижать вычислительные затраты на анализ их внутренней работы (интерпретируемость).

LIMe экономит вычислительные затраты на обучение на 15% за счет эффективного использования информации из предыдущих слоев нейросети. В процессе работы нейросеть часто заново просчитывает информацию, которую она уже обрабатывала на прошлых этапах обработки запроса (слоях).

Предложенный метод добавляет в модель специальный модуль — маршрутизатор, который определяет, какие готовые результаты вычислений из прошлых слоев можно использовать при дальнейшей обработке текста. Вдобавок маршрутизаторы препятствуют «замыливанию»: они не позволяют модели перестать различать данные слоев (так бывает, когда их много и разница между ними невелика) и потерять логику в сложных рассуждениях.

«LIMe помогает эффективнее хранить и использовать информацию внутри нейросети, что закладывает основу для разработки более интерпретируемых ИИ-систем»,— говорит руководитель лаборатории научных исследований искусственного интеллекта Т-Банка Даниил Гаврилов.

KronSAE предназначен прежде всего для специалистов, исследующих внутреннюю работу нейросетей.

Разработка представляет собой новую архитектуру автоэнкодеров (SAE), которая улучшает интерпретируемость языковых моделей и работает экономичнее других методов: количество вычислений для выделения признаков из данных внутри нейросети сокращается на 40%. Эта операция необходима, чтобы понять, о чем и как «размышляет» нейросеть, и обычно требует существенных вычислительных мощностей.

Представленные в Будапеште разработки российской ИИ-школы служат примерами того, как в последнее время акцент все сильнее смещается с гонки за масштабами и мощностью нейросетей к более прагматичным задачам умной оптимизации. Востребованность таких решений подсказывает, что будущее — за гибкими, экономичными и открытыми архитектурами.