Искусственный интеллект ищет эксперта

Чем лучше нейросети умеют писать убедительные тексты, тем труднее отличить в них правильную информацию от просто правдоподобной. Для поисковой системы это не отвлеченный философский вопрос, а ежедневная инженерная задача: прежде чем доверить генеративной модели ответ на вопрос о лекарстве, налоговом вычете или доказательстве теоремы, нейросеть нужно обучить на эталоне правильного ответа.

Выйти из полноэкранного режима

Развернуть на весь экран

Составить его может только эксперт, который разбирается в предмете лучше модели. Проблема в том, что настоящих экспертов-практиков в мире всего десятки тысяч, а вопросов к «Поиску» — миллиарды. Как инженеры и исследователи решают эту проблему и как ИИ масштабирует экспертизу, «Ъ-Науке» рассказывает Илья Кацев, руководитель отдела аналитики и метрик «Яндекс Поиска», обладатель степени доктора философии по теории игр.

— Интернет стремительно меняется. Что сегодня стало главным вызовом для обучения поисковых моделей?

— Чтобы понять, почему эта проблема сегодня настолько важна, стоит начать с того, как устроен современный поиск. Обычно кажется, что поиск — это просто система, которая находит нужный документ по запросу. На самом деле все гораздо сложнее. Для каждого текстового документа в интернете, который должен отобрать поиск, существуют тысячи различных характеристик: насколько он соответствует запросу, можно ли ему доверять, является ли текст авторским, не похож ли он на спам, насколько качественно написан и множество других сигналов. Именно по их совокупности алгоритмы принимают решение, что показать пользователю. И в тех или иных метриках качества нам удается выстроить работу системы на самом высоком уровне, при этом такой уровень планки задает и большую сложность.

Я иногда шучу, что запустить ракету в космос сегодня научилось больше стран, чем построить собственную современную поисковую систему. Пользователь сравнивает нас не с абстрактным идеалом, а с тем уровнем сервиса, к которому он уже привык. Поддерживать его — сложная инженерная задача на фоне усложняющихся запросов пользователей и изменений в количестве и качестве контента.

Если раньше главной проблемой было просто огромное количество информации, то сейчас ситуация стала сложнее: фокус внимания исследователей и инженеров лежит в плоскости усложнения запросов и оптимизации работы поисковых и генеративных моделей. Интернет очень быстро заполняется контентом, созданным с помощью ИИ. Проблема не в том, что текст написал искусственный интеллект, а в том, что вместе с хорошими материалами появляется огромное количество правдоподобных, но бесполезных текстов по темам, где вероятность ошибки или низкое качество слишком много значит. По сути, это новое поколение SEO-контента: раньше подобные страницы писали вручную, теперь их все чаще генерируют модели.

— Как это влияет на изменения в работе поиска?

— Для поисковой системы это означает, что недостаточно просто найти документ по запросу. Нужно понять, насколько ему вообще можно доверять и действительно ли он помогает пользователю.

Поиск — это не одна модель, а большая система из сотен ML-моделей. Одни отвечают за ранжирование документов, другие — за ответы Алисы, третьи — за изображения, видео, товары, борьбу со спамом и мошенничеством. Каждую из них необходимо постоянно обучать и проверять, становится ли она лучше после очередного изменения.

Для этого нужны размеченные примеры, подготовленные экспертами. Эксперту могут показать запрос и несколько вариантов ответа — например, ответ модели и найденный документ — и попросить выбрать более качественный, указать ошибки или объяснить, почему один вариант предпочтительнее другого.

На таких оценках обучаются вспомогательные модели, которые умеют распознавать недостатки ответов и оценивать их качество. Затем они помогают обучать и улучшать основные поисковые и генеративные модели: подсказывают, какие ответы и результаты следует считать более полезными, точными и надежными для пользователя.

По мере того как интернет становится сложнее, усложняется и сама разметка. Все больше запросов требуют не универсальной оценки качества, а глубокого понимания конкретной предметной области.

— Влияют ли на это запросы пользователей?

— Пользовательские сценарии становятся заметно сложнее. Почти половина запросов, которые поиск получает сейчас каждый день,— это те, что вообще никогда раньше не задавались. При этом люди уже давно приходят в поиск не только за тем, чтобы узнать курс валют или прогноз погоды. Все чаще они задают составные вопросы, которые требуют глубокого понимания предметной области.

Например, просят помочь разобраться со сложной научной задачей, объяснить особенности программного кода, найти решение юридического вопроса или помочь в ситуации, связанной с психологией. Все это принципиально отличается от коротких запросов, с которыми поисковые системы работали еще несколько лет назад. Поэтому модели приходится постоянно дообучать на новых типах задач.

— Какую роль в этом процессе играют эксперты? Кто сегодня нужен «Поиску» и каких специалистов сложнее всего найти?

— Простые оценки качества ответа — например, насколько документ соответствует запросу — постепенно все чаще берет на себя модель. Но существует множество задач, где качество ответа может оценить только специалист.

Это касается, например, медицины, права, финансов, программирования, математики и многих других дисциплин. Когда пользователь задает сложный вопрос, важно понимать не только, звучит ли ответ убедительно, но и действительно ли он корректен.

Причем речь далеко не всегда идет о самых массовых специальностях. Иногда нам нужны очень узкие специалисты — например, люди, занимающиеся отдельными направлениями современной математики или специфическими областями медицины. Таких экспертов на рынке немного, и именно поэтому их знания становятся особенно ценными для обучения моделей.

— Как понять, какого уровня нужен эксперт? Что вы вкладываете в само понятие «эксперт» и на что ориентируетесь при сотрудничестве с такими специалистами?

— Эксперт — это человек, который способен решать задачи в своей области лучше, чем самая сильная современная языковая модель из всех существующих.

Дальше возникает следующий вопрос: как убедиться, что перед нами действительно такой специалист? Здесь нет универсального рецепта, потому что разные области устроены по-разному. Где-то можно опираться на формальные признаки: дипломы, сертификаты, профессиональный опыт. Где-то этого недостаточно, поэтому мы просим выполнить тестовые задания или смотрим, как человек справляется с реальными задачами.

При этом для нас важна не только сама квалификация. Есть и вторая сторона: сможет ли человек регулярно и качественно выполнять такую работу? Можно быть блестящим ученым, но не иметь возможности уделять этому достаточно времени. Поэтому мы оцениваем и экспертность, и готовность участвовать в процессе.

Например, если говорить о фундаментальных дисциплинах, мы активно работаем с университетами. Именно они помогают находить людей, которые действительно находятся на переднем крае своей области: аспирантов, доцентов, профессоров, исследователей.

Среди экспертов, с которыми команда сейчас находится в переговорах о сотрудничестве, мы можем упомянуть, например, старшего преподавателя Школы управления «Сколково», руководителя лаборатории блокчейн и финтех, кандидата наук Егора Кривошею, чьи исследования посвящены цифровой экономике, организационным стратегиям и развитию ИИ; руководителя образовательной программы Software Engineering Университета ИТМО Александра Маятина — специалиста в области программной инженерии и подготовки разработчиков; руководителя Школы программной инженерии НИУ ВШЭ Сергея Лебедева, занимающегося исследованиями и образованием в области разработки программного обеспечения и компьютерных наук. Мы также работаем с основателем The12 Capital Дмитрием Козловым, который специализируется на инвестиционной оценке технологических компаний и публично анализирует экономику ИИ-проектов, перспективы инвестиций в искусственный интеллект и условия, при которых ИИ-решения создают реальную ценность для бизнеса.

При этом мы не ожидаем, что ведущий профессор будет восемь часов в день заниматься разметкой. Если человек постоянно выполняет однотипную работу, он довольно быстро перестает находиться на фронтире науки. Наша задача — получить от эксперта его знания и способность принимать правильные решения в действительно сложных случаях.

— Где вы находите редких специалистов? Ведь экспертов высокого уровня, особенно в узких областях, на рынке не так много.

— Мы используем сразу несколько подходов. Первый — это прямой наем, когда понимаем, что в определенной области задач настолько много, что имеет смысл формировать собственную команду специалистов.

Второй путь — сотрудничество с университетами и научными коллективами. Для многих фундаментальных дисциплин именно академическая среда оказывается лучшим местом, где можно найти людей с необходимой экспертизой. Мы взаимодействуем с профильными кафедрами и лабораториями. Именно там работают специалисты, которые не просто хорошо знают предмет, но зачастую сами развивают те или иные направления науки.

Третий путь — открытая платформа для экспертов. Специалист может подтвердить свою квалификацию, пройти необходимые проверки и выбирать задачи, соответствующие своему профилю. Для многих это возможность совмещать основную работу с участием в развитии поисковых технологий.

— Но даже если собрать лучших специалистов, их все равно слишком мало. Как они могут помочь системе, если поисковые модели ежедневно обрабатывают миллионы запросов?

— В этом заключается большой вызов для нашей работы. Эксперт не должен отвечать на все вопросы пользователей: это физически невозможно, особенно если речь идет об очень редких областях знаний.

Его задача — сделать относительно небольшой, но очень качественный набор оценок. Это могут быть тысячи примеров — они превращаются в эталон, который используется в обучении. После этого модель способна масштабировать этот подход на значительно больший объем похожих задач.

По сути, эксперт передает системе не готовые ответы, а способ рассуждения внутри своей профессиональной области. Именно поэтому даже небольшой вклад очень сильного специалиста может оказаться значительно ценнее, чем огромный объем более простой разметки.

— Влияет ли в таком случае развитие генеративного ИИ на само понятие экспертизы?

— Скорее да. Количество генеративного контента продолжает очень быстро расти. Иногда я сравниваю это с постепенно поднимающимся уровнем воды, где вода — количество сгенерированного моделями контента. Пока качество их текстов было невысоким, сильную экспертизу было легко увидеть. Но сегодня модели создают огромное количество убедительных текстов, и над поверхностью остаются только самые высокие вершины — качественный контент от экспертов, которые способны сказать что-то новое, предложить собственное понимание задачи или заметить ошибку там, где модель ее не видит.

— Как сегодня на практике выглядит совместная работа модели и эксперта?

— Опишу этот процесс на примере одной из разметок. Обычно первым работает не человек, а модель. Она анализирует материал, формирует предварительные выводы, может обратить внимание эксперта на потенциально важные моменты. После этого уже специалист проводит критическую проверку.

Мы показываем эксперту не готовый ответ модели, а ее рассуждения. Финальную оценку по-прежнему дает человек. Благодаря этому эксперт тратит время не на первичный анализ документа, а на проверку результата работы и самых сложных мест.

Получается, что модель берет на себя значительную часть рутины, а человек концентрируется именно на том, где его профессиональный опыт приносит максимальную пользу.

— Уже можно измерить эффект такого подхода?

— Да. Мы уже используем помощь экспертов во всех ключевых разметках «Поиска». В совокупности с автоматизацией процессов обучения моделей это позволило повысить качество примерно на 8%, а отдельные этапы работы ускорить почти на 50%.

Мы видим, что наибольший прирост качества происходит именно в тех областях, где модель обучалась на действительно сильных экспертных оценках. Это подтверждает, что главный ресурс сегодня — не количество разметки, а качество живого знания, которое в нее закладывается.

— Какой вам кажется роль экспертов через несколько лет?

— Если раньше индустрии требовалось большое количество людей, выполняющих однотипные задачи, то теперь потребность постепенно смещается в сторону очень сильных специалистов. Уже сегодня мы переходим от поиска «врачей вообще» к поиску, например, кардиологов, онкологов, специалистов по отдельным направлениям медицины. И этот процесс, как мне кажется, будет только усиливаться.

Я довольно скептически отношусь к прогнозам, что через два-три года человеческая экспертиза перестанет быть нужна. Скорее наоборот. Думаю, через несколько лет потребности в массовой экспертной оценке станет значительно меньше, а останутся именно специалисты самого высокого уровня — те, кто способен отвечать на действительно сложные вопросы и создавать новое знание.

Именно такие эксперты будут становиться главным источником развития моделей. Искусственный интеллект будет усиливать их работу, а они — делать сильнее сам искусственный интеллект.

Мария Грибова