Нейросеть читает Псалтырь

Какие возможности открываются перед филологами-древниками благодаря появлению технологий работы с большими данными? Что мы можем узнать нового, например, о языке или церковном богослужении, если с помощью инструментов big data и нейронных сетей проанализируем древнерусские рукописи традиционного содержания, то есть книги, входящие в основной богослужебный круг: служебник, минея, постная и цветная Триодь, паремейник, служебное Евангелие, следованная псалтырь?

Выйти из полноэкранного режима

Развернуть на весь экран

Казалось бы, это должны быть однотипные и идентичные по содержанию источники. Но не все так просто. Александр Кравецкий, ведущий эксперт лаборатории цифровых технологий в гуманитарных науках НИЯУ МИФИ, ведущий научный сотрудник отдела лингвистического источниковедения и истории русского литературного языка Института русского языка им. В. В. Виноградова РАН и научный редактор «Ъ-Науки», рассказывает, как исследовать такие источники и к каким открытиям это может привести.

— Александр Геннадьевич, как вообще возникла эта задача?

— С 2022 года в НИЯУ МИФИ в лаборатории цифровой лингвистики Института фундаментальных проблем социогуманитарных наук НИЯУ МИФИ разрабатывается лингвистическая интеллектуальная среда (ЛИС) «Рукописное наследие Древней Руси», которая будет способна распознавать церковнославянские рукописи XI-XVIII веков и представлять их выборку под конкретный запрос. ЛИС создается как человеко-машинный интерфейс с элементами самообучения, то есть в нее можно будет постоянно добавлять новые рукописи, которые искусственный интеллект будет распознавать и при этом постоянно подстраивать свои алгоритмы распознавания. Несколько лет назад иеромонах Родион (Алексей Ларионов), директор Института фундаментальных проблем социогуманитарных наук НИЯУ МИФИ, спросил меня, что в той области, которой мы занимаемся, могут дать программисты, какой инструмент ИТ был бы нам полезен. И мы предложили проект с условным названием «Рабочее место филолога-древника» с личным кабинетом для каждого исследователя.

— Чем можно заниматься, сидя на этом «рабочем месте»?

— Есть такой тип письменных памятников, которые называют «памятники традиционного содержания». В первую очередь это богослужебные книги. Их состав более или менее стандартен и их много, ведь они должны были быть в каждой церкви: если «Слова о полку Игореве» не сохранилось ни одного экземпляра, летописей сохранились десятки, то количество сохранившихся богослужебных книг измеряется тысячами. Тексты, входящие в эти книги, переписывались и редактировались на протяжении столетий, поэтому они отражают особенности региональных письменных традиций, диалектов, богослужебных особенностей и т. д. А поскольку состав таких книг относительно стабилен, их очень удобно сравнивать между собой.

Начать мы решили со служебных миней — книг, содержащих службы на каждый день церковного года. Это 12 объемных томов — по тому на каждый месяц. А поскольку каждый из этих томов сохранился в десятках, а то и в сотнях экземпляров, у нас есть достаточно объемный корпус текстов для анализа.

— Писцы ведь могут делать как обычные ошибки, так и намеренно изменять исходный текст?

— Конечно, ошибка ошибке рознь. Но вот, например, человек пишет слово «корова» как «кАрова», и мы понимаем, что это не может быть намеренно. Такую ошибку не сделает человек окающих говоров, а значит, это писалось не на севере и не в Поволжье. Если он выговаривает «о» — «кОрова»,— то он никогда не напишет «кАрова». И соответственно, по этим ошибкам или, скажем помягче, местным орфографическим особенностям можно узнать много интересного для атрибутации рукописи, ведь в большинстве случаев у нас нет ничего — ни даты ее создания, ни места.

А кроме условной «каровы—коровы» в таких памятниках можно еще увидеть варианты редактирования. Структура богослужения похожа на конструктор лего: стандартные элементы — тропари, кондаки, каноны и т. д.— компонуются в зависимости от дня церковного года, удаленности от даты Пасхи и т. д. Эти сравнительно небольшие элементы очень удобно сравнивать друг с другом. А искусственный интеллект позволяет провести такое сравнение на сотнях примеров, в то время как человек способен проанализировать и сравнить между собой в лучшем случае лишь несколько десятков книг.

— Казалось бы, минеи — вещь типовая, но, оказывается, может служить основой для анализа древних нетиповых текстов, скажем, художественных. Какие там могут быть открытия?

— Можно увидеть, как более поздние авторы заимствовали какие-то элементы у более ранних, что переписывали без изменений, а что редактировали…

— И наконец, мы все-таки сможем благодаря ИИ узнать, подлинником было «Слово о полку Игореве» или фальшивкой?

— Ну, вопрос про подлинность «Слова» после книги А. А. Зализняка все-таки кажется закрытым. Хотя какие-то скрытые аллюзии и текстовые пересечения с классическими и вроде бы хорошо изученными древнерусскими текстами вполне могут быть обнаружены. Но это в будущем. Пока мы в самом начале этого пути. Пока у нас есть огромное количество рукописных книг, состав которых в лучшем случае описан так: «1 июня служба такая-то, 2 июня служба такая-то». А о различиях состава этих служб в разных рукописях мы не знаем. Ведь кроме ошибок переписчиков и мелких текстовых изменений в истории богослужебной письменности предпринимались и крупные исправления книг. Такое происходило не только в XVII веке при патриархе Никоне, но и раньше. Поэтому выловлено будет много неожиданного.

— Расскажите о методиках отлова неожиданностей.

— Самое простое и формальное — внешний облик букв. Особенности почерка позволяют датировать рукописи и определять место ее написания. Эти методы уже давно используют для датировки рукописей. Почерки недатированных рукописей сравниваются с почерками рукописей, для которых известна точная дата написания, и на основании близости почерка делается вывод о близости времени написания. Этим занимается палеография. Но палеография рассчитана на человеческое восприятие, а возможности человеческой памяти ограничены. В случае же машинного анализа мы теоретически можем сравнивать все написания датированных рукописей со всеми написаниями недатированных.

— А сколько уже миней оцифровано?

— Небольшая часть. В нашем распоряжении 247 рукописей, оцифрованных архивами. Это более 110 000 страниц. Это объем, достаточный для создания инструментов работы с рукописями традиционного содержания. Ну а дальше начнутся проблемы, которые будем решать уже не мы: финансовые, юридические и т. д.

— Представим идеальную картину мира: вы оцифровали и разобрали по буковкам достаточное для построения лингвистической машинной системы количество миней, проанализировали их, увидели какие-то закономерности. На что еще можно направить этот инструмент анализа?

— Глобальный ответ — на все письменные памятники. Благодаря подобным инструментам исследователи смогут точнее понять, какие происходили изменения в языке, как менялась его лексика и орфография. А для начала — на рукописи аналогичных структур, то есть состоящие из фрагментов, организованных по какому-то принципу. Например, на другие богослужебные книги: триоди, прологи (сборники житий). И когда весь этот массив мы уже как-то осознаем, можно будет обратиться к уникальным источникам, летописям. И наверняка в условном «Слове о полку Игореве» мы таким образом откопаем десяток цитат. Хотя, казалось бы, уж оно изучено вдоль и поперек. Дело в том, что уникальные вещи мы знаем относительно неплохо, а массовые — плохо. Но ведь они взаимосвязаны, в уникальных вещах может быть огромное количество следов из массовых текстов. Для наглядности можно привести пример из нашего времени: поэтическая книга, изданная тиражом 20 экземпляров, до потомков дойдет, потому что сохранится в библиотеках, а рекламная брошюра, слоган из которой может быть использован в этой поэтической книге,— нет, хотя она напечатана миллионным тиражом. И будущим комментаторам условного Пелевина будет очень трудно понять, «из какого сора» у него все росло. Всегда же есть тексты (или, скажем, рекламные ролики), которые на слуху, но пройдет время, и через два поколения уже никто не будет их помнить. И поэтому понять, что они значили в контексте, будет трудно.

— С какими проблемами вам приходится сталкиваться в техническом плане, что затрудняет обработку изображений? Нечеткость букв, почерка, старость или засаленность бумаги?

— Перечисленное вами — не главные проблемы. Главная — огромная вариативность написания букв и сокращений (титлов). Не говоря уже о буквицах. Самый простой пример — похожесть букв «и» и «н». Или написание буквы «к»: кто-то пишет ее как палочку слева и две диагонали из центра, а кто-то — как палочку и скобочку справа, то есть «I<». Плюс особенности оформления рукописей, надстрочные знаки, нотные знаки — это вообще отдельная огромная тема. Также есть масса неожиданных сокращений или оборванный текст: когда вместо общеизвестного песнопения приводится «зачало» — два-три первых слова. Подразумевается, что дальше и так все понятно и не обязательно переводить чернила и бумагу… То есть машина должна не только правильно прочитать буквы, но и понять, что далее текст обрывается. Это очень большой объем работы.

— Здесь, наверное, нельзя обойтись без верификатора, чтобы проверить, верно ли машина прочитала.

— Да, без этого нельзя обойтись, в этой истории от «кожаных мешков» никуда не деться.

— За рубежом как обстоят дела с распознаванием древних текстов?

— Чтобы был проект, подобный нашему «Рабочему месту филолога», я не слышал. Но вообще, по распознаванию средневековых текстов есть прекрасно работающая немецкая система Transkribus, правда, она коммерческая и недешевая. Для массового распознавания, как в нашем случае, это просто очень дорого. Но, конечно, мы на их опыт оглядываемся.

— Какая строится работа в проекте и какая стадия сейчас?

— Мы просматриваем имеющиеся у нас оцифрованные минеи на предмет разных почерков и составляем каталог для каждой буквы или знака — «вырезаем» изображения этих элементов, несколько сот изображений получается для каждой буквы или знака.

Мы уже научились очищать текст и выпрямлять строки — последнее особенно важно для машины. При фотографировании строки смешаются. Человеку это почти не мешает, а вот работу машины сильно усложняет. Накопленный материал скармливается разным моделям искусственного интеллекта, созданным в МИФИ. Пока идет стадия накопления материала и мячик на стороне программистов. С буковками мы разобрались, теперь с ними разбирается машина. Мы ждем, когда у нас будет «текст», который мы сможем верифицировать, опознать ошибки и начать обучать машину, то есть править коды распознавания изображений. Это долгая работа, требующая сил, времени и финансирования. Кстати, это касается всех проектов, направленных на обработку плохо структурируемого гуманитарного материала.

— Но вы же сказали, что это как лего. Значит, структурируемого все-таки?

— Представьте, что у нас много кубиков лего, которые подходят друг к другу по форме, но внутри каждого кубика хаос со стремящимся к бесконечности списком элементов, которые нам нужно все-таки как-то типизировать.

— Как бы вы образно описали свою работу?

— Как путешествие хоббитов, когда главная задача — доползти до ближайшего куста и выжить. Ну а дальше можно подумать, как добраться до следующего куста.

Беседовала Ксения Ерохина