Цифровой архивариус
Как искусственный интеллект помогает сохранить десятилетия научных наблюдений
Даже небольшое изменение способа измерения или обработки может повлиять на результат и затруднить сравнение с данными прошлых лет. О том, как искусственный интеллект помогает не только ускорить обработку экологических данных, но и сохранить точность и преемственность многолетних наблюдений, в материале «Ъ-Наука».
Фото: Евгений Павленко / Коммерсантъ
Фото: Евгений Павленко / Коммерсантъ
Почему данные разных лет должны оставаться сопоставимыми
С февраля 1945 года сотрудники НИИ биологии озера Байкал Иркутского государственного университета регулярно исследуют планктон в одной точке Южного Байкала. Проект даже внесен в Книгу рекордов России как самый длительный проект регулярного экологического мониторинга в истории науки.
Пробы берут каждые 7–10 дней на глубинах до 250 м. За 80 лет ученые собрали около 31 тыс. проб, а база наблюдений выросла до более чем 10 млн записей. По видовому составу и численности планктона можно судить о температурном режиме, качестве воды, питательных веществах и состоянии пищевых цепей озера.
Традиционно анализ проб проводился вручную, методом микроскопии. Гидробиолог находит организмы в образце, определяет их вид и заносит результат в базу. Работа требует квалификации и занимает много времени. При росте числа изображений возникает очередь на обработку, хотя пробы продолжают поступать по установленному графику. Возникает проблема масштабирования проекта, особенно при необходимости оперативно реагировать на изменения в экосистеме.
При этом полностью заменить ручной анализ автоматическим без предварительной проверки было бы рискованно. Система компьютерного зрения может иначе классифицировать организмы, пропускать редкие виды или чаще ошибаться в отдельные сезоны, когда состав и внешний вид планктона меняются. Если не сопоставить результаты ее работы с выводами гидробиологов, новые данные будет сложно корректно сравнивать с наблюдениями прошлых десятилетий.
Как встроить ИИ в процесс более полувековых исследований
С 2022 года в проекте по изучению Байкала участвует Центр технологий для общества Yandex Cloud. Система компьютерного зрения находит организмы на снимках с микроскопа, классифицирует известные формы и выделяет случаи, которые не похожи на объекты из обучающей выборки. Изображения с низкой уверенностью модель передает гидробиологу. Проверенные результаты возвращаются в датасет и используются при следующем обучении.
Эксперт сохраняет контроль там, где потенциальная вероятность ошибки выше. Модель переобучают несколько раз в год, поскольку внешний вид и состав планктона меняются по сезонам. Новые изображения включают в обучающую выборку после проверки человеком. Такой порядок позволяет пополнять систему неизвестными и редкими формами без автоматического переноса ошибок в следующие версии модели.
К декабрю 2025 года система обработала более 250 тыс. изображений из 811 проб. Точность обнаружения объектов достигла 87%. Как результат — статистические тесты не выявили значимых различий между ручным и машинным анализом видового состава. После такой проверки автоматизированную обработку можно включать в действующую программу: новые результаты остаются сопоставимыми с историческими данными.
Что это меняет в работе исследователя
Автоматизация сокращает время обработки проб в десятки раз. Гидробиолог может больше заниматься редкими объектами, сезонной и межгодовой динамикой, постановкой новых вопросов. В 2024 году система помогла проследить изменения долей нескольких основных видов зоопланктона с весны до поздней осени. Такие наблюдения позволяют быстрее замечать аномалии и проверять их по другим показателям экосистемы. В проекте также формируется обновляемая база размеченных изображений. В ней сохраняется визуальный материал, на котором основан итоговый подсчет. Исследователь может вернуться к снимку, пересмотреть классификацию и обучить следующую версию модели. Это повышает воспроизводимость анализа и снижает зависимость программы от объема ручной работы.
Как тот же принцип реализуется в других областях
Британская программа Continuous Plankton Recorder ведет морские наблюдения с 1931 года. Сейчас в нее внедряют систему iCPR, которая фотографирует собранные образцы и автоматически определяет организмы на снимках. При этом сам способ сбора проб остается прежним. Благодаря этому результаты автоматического анализа можно сопоставлять с данными, которые ученые накапливали десятилетиями. Перед внедрением систему проверяют на точность, чтобы новый способ обработки не исказил картину многолетних изменений.
В медицине сходный подход применяют в Framingham Heart Study. Исследование началось в 1948 году, а участники проходят обследования по повторяющимся протоколам каждые несколько лет. Накопленные данные используют для моделей машинного обучения, которые оценивают сердечно-сосудистые риски и вероятность деменции. Новые методы анализа опираются на прежнюю структуру наблюдений и многолетнюю историю каждого участника.
В России проект SmartLeo обрабатывает архивные документы и фотографии из национальных парков и заповедников. В материалах встречаются печатные отчеты, рукописные вставки, таблицы и снимки с фотоловушек. ИИ помогает переводить разрозненные записи в данные, пригодные для поиска и анализа по видам и периодам.
Качество таких проектов, безусловно, зависит от описания методики, сохранности исходных материалов и качественной проверки модели на данных, которые она не видела при обучении. Для долгосрочного научного исследования важна возможность объяснить происхождение каждого показателя и сопоставить его с предыдущими годами. При таком подходе ИИ помогает продолжать наблюдения, даже когда объем данных становится слишком большим для ручной обработки.
Научные наблюдения длиной в десятилетия невозможно начать заново. Поэтому одна из важнейших задач искусственного интеллекта сегодня — не только ускорять исследования, но и помогать сохранять ценность уже накопленных данных для будущих поколений ученых.