Трудности доказательного перехода

Перевод обучения в онлайн-среду из-за пандемии позволил накопить новые – цифровые – данные. Они могут дать новое знание и повысить эффективность обучения. Но пока что предстоит научиться обращаться с этими данными.

Выйти из полноэкранного режима

Развернуть на весь экран

Вопрос о доказанном качестве образования в новых условиях становится ключевым для развития высшего образования, говорится в свежем докладе «Качество образования в российских университетах: что мы поняли в пандемию». Доклад подготовили 13 российских вузов и Минобрнауки. Поэтапный переход от управления на основе фрагментарной и разрозненной информации к управлению на основе данных назван в докладе «значимым фактором обновления цифровой инфраструктуры» российских вузов. Но пока эта практика в российских университетах представлена «на разном уровне разработки», пишут авторы доклада.

Анализ больших данных становится не просто инструментом сбора и интерпретации информации о студентах, говорится в докладе. Он важен и для управления образованием: можно быстро реагировать на сложности: фиксировать проблемные зоны в обучении и оказывать поддержку студентам, обнаруживать дефициты конкретных программ или работы преподавателей. Но, продолжают авторы доклада, несмотря на почти два года работы университетов в новом режиме, исследования, в том числе и социологические, не обнаруживают существенных изменений в системах управления. Учебной аналитики как системы почти ни в каком вузе нет.

Пандемия собирает базу

О революции в сборе и анализе данных в вузах говорить пока рано, полагает Алексей Егоров, руководитель магистерской программы «Доказательное развитие образования» Института образования НИУ ВШЭ. Но переход образования в онлайн в пандемию обусловил спрос на доказательный подход – и государства, и общества. Это, объясняет Егоров, произошло из-за того, что при переводе в онлайн-среду возникло множество вопросов, на которые было сложно отвечать: практически не было данных. А массив доступной информации увеличился, начали использоваться новые источники данных – например, социальные сети.

В категории эволюционности описывает изучение новых данных в образовании и Татьяна Подушкина, руководитель Центра доказательного социального проектирования МГППУ: «Мы находимся в фазе качественного скачка: у нас накопилось некоторое количество изменений, которые могут сейчас перейти в новые качественные формы». Пандемия сыграла несущественную роль, считает она: процесс перехода на доказательный подход в образовании начался раньше.

Пандемия ускорила внедрение того, что было разработано ранее, принципиально новых практик не появилось, уверен и Андрей Щербенок, директор Школы перспективных исследований (SAS) ТюмГУ, профессор Московской школы управления «Сколково»: резко выросло количество студентов и преподавателей, вовлеченных в цифровые форматы, поэтому резко увеличилось и количество собираемых данных. Но к прорыву в понимании образования это, по крайне мере пока, не привело, сетует он.

«В области онлайн-инструментов пандемия сыграла огромную роль: преподаватели всегда были к ним скептически настроены, но были вынуждены начать ими пользоваться», – рассказывает Катерина Губа, директор Центра институциональных исследований науки и образования Европейского университета в Санкт-Петербурге (ЕУСПб). Но из-за особенностей сбора данных анализ этих практик пока что носит описательный характер. «Казалось бы, есть огромный пласт информации, накопленный опыт, но методы социальных наук требуют заранее продумать стратегию исследования, иначе в распоряжении исследователя может не оказаться нужной информации, – говорит Губа. – Первый год пандемии дал скорее хаотическую рефлексию, тогда как в стороне оказались исследования со строгим дизайном – например, оценка эффектов новых инструментов с помощью экспериментального дизайна».

Как заставить данные говорить

Для развития доказательного подхода в образовании нужна четкая организация сбора данных и высокие требования и к их непосредственному качеству, и к самому процессу их накопления. Доступ академического сообщества к этому процессу должен быть более открытым. «Многие данные у нас просто не собираются, некоторые собираются не так хорошо, как хотелось бы, а некоторые данные собираются, но остаются закрытыми для широкого круга исследователей»,— сетует Алексей Егоров. Недостаток данных – один из основных барьеров, мешающих более активному использованию доказательного подхода при проектировании образовательной политики, уверен он.

Данные об образовании можно разделить на два типа, объясняет Катерина Губа: традиционные, которые исследователи создают, когда анализируют документы, организуют опрос, берут интервью или проводят наблюдения; и административные, из информационных баз – Минобрнауки России регулярно запрашивает у университетов данные – о приемной кампании, научных достижениях, финансовую отчетность. Университеты и сами накапливают информацию об учебном процессе, студентах, преподавателях, научных и учебных результатах, продолжает Губа, но так как она обычно «оседает» в виде отчетов, документов и таблиц, ее нужно дополнительно превращать в данные, пригодные для анализа методами социальных наук.

В пандемию усилился интерес к информационным системам, которые организуют процессы внутри университета. Их применение может дать новую информацию, но такие институциональные исследования проводятся пока в немногих российских вузах, подчеркивает Губа.

Пример области, где сбор данных, ставший возможным в период пандемии, мог бы повлиять на стратегию университета, приводит Андрей Щербенок. «Образовательный процесс –– это сотни и тысячи интеракций. Можно просидеть десятки часов за учебником, отлично сдать экзамен и через неделю благополучно забыть содержание предмета, а можно поучаствовать в дискуссии или пройти симулятор и получить компетенцию или знания, которые останутся с вами надолго»,— рассказывает он. В онлайне подобные интеракции оставляют цифровые следы. Щербенок предлагает использовать эти данные для построения многофакторных моделей индивидуального образовательного пути с десятками переменных и связать их с образовательными результатами. Такие модели могли бы показать университетам, как можно всерьез улучшить образовательный процесс, полагает эксперт.

Еще одна «болевая точка» – анализ эффективности смешанного обучения, предполагающего и аудиторный, и дистанционный формат. «Золотой стандарт», по мнению Алексея Егорова, – экспериментальные исследования с контрольной группой и группой воздействия. «Мы можем ассоциировать изменения какого-либо целевого показателя – какой-то образовательный результат, доходы людей, вероятность продолжения обучения в вузе – именно с исследуемой политикой, а не с какими-либо еще ненаблюдаемыми переменными»,— объясняет он. Но такие эксперименты сложны в реализации и ставят множество этических вопросов.

Цифровой капитал человеческих ресурсов

Развитие доказательного подхода к разработке политик в области образования предполагает и подготовку специалистов. Местом для их подготовки могут стать в том числе и сами университеты. В 2020 году Институт образования НИУ ВШЭ открыл магистерскую программу «Доказательное развитие образования», которая объединила две ранее существовавшие программы: «Доказательная образовательная политика» и «Экономика и управление образованием». На новой программе, по словам ее руководителя Алексея Егорова, обучают исследователей и аналитиков, которые на основе доказательного подхода смогут разрабатывать дизайны различных политик и интервенций в сфере образования и на уровне отдельной организации, и на уровне всей национальной системы образования, а также смогут оценить их результативность.

Выпускники программы будут уметь анализировать происходящие в сфере образования процессы и явления с точки зрения разных дисциплинарных позиций –– экономики, социологии и психологии образования, а также уметь работать с данными разного типа. Егоров уточняет: речь идет не только о «технических» навыках, программировании и построении моделей, но и о навыках интерпретации результатов и формулирования на их основе содержательных рекомендаций для принятия решений. «Мы ожидаем, что в перспективе пяти-десяти лет наши выпускники начнут занимать руководящие позиции в сфере образования, и очень надеемся, что это положительно повлияет на качество проводимой образовательной политики»,–– надеется он.

Еще один барьер развития доказательного подхода в образовании –– это цифровое неравенство и студентов, и преподавателей. Тем не менее, цифровое неравенство в образовании гораздо слабее, чем аналоговое неравенство между учащимися разных по своему уровню учебных заведений, полагает Андрей Щербенок. «Цифровизация потенциально уменьшает неравенство доступа. Другое дело, что в 2010-х годах всеобщий энтузиазм по поводу революционных перспектив цифровизации образования неуклонно уменьшался, но это было связано совсем не с цифровым неравенством, а с тем, что цифровое равенство не может компенсировать аналоговое неравенство,–– рассуждает Щербенок.–– Чтобы научиться эффективно пользоваться возможностями доказательного цифрового образования и гарантированно приобретать недостающие навыки в сжатые сроки и без отрыва от основной деятельности, в общем случае необходимо сначала закончить хороший аналоговый бакалавриат». Центральным вопросом он считает возможность использования цифровых инструментов для принципиального улучшения качества университетского образования в условиях ограниченных человеческих ресурсов. «Можем ли мы не просто повысить эффективность работы хорошего преподавателя за счет использования, например, LMS-систем, а "достроить" курс слабого преподавателя до хорошего курса, обеспечивающего доказуемый образовательный результат?» — размышляет Щербенок.

Исследования не на словах

Возможность влияния на образовательную политику даже с помощью самых серьезных исследований сильно ограничена, так как это требует большой работы по трансляции нового знания в управленческую повестку, предостерегает Катерина Губа. Результаты исследований в своем большинстве публично широко не обсуждаются, оставаясь в рамках академического знания, полагает она. «Если мы хотим, чтобы они имели значение, нужно, чтобы доказательная политика стала легитимным принципом не на словах. Сейчас исследования, которые могут быть полезны для управленческих целей, проводятся исследователями образования, не обязательно с оглядкой на то, что они реально повлияют на образовательную политику»,— заключает эксперт.

Путь к доказательности предполагает, что управленцы, люди, которые принимают решения, и те, кто их исполняет, будут готовы честно смотреть в лицо фактам, потому что доказательный подход основан именно на них, говорит Татьяна Подушкина: «Если мы действительно можем себе позволить видеть ситуацию такой, какая она есть на самом деле, это очень перспективно. Если она останется на уровне декларации, будет подменяться псевдоисследованиями или ненадежной экспертизой, тогда здесь будет много рисков».

По сравнению с мировым опытом в России уже давно заметен разрыв между развитием социальной науки и социальной практики: практика развивается в своих реалиях, а наука идет своим путем и решает свои задачи. «Сейчас наша главная задача – эту встречу организовать, и она не может быть формальной. Академическому сообществу придется пересматривать многие позиции и ориентироваться именно на задачи практики»,– подводит итог Подушкина.

Оценка результатов от перехода на доказательный подход –– дело далекого будущего. Особенность сферы образования состоит в том, что эффекты от разных интервенций и регулирующих воздействий, даже от не очень значимых, могут проявляться в очень долгосрочном периоде, предупреждает Алексей Егоров. Кроме того, по его словам, политики в сфере образования могут приводить к множеству косвенных эффектов. Он приводит пример: существующие зарубежные исследования говорят о том, что механизм оплаты труда учителей, уровень их квалификации, количество учеников в классе и так далее могут оказывать влияние на всю последующую образовательную и даже карьерную траекторию учеников.

Впрочем, долгое ожидание может быть компенсировано большими результатами. «Если доказательный подход будет развиваться на всех уровнях, это даст возможность вырабатывать максимально точные инструменты для работы с разными проблемами»,–– предполагает Татьяна Подушкина. Кроме того, его внедрение позволит тиражировать только те практики и инструменты, которые показали свою высокую эффективность и отсутствие негативных последствий. А это возможно только в длительных наблюдениях, лонгитюдных исследованиях, уточняет она.

Цена бездействия, то есть неиспользования данных, достаточно велика, так как значительно повышает вероятность ошибок в образовательной политике, утверждает Алексей Егоров. Он приводит в пример зарубежные исследования, показывающие, что инвестиции в повышение квалификации учителей могут значительно влиять на заработную плату учеников данных учителей в течение всей жизни. Поэтому недоинвестирование в квалификацию учителей, или же неэффективные программы повышения квалификации, чревато значительными экономическими потерями в будущем. «Практически любая политика в сфере образования — это не только, например, рост профессионализма учителей или прирост знаний учеников по какому-нибудь предмету, это еще и дополнительные миллиарды рублей в виде ВВП, которые мы можем получить через 10, 20, 30 лет,–– объясняет Егоров.–– И чтобы эти миллиарды ВВП получить в будущем, образовательная политика уже сегодня должна опираться на различные данные, а также на результаты исследований, выполненных на основе этих данных». По его мнению, это позволит минимизировать вероятность ошибочных решений и, как результат, экономических потерь в будущем.

Екатерина Сивякова