Оптимизация контента онлайн-курса по данным статистики активности пользователей
Стародубцев Вячеслав Алексеевич, Ситникова Оксана Валерьевна, Лобаненко Ольга Борисовна
Стародубцев Вячеслав Алексеевич - д-р пед. наук, проф.
Ситникова Оксана Валерьевна - канд. техн. наук, доцент.
Лобаненко Ольга Борисовна - ведущий программист
Национальный исследовательский Томский политехнический университет
Аннотация. Цифровизация современной образовательной среды приводит к изменению стиля учебной активности студентов и профессиональной деятельности преподавателей высшей школы. Требование профессионального стандарта работников образования обязывает преподавателей вузов не только разрабатывать образовательный контент дисциплины, но и применять средства ИКТ для управления учебной активностью обучаемых. Это особенно важно для заочной дистанционной формы обучения, в которой очный контакт в течение семестра ограничен вебинарами и скайп-консультациями. Анализ ситуации показывает, что в процессе обучения студентов заочной формы обучения присутствует значительная неравномерность освоения содержания дисциплин, с выраженным пиком активности в период сессии и после неё при ликвидации академической задолженности. Целью работы являлось исследование возможностей стандартных средств статистики активности пользователей в LMS MOODLE для оптимизации курса по трём параметрам: форма представления контента, временная структура курса и качество контрольно-измерительных материалов. Эти параметры, по мнению авторов, являются главными в мотивации пользователей к последовательному использованию онлайн-курса в течение семестра. В рамках темы в течение трёх лет проведено исследование статистических характеристик активности студентов электронного курса «Информатика», размещённого в системе управления обучением MOODLE. Эксперимент охватывал студентов первого курса, обучающихся по направлению «Электроэнергетика и электротехника». Полученные результаты оптимизации структуры и формы представления контента дисциплины свидетельствует о положительном изменении динамики освоения студентами содержания курса в плане увеличения числа посещений курса студентами в период учебного семестра. Аналогичным путём оптимизирована процедура диагностики результатов обучения студентов - анализ прохождения тестовых процедур с помощью средств статистики активности пользователей, им.еющихся в арсенале LMSMOODLE, - расчёта коэффициента лёгкости заданий теста и его эффективности дискриминации. Наблюдаемое увеличение абсолютной успеваемости студентов по оптимизированному курсу свидетельствует о результативности произведённых изменений. Таким образом, показано, что использование инструмента статистики действий пользователей в курсе на платформе MOODLE позволяет достоверно проверить эффективность инноваций в педагогическом дизайне онлайн-курса, обеспечивающих увеличение учебной активности студентов в течение семестра.
Ключевые слова.: онлайн-обучение, онлайн-курс, управление учебной активностью, статистика учебной активности, LMSMOODLE, оптимизация учебного процесса, микроцели, инфографика, контрольно-измерительные материалы
Optimization of Online Course Content According to Users Activity Statistics
Abstract. Digitalization of modern education leads to a change in the style of the educational activities of students and professional work of higher school teachers. The professional standard of education workers oblige educators not only to develop educational content discipline, but also apply ICT to manage student's training activity.
The aim of the research was to study the capacity of the standard user statistics tool in LMS MOODLE for course optimization on three parameters - content presentation, temporary course structure and quality of educational measurement tools. These options, according to the authors, are the main factors for users' motivation to consistent use of online courses during the semester. The study of statistical characteristics of student activity in e-course “Informatics” based on LMS MOODLE has been carried out during three years. The experiment covered the first-year students enrolled in the “Electricity and Electrical Equipment”. The results of the content optimization and presentation of the discipline have shown a positive change in the dynamics of the student's activity during the semester. The findings of this study have a number of practical implications. Optimization of the learning process with the use of online course requires designing of a course with week module structure and singled out micro-targets. The learning material should be presented in various formats taking into account students' preference for infographics. This contributes to raising the academic performance on the whole. Statistical analysis of test tasks differentiating capacity will substantially improve the quality of tools for educational measurement.
It is shown that the use of a MOODLE statistics tool to estimate the user activity makes it possible the documented testing the effectiveness of innovations in pedagogical design of e-course.
Keywords: e-learning, online course, statistics, LMS MOODLE, student training activity management, optimization of learning activity, micro-targets, infographics, educational measurement
Введение
В течение последних лет мировая и российская системы образования проходят этапы базовой трансформации, связанные с активным внедрением цифровых средств обучения в образовательный процесс. В рамках приоритетного проекта «Современная цифровая образовательная среда РФ» многими вузами России накоплен значительный опыт использования электронных образовательных ресурсов и технологии массовых открытых онлайн курсов (МООК). От локальных дисциплинарных и просветительских МООК реализуется переход к образовательным программам бакалавриата, магистратуры и в ряде случаев аспирантуры [1]. Вместе с тем электронные курсы на платформах LMSMOODLE, Sakai, OpenEdX и других остаются важными инструментами смешанного (blended) образовательного процесса, поддержанного информационно-коммуникационными технологиями [2]. В этом контексте становятся актуальными проблемы педагогического дизайна онлайн-курсов - качества образовательного контента и контролирующих процедур, эффективности обучения, доступности курсов для особых категорий пользователей и т.д. [3].
Вопросы повышения качества тестовых оценивающих мероприятий онлайн-курса рассмотрены в работах [4-8]. Авторы обращают внимание на необходимость корректировки курса после его первого применения в группах студентов с разными уровнями подготовки, а также тщательной проверки таких характеристик тестов, как коэффициент дискриминации (discriminative efficiency) и индекс лёгкости (facility index).
Комплексный подход к анализу качества онлайн-курсов реализуют специалисты Центра психометрических исследований в онлайн-образовании Высшей школы экономки, которые на основе анализа «больших данных» строят модели и разрабатывают сервисы, позволяющие преподавателям искать «слабые места» в онлайн-курсах и вносить корректировки в курсы в соответствии с выданными рекомендациями [9]. В перечень ожидаемых результатов анализа онлайн-курса входят такие позиции, как оценка качества контента, оценка динамики обучения слушателей, оценка качества тестовых заданий и другие.
Сотрудники Фонда развития онлайн-образования МИФИ используют данные статистики активности пользователей МООК для прогноза успешности обучения слушателей [10]. Методика статических и динамических диаграмм предложена в работе [11] для анализа совместной сетевой деятельности, а в работе [12] рассматриваются облачные технологии для контроля учебной деятельности студентов. Система мониторинга контента и активности пользователей в LMS MOODLE, предлагаемая Томским государственным университетом, позволяет провести аналитику и мониторинг степени вовлечённости студентов и преподавателей подразделений в систему электронного обучения (ЭО). Анализ данных, полученных в результате мониторинга, позволяет оценивать эффективность внедрения ЭО, работы отдельных субъектов ЭО и учебных подразделений в целом и принимать управленческие решения по оптимизации процессов электронного обучения [13]. Оценка качества онлайн-курсов в режиме «одного окна» включена в приоритетный проект «Современная цифровая образовательная среда в Российской Федерации» [14].
Наряду с масштабными проектами повышения качества дистанционно предоставляемых образовательных программ, имеет смысл поиск возможностей совершенствования образовательного процесса с помощью цифровых средств, имеющихся в обновлённых вариантах широко используемой в вузах России системы управления обучением LMS MOODLE.
Целью настоящей работы является анализ возможности использования статистических инструментов LMS MOODLE в практике повышения качества дизайна онлайн-курса и, как следствие, эффективности его освоения слушателями. Исследование предусматривало анализ динамики посещения курса студентами в течение семестра и качества диагностики результатов обучения по дисциплине «Информатика», которая использована в учебном процессе многих направлений бакалавриата в Национальном исследовательском Томском политехническом университете. Выбор данного курса обусловлен его значимостью для формирования цифровой компетенции студентов.
Материал и методы исследования
При использовании систем менеджмента обучения (LMSMOODLE, Sakai, OpenEdX и др.) контроль знакомства обучаемых с контентом электронного курса и прогресса в выполнении заданий осуществляется программно и отражается в разделах LMSMOODLE: «Управление курсом» «Отчёты». С их помощью производится формирующее оценивание индивидуальной учебной активности с применением балльно-рейтинговых процедур и поощрения достижений пользователей значками (баджами) [15; 16]. В оценке дидактических параметров МООК и других онлайн-курсов может быть использован сервис Web Accessibility Checker, который проверяет соответствие отдельных HTML-страниц стандартам специальных возможностей, чтобы обеспечить доступ к содержимому для всех [17]. Но для анализа онлайн-курсов, размещаемых в LMSMOODLE, достаточными будут встроенные инструменты платформы, в частности инструмент «Статистика» выполняемых пользователями действий в определённый период времени.
Чтобы воспользоваться инструментом, необходимо открыть страницу «Отчёты» в разделе «Управление курсом». В списке представленных отчётов выбрать вариант «Отчёт о деятельности». Данный вид статистического отчёта собирает информацию:
- о количестве просмотров каждого учебного элемента онлайн-курса (форумы, информационные страницы, дополнительные материалы в формате pdf, глоссарий, книги, лекции, тесты, индивидуальные задания и задания на взаимное оценивание),
- о количестве пользователей, осуществивших просмотр элемента онлайн-курса.
С помощью данного инструмента проанализировано 63 учебных элемента онлайн-курса и активность 365 пользователей. В ходе работы была проведена критическая оценка трёх дидактических характеристик онлайн-курса: востребованности у студентов различных форм представления содержания учебных материалов курса, временной структуры онлайн-курса и качества оценивающих мероприятий. Данными для анализа послужили статистические характеристики активности студентов по курсу «Информатика». Эксперимент длился в течение трёх лет, в нём участвовали 365 студентов первого курса, обучающихся по направлению «Электроэнергетика и электротехника».
Результаты исследования
По результатам первого года применения практико-ориентированного дистанционного курса была проанализирована востребованность форматов представления учебных материалов студентами-заочниками. Учебные материалы были представлены текстовыми фрагментами, записями вебинаров, скринкастами и инструкциями в форме инфографики. Статистические данные по активности студентов по одному из модулей онлайн-курса, предоставляемые LMSMOODLE, приведены на рисунке 1. Как следует из сравнения числа пользователей и количества просмотров для разных разделов модуля курса, студентов интересует прежде всего практическая часть - выполнение лабораторной работы. В среднем на одного из 123 студентов здесь зафиксировано 22 просмотра, тогда как аннотацию к модулю просмотрели в три раза меньше студентов. Только половина студентов потратили время на просмотр видеоинструкции к выполнению лабораторной работы. Это позволяет сделать вывод о том, что для онлайн-курса предпочтительными оказались инструкции, выполненные в форме инфографики. При этом с точки зрения текущей успеваемости студентов по теоретической части и по лабораторным работам существенных различий выявлено не было. В последующем редизайне курса количество инфографики было увеличено - в ожидании перехода «количества в качество».
образовательный онлайн курс студент
Рис. 1. Таблица LMS MOODLE со статистикой посещаемости элементов курса
Анализ статистики активности студентов в исходном варианте онлайн-курса в течение семестра (плюс период ликвидации академической задолженности) показал её явно выраженную неравномерность. Пики учебной активности студентов приходились на период сессии и далее держались на высоких показателях в период ликвидации академической задолженности, в то время как в начале семестра наблюдались очень низкие показатели активности студентов. Для решения выявленной проблемы, которая проявляется и на многих других онлайн-курсах, была изменена его структура.
Рис. 2. График активности студентов в онлайн-курсе
Изначально курс содержал четыре больших тематических раздела, каждый из которых был наполнен теоретическими, практическими и оценивающими мероприятиями. При редизайне курса была поставлена цель организовать и распределить деятельность студентов на протяжении учебных недель всего семестра более равномерно. Основой редизайна стало использование понятия «микроцель», сформулированного в педагогической технологии академиком РАО В.М. Монаховым [18; 19, с. 1007]. Суть технологии заключается в том, что первоначально строится генеральное содержание учебных материалов дисциплины с разбивкой на укрупнённые дидактические единицы. Затем проводится детализация модулей на более простые, методически завершённые, диагностируемые части. Таким образом выявляются микроцели - главные проблемы темы, «зоны ближайшего развития учащихся». В соответствии с рекомендациями В.М. Монахова структура онлайн-курса была преобразована так, чтобы количество модулей соответствовало количеству недель в семестре. В каждом модуле ставилась микроцель, достижение которой контролировалось при помощи оценивающего мероприятия. Каждая микроцель связана с остальными микроцелями курса, и все вместе они составляют единый учебный материал (теоретический, практический и оценивающий), равноценный первичному онлайн-курсу с четырьмя большими тематическими разделами.
Анализ статистики активности студентов в онлайн-курсе с понедельной структурой показал совсем иную динамику, отличную от динамики обучения в исходном курсе, а именно, существенные улучшения. Как видно из рисунка 2, обучение в преобразованном курсе сопровождается заметной активностью студентов с самого начала семестра, с нарастанием активности в период сессии и значительно более низкой активностью в период ликвидации академической задолженности. При этом было отмечено повышение показателей успеваемости студентов, что коррелирует с понижением активности студентов в период ликвидации академической задолженности.