Изменение структуры онлайн-курса повлекло увеличение числа оценивающих мероприятий. В свою очередь, это потребовало проведения анализа как самих тестовых заданий, так и сценариев их реализации. Была поставлена задача увеличения количества тестовых испытаний при некотором сокращении количества тестовых заданий в контрольных процедурах. Необходимо было элиминировать вопросы, которые оказались лёгкими для основного контингента испытуемых, оставив задания, обладающие высокой дискриминирующей способностью, то есть способностью разделять слушателей по степени их подготовки (отделение «отличников» от «хорошистов» и «троечников»). Для выполнения этой задачи были использованы стандартные статистические характеристики тестов в LMS MOODLE, описанные в работах [4-8], такие как индекс лёгкости и эффективность дискриминации. Индекс лёгкости показывает, какая часть испытуемых ответила правильно на вопрос или задание теста; индекс эффективности дискриминации оценивает задания теста в целом.
Анализ дискриминирующей эффективности тестовых заданий был проведён с фиксированным набором вопросов в тестах. Тестировались разные по уровню подготовки группы студентов. Всего было проанализировано более 3 000 студенческих попыток выполнения тестовых заданий, осуществлённых 365 пользователями. В среднем из 20 вопросов в тестах около пяти-шести оказывались с низкой дифференцирующей способностью, поэтому они убирались из банка вопросов онлайн-курса. В целом по результатам анализа тестовых заданий онлайн-курса было отмечено, что высоким коэффициентом лёгкости и низким коэффициентом дискриминиации обладают вопросы, дословно дублирующие формулировки лекций, и вопросы типа «верно-неверно». Вопросы типа «вложенные ответы» имели лучшие показатели коэффициента дискриминации.
В рамках выполнения задачи совершенствования процедуры оценивания результатов обучения студентов по модулям был также проведён анализ дистракторов (неправильных, но правдоподобных ответов тестового задания) в вопросах типа «множественный выбор».
Относительная частота выбора испытуемыми тех или иных дистракторов при выполнении конкретных тестовых заданий была определена при помощи стандартной статистики LMS MOODLE, которая хранится в анализируемом вопросе теста в разделе «Статистика». По результатам проверки произведена корректировка дистракторов: все ответы, обладающие самой низкой частотой выбора, заменены на более адекватные варианты.
Вопрос защиты от недобросовестного поведения обучающегося потребовал изменения сценария применения контрольно-измерительных материалов тестового типа.
Во-первых, был закрыт доступ к просмотру эталонного ответа, во-вторых, включён режим компоновки испытания случайным набором тестовых заданий из банка вопросов, в котором уже были «выбракованы» вопросы с низкой дифференцирующей способностью.
Сопоставление показателей абсолютной успеваемости исходного онлайн-курса и третьего варианта (после всех описанных преобразований) показало, что произошло увеличение абсолютной успеваемости потока студентов-заочников на 15%, что даёт право констатировать повышение эффективности освоения ими онлайн-курса.
Заключение
Проведённое исследование показало, что использование стандартных статистических инструментов LMS MOODLE может быть использовано для оценки активности студентов по освоению контента онлайн-курса. Эти инструменты позволяют преподавателям, реализующим обучение, и администрации вуза оценить качество контрольно-измерительных материалов, выявить предпочитаемые учащимися формы предъявления контента, произвести корректировку структуры онлайн-курса. Объективно наблюдаемое увеличение равномерности работы студентов-заочников и повышение качества контролирующих процедур способствует повышению успеваемости по дисциплине.
Результаты проведённого исследования показывают, что для оптимизации учебного процесса с применением онлайн-курса следует проектировать понедельную структуру модулей курса с выделенными микроцелями, что позволит повысить активность студентов на протяжении всего периода обучения и приведёт к повышению успеваемости. При этом учебный материал должен быть представлен в контенте в разных форматах, с учётом приоритетной востребованности у пользователей средств инфографики.
Статистический анализ тестовых заданий на уровень их дифференцирующей способности позволяет существенно повысить качество контрольно-измерительных материалов. Данный анализ необходимо проводить с фиксированным набором тестовых заданий после первого применения онлайн-курса в разных по уровню подготовки группах слушателей. Тестовый контроль со случайным набором тестовых заданий будет адекватным вариантом проверки знаний.
В целом использование инструмента статистики учебной активности пользователей электронного курса позволяет доказательно проверить результативность его педагогического дизайна и провести необходимые корректирующие мероприятия. Аналогичные процедуры могут быть полезными и в оценке педагогического дизайна МООК.
Литература
1. Shah D. MOOC Trends in 2016: College Credit, Credentials, and Degrees. URL: https://www.class-central.com/report/mooc-trends-credit-credentials-degrees/
2. Боголепова С.В., Малкова Н.В. Использование потенциала современных систем управления обучением в вузовском образовании // Высшее образование в России. 2017. № 5. С. 105-112.
3. Гречушкина Н.В. Онлайн-курс: определение и классификация // Высшее образование в России. 2018. Т. 27. № 6. С. 125-134.
4. Нестеров С.А. Анализ статистики выполнения тестовых заданий в среде дистанционного обучения MOODLE // Современные информационные технологии и ИТ-образование. № 4. С. 62-67.
5. Нестеров С.А., Сметанина М.В. Оценка качества тестовых заданий средствами среды дистанционного обучения MOODLE // Научно-технические ведомости Санкт- Петербургского государственного политехнического университета. Информатика. Телекоммуникации. Управление. 2013. № 5. С. 87-92.
6. Протасова И.В., Толстобров А.П., Коржик И.А. Методика анализа и повышения качества тестов в системе электронного обучения MOODLE // Информационная среда вуза XXI века: сб. тр. VII Международной науч.-практ. конф. Петрозаводск: Петрозаводский государственный университет, 2013. С. 191-194.
7. Муханова А.А., Муханов С.А. Технология проектирования и оценки тестов в СДО MOODLE // Сборник научных трудов SWorld. Иваново: Научный мир, 2013. С. 27-35.
8. Аббакумов Д.Ф., Лебедева М.Ю. Лексико-грамматический распределительный тест по РКИ: опыт создания, апробации психометрического анализа // Русский язык за рубежом. 2016. № 5. С. 73-78.
9. Разработка и внедрение методики и инструментария психометрической аналитики онлайн-курсов. ТОЬ https://docplayer.ru/73374892- Razrabotka-i-vnedrenie-onlayn-kursov.html
10. Купцов А. Специализация «Машинное обучение и анализ данных». URL: https://docviewer.yandex.ru/АлександрКупцов_Специализация «Машинное обучение и анализ данных» Яндекс и МФТИ.pd?forcedownbad=1
11. Патаракин Е.Д. Совместная сетевая деятельность и поддерживающая её аналитика // Высшее образование в России. 2015. № 5. С. 145-154.
12. Абрамова О.В. Использование облачных технологий для организации контроля учебной деятельности // Высшее образование в России. 2015. № 7. С. 155-159.
13. Система мониторинга контента и активности пользователей в LMSMOODLE. URL: https:// ido.tsu.ru/product/
14. Оценка качества онлайн-курсов. URL: http:// neorusedu.ru/activity/otsenka-kachestva- onlayn-kursov
15. Стародубцев В.А., Ряшенцев И.В. Элементы геймификации в LMSMOODLE// Международный научно-исследовательский журнал. № 7 (61). Ч. 1. С. 98-102.
16. Шиков А.Н., Баканова А.П., Логинов К.В., Окулов С.А., Чунаев А.В. Применение игровых механик в системах корпоративного обучения с использованием модели смешанного обучения // Информатика и образование. № 5. C. 44-48.
17. Web Accessibility Checker. URL: https:// achecker.ca/checker/index.php
18. Монахов В.М. Разработка прогностической модели развития теории обучения для IT- образования // Современные информационные технологии и ИТ-образование. 2017. Т. 13. №2. С. 111-121. DOI: https://doi.org/10.25559/ SITITO.2017.2.238
19. Distant Technologies as Cost Effective Way of Teaching / L.V. Vorobyova et al. // The European Proceedings of Social &Behavioural Sciences (EpSBS). 2017. Vol. 26: Responsible Research and Innovation (RRI 2016). P. 1002-1008. URL: dx.doi.org-10.15405-epsbs.2017.07.02.129.pdf
References
1. Shah D. MOOC Trends in 2016: College Credit, Credentials, and Degrees. URL: https://www.class-central.com/report/mooc-trends-credit-credentials-degrees/
2. Bogolepova S. V., Malkova N. V. Using the potential of modern learning management systems in higher education // Higher education in Russia. 2017. No. 5. pp. 105-112.
3.Grechushkina N. V. Online course: definition and classification // Higher education in Russia. 2018. Vol. 27. no. 6. pp. 125-134.
4. Nesterov S. A. Analysis of test task performance statistics in the MOODLE distance learning environment // Modern information technologies and IT education. No. 4. pp. 62-67.
5. Nesterov S. A., Smetanina M. V. Evaluation of the quality of test tasks by means of the MOODLE distance learning environment // Scientific and Technical Bulletin of the St. Petersburg State Polytechnic University. Computer science. Telecommunications. Management. 2013. No. 5. pp. 87-92.
6. Protasova I. V., Tolstobrov A. P., Korzhik I. A. Metodika analiza i povysheniya kachestva testov v sisteme elektronnogo obucheniya MOODLE [Methods of analysis and improvement of the quality of tests in the MOODLE e-learning system]. Petrozavodsk: Petrozavodsk State University, 2013. pp. 191-194.
7. Mukhanova A. A., Mukhanov S. A. Technology of designing and evaluating tests in SDO MOODLE / / Sbornik nauchnykh trudov SWorld. Ivanovo: Nauchny Mir, 2013. pp. 27-35.
8. Abbakumov D. F., Lebedeva M. Yu. Lexico-grammatical distributive test for RCTs: experience of creation, approbation of psychometric analysis. Russian language abroad. 2016. No. 5. pp. 73-78.
9. Development and implementation of methods and tools for psychometric analysis of online courses. TOI https://docplayer.ru/73374892 - Razrabotka-i-vnedrenie-onlayn-kursov.html
10. Kuptsov A. Specialization "Machine learning and data analysis". URL: https://docviewer.yandex.ru/АлександрКупцов_Специализация "Machine Learning and Data Analysis" by Yandex and MIPT. pd?forcedownbad=1
11. Patarakin E. D. Joint network activity and supporting analytics // Higher education in Russia. 2015. No. 5. pp. 145-154.
12. Abramova O. V. The use of cloud technologies for the organization of control of educational activities // Higher education in Russia. 2015. No. 7. pp. 155-159.
13. System for monitoring content and user activity in LMSMOODLE. URL: https:// ido.tsu.ru/product/
14. Assessment of the quality of online courses. URL: http:// neorusedu.ru/activity/otsenka-kachestva-onlayn-kursov
15. Starodubtsev V. A., Ryashentsev I. V. Elements of gamification in LMSMOODLE// International Research Journal. No. 7 (61). Ch. 1. p. 98-102.
16. Shikov A. N., Bakanova A. P., Loginov K. V., Okulov S. A., Chunaev A.V. Application of game mechanics in corporate training systems using a mixed learning model / / Informatika i obrazovanie. № 5. C. 44-48.
17. Web Accessibility Checker. URL: https:// achecker.ca/checker/index.php
18. Monakhov V. M. Development of a predictive model for the development of the theory of learning for IT education // Modern information technologies and IT education. 2017. Vol. 13. no. 2. pp. 111-121. DOI: https://doi.org/10.25559 / SITITO.2017. 2. 238
19. Distant Technologies as Cost Effective Way of Teaching / L. V. Vorobyova et al. / / The European Proceedings of Social &Behavioral Sciences (EpSBS). 2017. Vol. 26: Responsible Research and Innovation (RRI 2016). P. 1002-1008. URL: dx.doi.org-10.15405-epsbs.2017.07.02.129.pdf