По окончании тестирования необходимо провести анализ результатов преподавателем с целью: исключить или усложнить вопросы, не раскрывающие уровень владения материалом; изменить формулировку вопросов, по которым не получено ни одного правильного ответа.
По итогам проведения тестирования можно сделать вывод о том, что его использование позволяет быстро и качественно оценить уровень знаний и навыков студентов по предмету и помогает выставить экзаменационную оценку студентам, показавшим высокую степень подготовленности по данному предмету.
Проверка знаний студентов в форме тестирования по усвоению теоретического материала в СДО Moodleпроводится после изучения конкретной темы или раздела дисциплины, для подготовки к которой студентам выдаются контрольные вопросы.
Баллы берутся из ФОС по дисциплине, а внутри каждого теста действует 100балльная оценка, которая пересчитывается при заполнении преподавателем окна оперативного контроля текущей успеваемости и посещаемости АРМа.
Каждый из предложенных тестов включает в себя различные типы вопросов:
• выбор альтернативы «Правильно» - «Неправильно»;
• вопросы с одним правильным ответом;
• вопросы со множественным выбором;
• определение соответствия;
• определение последовательности.
По итогам тестирования СДО Moodleпредоставляет преподавателям мощный инструментарий для анализа тестовых результатов:
1. Автоматически формирующийся «Журнал оценок», позволяющий контролировать процесс обучения.
2. Автоматически формирующаяся диаграмма распределения количества студентов по набранному количеству баллов в тесте.
При необходимости журнал оценок может быть экспортирован, например в MSExcel, с целью подведения итогов текущей аттестации.
3. «Отчет о деятельности» по каждому студенту, позволяющий ознакомиться со всеми действиями учащегося в рамках освоения дисциплины в системе Moodle.
4. «Анализ вопросов», позволяющий оценить качество каждого теста (вопроса) с точки зрения его вклада в процесс изучения дисциплины.
Преподаватель легко может оценить:
• насколько данное тестовое задание является легким/трудным для лиц, проходящих тестирование;
• насколько поставленный вопрос может быть тестовым (если все трестирующиеся отвечают одинаково - вопрос отбраковывается);
• уменьшает ли задание точность всей процедуры тестирования, то есть слабые испытуемые отвечают на данный вопрос лучше, чем сильные, следовательно, оно должно быть изменено.
• меру способности конкретного задания разделять хорошо и слабо подготовленных студентов и не допустить, чтобы плохо подготовленные не отвечали на данное задание в среднем лучше, чем хорошо подготовленные.
Тестирование было проведено для студентов направления 38.03.05 «Экономика» разных профилей. По каждому из проведенных тестов была построены гистограммы полученных студентами оценок. По результатам графического анализа журнала оценок можно отметить, что по каждой теме преобладает львиная доля оценок, составляющих менее 50% от общего количества баллов, отводимых на тест по конкретной теме. Всего по темам тестировалось от 200 до 220 студентов (рисунок 1).
Студенты из 40 возможных баллов, отведенных на оценку теоретических знаний по дисциплине, в среднем набирали 17,29 балла. Прежде всего, это свидетельствует как о низкой подготовке студентов к тестированию, так и о том, что возможной причиной низких результатов является некоторая некорректность составленных тестов.
Рис. 1. Визуализация оценок студентов, тестируемых в первый год использования СДОMoodleпо теме Модели временных рядов
В результате анализа качества разработанных тестов и результатов тестирования был выявлен ряд проблем и найдены способы их решения:
1. Пересекаемость (сходство) многих вопросов по темам «Множественная регрессионная модель» и «Некоторые аспекты регрессионных моделей», т.е. схожесть формулировки части вопросов тестов; для решения проблемы были откорректированы перечень и содержание вопросов по приведенным тестам.
2. Перегруженность тестов - большое количество вопросов в некоторых тестах не позволяет тестирующимся уложиться в установленное для теста время. В первый год использования Moodleбыло слишком много вопросов по теме «Множественная регрессионная модель», часть вопросов из этой темы была перемещена в тест «Некоторые аспекты регрессионных моделей», часть вопросов - изменена.
3. Некорректность вопросов - нечеткая формулировка, неоднозначные варианты ответов. С помощью инструментов Moodle«Анализ вопросов» и «Просмотр» были выявлены и откорректированы вопросы с близким к нулю среднеквадратическим отклонением, а также вопросы с отрицательными значениями индекса дифференциации коэффициента дифференциации.
4. Неточная оценка сложности вопросов. В первый год использования тестов не всегда удавалось корректно проставить количество баллов в соответствии со сложностью вопроса. «Анализ вопросов» позволил уточнить дифференциацию вопросов по сложности: более сложным вопросам был задан больший вес (балл), а более легким - меньший.
Решение перечисленных проблем в последующие годы использования системы Moodleпривело к изменению структуры тестов, уточнению вопросов и их оценки.
Распределение оценок студентов, тестируемых в последующие годы использования системы, после корректировки тестов стало ближе к нормальному; количество испытуемых, получивших «неудовлетворительную» отметку, значительно сократилось, основная доля результатов колеблется в интервале от 40 до 60%. Анализ качества вопросов выявил лишь пару вопросов с отрицательными значениями индексов и коэффициентов дифференциации. Это свидетельствует о более высоком качестве тестов и более совершенной подготовке студентов по данной дисциплине (рисунок 2).
Рис. 2. Гистограммы оценок студентов, тестируемых после корректировки тестов с использованием СДО Moodle
Тем не менее среднестатистический балл тестируемого студента из максимально возможных 40 составил лишь 20,08 балла.
Наряду с проблемами качества тестов можно также выделить проблемы, возникающие при использовании СДО Moodle:
1. Аварийное завершение тестирования из-за непредвиденных сбоев в сети, ошибок системы Moodleлибо по причине невнимательности студентов (случайное нажатие кнопки «Завершить тест») и т.д.
2. Низкая подготовка студентов к тестированию.
Для решения первой проблемы на каждый тест студенту во второй год использования системы Moodleотводилось две попытки, в то время как ранее - одна.
Вторая является проблемой более глубокого уровня, ее решение носит социальный характер. Частичное ее устранение возможно путем создания дистанционного курса «Эконометрика» в полном объеме, что, в свою очередь, позволит:
1. Освоить более глубоко теоретический материал. Это приводит, во-первых, к повышению качества лекционных и практических занятий, во-вторых, к лучшей подготовке студентов к тестированию, и, в-третьих, преподаватель сможет эффективнее воспользоваться временем занятий для обсуждения изученного материала, для опросов студентов и разъяснения наиболее сложных моментов с целью овладения ими соответствующими компетенциями [10]. Доступ к контрольному тестированию открывается студенту только при усвоении им лекционного материала не менее чем на 50%.
2. Создание нескольких итоговых тестов разного уровня сложности, позволяющих оценивать знания студентов, не посещавших занятия, и знания экзаменуемых.
Таким образом, СДО Moodle- удобный инструмент изучения дисциплин (возможность удаленного доступа к элементам курса в любое время суток вне зависимости от места нахождения, получения и изучения материалов по дисциплине).
Заключение
Функционирование ЭОС БГУ повлекло возрастание интенсивности деятельности преподавателя: ввод текущей успеваемости, промежуточных оценок (сессия), обеспеченность дисциплин (разработка и обновления рабочей программы и ФОС), увеличение затрат времени на индивидуальную работу со студентами. В течение десяти лет авторами велась работа по усовершенствованию методики преподавания, оценки знаний, умений и навыков студентов по дисциплине «Эконометрика», что привело к созданию уникального дистанционного курса с объемной базой тестов, индивидуальных и контрольных заданий.
Однако как бы совершенны ни были новые технологии [11], максимальный эффект усвоения дисциплины может быть достигнут только при эффективном комбинировании традиционных методов в сочетании с новыми возможностями электронной образовательной среды: система дистанционного обучения Moodle, возможность доступа к учебным методическим материалам личного портала студентов на сайте БГУ, подсистемы контроля текущей успеваемости (так называемый гибридный курс) [11; 12].
Еще раз можно подчеркнуть, что комбинированные формы обучения способствуют стимулированию регулярной работы студентов в течение семестра, исключают элемент случайности при получении промежуточной оценки, привносят «дух» соревновательности обучающихся, исключают субъективизм преподавателя, повышают заинтересованность в самостоятельной работе с учебно-методической литературой.
Данный подход позволит повысить уровень экономико-математической подготовки выпускника вуза и сформировать навыки эконометрического моделирования, повысить его адаптивность и конкурентоспособность.
Список литературы
1. Прахов И.А. Преподавание экономики:естьлиальтернативалекциям? // Вопросы образования. 2011. №1. С. 143-161.
2. Хитрова Т.И. Проблемы информационных инноваций // BaikalResearchJournal. 2012. № 1. С. 47-50.
3. Родионов А.В. Модификация рейтинговой параметрической модели оценки латентных факторов для измерения уровня сформированности компетенций // Известия Иркутской государственной экономической академии. 2014. № 6. С. 168-174. DOI: 10.17150 / 1993-3541.
4. Суходолов А.П. Научно-образовательный потенциал и стратегия развития байкальского университета (к 85-летию вуза) // Известия Байкальского государственного университета. 2015. №2. С. 187-195. DOI: 10.17150/1993-3541.
5. Архипова З.В. Современные информационно-телекоммуникационные системы как фактор повышения конкурентоспособности высших учебных заведений // Известия Иркутской государственной экономической академии. 2014. № 1. С. 126-130.
6. Матусевич Д.С., Изместьева О.В. Некоторые подходы к хранению информации о книгообеспеченности учебного процесса высшего учебного // Вестн. НГУ. Серия: Информационные технологии. 2018. Т. 16. № 3. С. 126-132. DOI: 10.25205/1818-7900-201816-3-126-132.
7. Гильмутдинов Р.З. Проблемы преподавания эконометрики в Российской высшей школе // Вестник БИСТ. 2014. Т. 22. № 1. С. 67-60.
8. Игнаткина Л.А., Перстенёва Н.П., Репина Е.Г. Особенности методики преподавания и оценки знаний студентов по дисциплине "Эконометрика" в Самарском государственном экономическом университете // Современные проблемы науки и образования. 2012. № 4. [Электронный ресурс]. URL: http://www.science-education.m/m/artide/view?id=6551(дата обращения: 12.03.2019).
9. Забудский Г.Г. О методике преподавания эконометрики // Методика преподавания математических и естественнонаучных дисциплин: современные проблемы и тенденции развития: материалы IIIВсероссийской научно-практической конференции (Омск, 16 марта 2016 г.). Омск: Омская юридическая академия. 2016. С. 40-44.
10. Братищенко В.В., Кешиков К.А. Модель с латентными параметрами для оценивания компетенций студентов по данным текущей успеваемости // Известия Байкальского государственного университета. 2016. Т. 26. № 5. С. 811-817. DOI: 10.17150/2500- 2759.2016.26(5).811-817.
11. Гуров В.Н., Гуров Д.В., Гурова Е.В. Высшее профессиональное образование: повышение качества подготовки студентов на основе смешанного (или гибридного) обучения // Педагогическая наука и педагогическое образование в классическом вузе: сборник научных трудов Международной научно-практической конференции (Уфа, 30 мая 2018 г.). Уфа: Башкирский государственный университет, 2018. С. 56-60.
12. Янг Дж.Р. «Гибридное» обучение положит конец спорам между сторонниками традиционного и онлайнового образования // Дистанционное и виртуальное обучение. 2002. № 10. С. 31-37.