Статья: Год без экзамена в вузе: опыт Томского политехнического университета

Год без экзамена в вузе: опыт Томского политехнического университета

В.П. Арефьев,

В.Н. Задорожный,

В.Ф. Зальмеж,

А.А. Михальчук,

Н.М. Филипенко

Национальный исследовательский Томский политехнический университет, г. Томск, Россия

Аннотация

Рассмотрен статистический анализ результатов входного (ВТ) и рубежного (РТ) тестирования по математике в сравнении с аудиторными контрольными работами (КР) на выборке из 1 118 студентов-очников набора 2018 г. 6 школ Томского политехнического университета (ТПУ). С помощью Х 2-критерия Пирсона выявлено высокозначимое отличие результатов оценивания математических знаний от нормального распределения. В рамках непараметрического дисперсионного анализа выявлены переменная высокозначимая динамика результатов РТ и КР ТПУ и высокозначимое превышение результатов КР над РТ. Результаты ВТ, КР и РТ являются высокозначимо неоднородными по школам. Оценена значимость динамики для каждой школы. Обсуждаются особенности проведения процедуры тестирования математических дисциплин в ТПУ.

Ключевые слова: высшее инженерное образование, формы оценивания знаний, входное и рубежное тестирование, математические знания, дисперсионный анализ. тестирование математика студент

A YEAR WITHOUT AN EXAM IN THE UNIVERSITY: THE EXPERIENCE OF TOMSK POLYTECH

Arefiev V.P., Zadorozhnyi V.N., Salmezh V.F., Mikhalchuk A.A., Filipenko N.M.

National Research Tomsk Polytechnic University, Tomsk, Russia

For many years, there has been a discussion in Russian society about improving the education quality of students in higher educational institutions (signing the Bologna Declaration, introducing the Unified State Examination, transision to normative per capita financing). The National Research Tomsk Polytechnic University (TPU) has always been an active participant in all initiatives of reforming higher education. And recently, TPU canceled semester exams and introduced the independent current testing into the rating system instead of examinations.

Within the framework of the problem of improving the quality of education in universities we present a statistical analysis of results of the entrance (ET) and midterm (MT) testing in comparison with classroom tests (CT) for 1118 full-time students of the 2018 year admission from six Schools of Tomsk Polytechnic University (TPU). The statistical analysis was carried out in the package "Statistica". The Pearson %2-criterion was used for the normality test in order to verify comparison criteria for samples. The last ones were parametric criteria (the paired t-test for two independent or dependent samples and the F-test for the multiple comparison) and nonparametric criteria (the Mann-Whitney test for the paired comparison of independent samples, the Wilcoxon test for the paired comparison of dependent samples, and the Kruskal-Wallis and Friedman tests for the multiple comparison of independent and dependent samples respectively).

We have shown that the distribution of results of the mathematical knowledge assessment highly significantly differs from the normal distribution. The varying highly significant dynamics of the MT and the CT results has been found with the nonparametric variance analysis. The results of the ET, the CT, and the MT are shown to be highly heterogeneous among the Schools. For every School, the results of the CT highly significantly exceed the results of the MT. The criterion of the multiple comparison yields the stable leadership of the School of cybernetics and the stable lag of the School of power engineering. The significance of the dynamics has been estimated for every School.

Next, we discuss the specifics of the procedure for the maths testing in TPU, which have taken place in the last 15 years. The methodological fallacy, organizational failures, and negative abnormal consequences in the procedure of the testing are noted in our research. It is concluded that, in the procedure of the mathematical knowledge assessment, the testing has very limited capabilities and plays only a supporting role in the self-control and the self-study for CT and exams. We recommend a compromise option of the mathematical knowledge assessment - to use the CT, the individual home tasks, the testing, and necessarily the examinations.

Keywords: higher engineering education, forms of knowledge assessment, entrance (ET) and midterm (MT) testing, mathematical knowledge, ANOVA.

Введение

Одной из актуальных проблем современного инженерного образования в условиях реформирования высшей школы является проблема качества образования и оценивания качества обучения в вузах [1--2]. В работе [1] отмечено, что одними из результатов реформ стали фрагментация знаний, делающая проблематичным формирование критического и аналитического мышления, нескончаемый поток часто меняющихся образовательных стандартов и сомнительные по результатам внедрения в классический образовательный процесс инновационные технологии. В [3] оценивается качество современного российского математического образования в условиях реформы, включая переход на ЕГЭ. Резкое сокращение числа часов на математические дисциплины в вузе не способствует формированию у студентов ни предметных знаний, умений и навыков, ни компетенций. В работе [4] также обсуждается падение качества отечественного математического образования на всех его уровнях за последние 15 лет. В работе [5] представлен анализ экономических аспектов реформирования высшего образования и их влияния на учебный процесс. В [5--6] отмечается, что новый способ нормативно-подушевого финансирования университетов принципиально изменил значимость всех контрольных процедур, превратив их в простую формальность, и создал благоприятные условия для возникновения фальсеоинтеракций и имитаций как в учебном процессе, так и в преподавательской деятельности.

Проверенным средством итогового контроля учебно-познавательной деятельности является традиционно письменная форма экзамена, несмотря ни на какие новации в педагогическом пространстве высшей школы [7]. Но с учетом проблемы несанкционированного использования студентами современной цифровой техники при проведении рубежного контроля в [8] высказано мнение в пользу экзамена в устной форме. Точнее сказать, экзамен в письменной форме с устным собеседованием по написанной работе, тем более, если это касается междисциплинарного промежуточного аттестационного оценивания результатов обучения в инженерных вузах [9].

Особую актуальность приобретает вопрос создания независимой системы оценки качества всех этапов обучения, начиная с момента поступления в учебное заведение и до его окончания с использованием технологии компьютерного тестирования [10]. При этом потенциал тестирования оценивается неоднозначно, анализируются достоинства и недостатки компьютерного тестирования как вида педагогического контроля.

Обосновывается вывод о том, что оно должно применяться в комплексе с другими формами контроля знаний студентов [11]. В [12] отмечается, что не весь материал при изучении математики в вузе может быть объективно оценен путем учебного тестирования. Показано, что математические знания в большей степени проявляются при прямом диалоге ученика и преподавателя с использованием мела и доски. Опыт применения тестирования при изучении дисциплин базовой части профессионального цикла позволяет сделать вывод об эффективности тестирования в следующих вспомогательных ситуациях: для самоконтроля на учебном занятии и при самоподготовке к практическим занятиям, традиционным контрольным работам и экзаменам [13--14]. Интерес к компьютерному тестированию обусловлен еще и тем, что оно рассматривается не только как инструмент контроля и оценки уровня освоения компетенций, но и как метод управления образовательным процессом, как элемент цифровизации высшего образования в целом [15] и онлайн-образования в частности [16] с использованием дистанционных образовательных технологий, а в условиях коронавирусной эпидемии в связи с переходом на дистанционное образование. В [17] делается вывод о том, что последние "цифровые нововведения" являются разрушительными для психического здоровья и умственного развития детей и молодежи, содержится обращение к опыту советской школы как альтернативе современным проектам трансформирования образовательной системы. В работе [18] анализируются особенности проблематики цифровизации математического образования, предполагающей активное и многообразное взаимодействие субъектов образовательного процесса при приобретении ими новых знаний с использованием всех возможностей Web-технологий. Допускается изучение теоретических разделов математики в вузе с помощью онлайн-курсов, но указывается на необходимость обучения решению математических задач, особенно абстрактных, на аудиторных практических занятиях. Таким образом, при реализации проекта цифровизации образования необходима организация смешанной формы обучения.

Национальный исследовательский Томский политехнический университет (ТПУ) всегда был активным участником всех начинаний реформирования высшей школы. В 2018 г. в университете отменены семестровые экзамены на младших курсах, а промежуточная аттестация проставляется по итогам текущей, включающей независимое тестирование (приказы по ТПУ № 58-59 од от 25.07.2018).

Методология статистического анализа

В данной работе выполнен компьютерный статистический сравнительный анализ результатов различных форм контроля обучения по дисциплине "Математика (МАТЕМ)" как по ТПУ в целом, так и по 6 основным школам (институтам): кибернетики (ИК - ИШИТР), природных ресурсов (ИПР - ИШПР), энергетики (ЭНИН - ИШЭ), физики высоких технологий (ИФВТ - ИШНПТ), ядерных технологий (ФТИ - ИЯТШ), неразрушающего контроля (ИНК - ИШНКБ). В качестве форм контроля обучения использованы тестовые результаты ВТо, РТ, проведенных Центром обеспечения качества образования (ЦОКО) ТПУ, и семестровые результаты промежуточной аттестации согласно ведомостям дифференцированных зачетов (ДЗ) в 2018/19 учебном году, объединяющих результаты РТ и аудиторных контрольных работ (КР) по соответствующим темам. При этом задание ВТо (20 задач средней сложности типа группы "В" в билетах ЕГЭ) оценивалось по 20-, РТ - по 15-, а ДЗ - по 100-балльной шкале. Вместо семестрового экзамена по оценочной рейтинговой системе - два текущих теста РТ. К оценочным мероприятиям текущего контроля относятся два РТ (РТ 12, = РТ 1+РТ 2 в 1-м семестре и РТ 34, = РТ 3+РТ 4 во 2-м семестре по 30-балльной шкале) и серия КР (по 70-балльной шкале).

Числовые характеристики (параметрические и ранговые) ВТо, РТ 1-5, ДЗ 1-2 ТПУ набора 2018 учебного года по 5-балльной шкале

Все числовые результаты приведены к единой 5-балльной шкале (делением результата на соответствующий максимальный результат и умножением на пять). Все выборки приведены к ведомости ДЗ 1, содержащей списочный состав 1 118 студентов. В связи с этим студентам, не охваченным тестовыми оценочными мероприятиями текущего контроля (ВТо и РТ), присваивается нулевой результат. Созданная таким образом в MS Excel база данных использовалась далее в пакете Statistica для статистического анализа данных [19--20].

Для корректного применения критериев сравнения выборок предварительно проверяется гипотеза относительно нормального распределения с помощью х 2-критерия Пирсона.

Результаты

Рассматриваемые выборки имеют числовые характеристики, представленные в таблице.

Х 2-критерий Пирсона выявил высокозначимое (на уровне значимости p<0,0005) отличие выборок от нормального распределения (рис. 1).

Согласно рис. 1 результаты успеваемости ДЗ в разы выше РТ: в первом семестре число "неуд." ДЗ 1 (21 %) в "3 раза ниже по сравнению с РТ 12 (66 %), а число "хор." ДЗ 1 (34 %) в "5 раз выше по сравнению с РТ 12 (7 %); во втором семестре число "неуд." ДЗ 2 (27 %) в "2 раза ниже по сравнению с РТ 34 (51 %), а число "хор." ДЗ 2 (36 %) в "2 раза выше по сравнению с РТ 12 (17 %). В итоге на фоне ВТо результаты успеваемости ДЗ показывают положительную динамику (уменьшение числа "неуд." и увеличение числа "хор." и "отл."), а РТ - отрицательную (наоборот, увеличение числа "неуд." и уменьшение числа "хор." и "отл."). Следовательно, результаты успеваемости КР показывают еще более контрастно положительную динамику, чем ДЗ (РТ+КР). Настораживает аномальный скачок числа "отл." в РТ 5 (более чем на порядок).

По х 2-критерию Пирсона выявлены также высокозначимые отличия от нормального распределения последовательных разностей рассматриваемых выборок РТ, ДЗ и ВТо для ТПУ. Поэтому сравнение повторных испытаний (ВТо с ДЗ (или РТ)) проведено с использованием ранговых критериев. В результате уровень значимости переменной динамики МАТЕМ оценен как высокозначимый (p<0,0005) по критерию Фридмана (рис. 2).

Рис. 1. Составная гистограмма результатов ДЗ 1 ТПУ

Рис. 2. Сравнение ранговых числовых характеристик ВТо, РТ 1-5 и ДЗ 1-2 ТПУ 2018/19 учебного года

В случае ДЗ успеваемость по МАТЕМ сначала (в 1-м семестре) ДЗ 1 выросла высокозначимо по сравнению с ВТо, а затем (во 2-м семестре) ДЗ 2 снизилась высокозначимо (p?0,0004 < 0,0005) по сравнению с ДЗ 1, но осталась высокозначимо выше ВТо. Заметим, что если отдельные непараметрические характеристики ведут себя по-разному (во 2-м семестре медиана ДЗ 2 растет, а нижний квартиль убывает (см. рис. 2)), то следует оценить динамику среднего ранга, рассчитанную самим критерием Вилкоксона и добавленную в таблицу. В случае РТ, наоборот, успеваемость по МАТЕМ сначала (в 1-м семестре) РТ 12 снизилась высокозначимо по сравнению с ВТо, а затем (во 2-м семестре) РТ 34 выросла высокозначимо по сравнению с РТ 12, но осталась высокозначимо ниже ВТо. Заметим, что результаты РТ 5 статистически значимо (0,005< 0,050) превысили ВТо. Отметим также, что согласно критерию Манна-Уитни успеваемость по ДЗ высокозначимо выше, чем по РТ, как в 1-м, так и во 2-м семестрах.