Статья: Машинное обучение модели информационной рекомендательной системы по вопросам индивидуализации образования

Первая часть опроса служит для создания переменных, которые с одной стороны важны для построения прогноза, с другой стороны являются теми целевыми переменными, которые должны быть предсказаны системой для каждого отдельного пользователя. Первый вопрос ставит своей целью узнать дальнейшее направление обучения респондента. Полученные из него переменные являются целевыми для системы в целом. Второй и третий вопросы являются более узкими и предлагают составить свой список предметов, которые респондент хотел бы проходить на базовом или продвинутом уровне. Оба эти списка преобразуются в бинарные категориальные переменные для последующего анализа [2]. Вторая часть опроса служит для того, чтобы узнать какие оценки были у респондента по предметам в школе. Ответы варьируются от неудовлетворительных оценок до отличных. Список предметов (алгебра, геометрия, русский, литература, история, иностранный язык, физика, химия, география, обществознание, биология, информатика) соответствует тому, какие предметы предлагаются для изучения в системе онлайн на базовом и продвинутом уровне. Третья часть опроса создана для того, чтобы ознакомиться с внеучебными и олимпиадными успехами респондента. Здесь список предметов несколько меняется: алгебра и геометрия объединены в математику. В качестве внеучебной деятельности предполагаются участие в спортивных и общественных мероприятиях, включая волонтерскую деятельность, и др.

Полученный массив данных перерабатывается компьютерной программой в формат, который подходит для построения математических моделей. В рамках исследования такая программа была реализована на языке Python с использованием библиотек для анализа данных pandas и random и программной среды Jupyter Notebook. В реализованной программе стоит отметить два важных момента. Во-первых, ответы пользователей представлены категориальными бинарными переменными, что позволяет использовать их для создания прогнозов. Во-вторых, ответы пользователей по вопросам успеваемости представлены как числовые переменные, примерно равные ожидаемому среднему баллу по предмету. Так, в случае, если респондент отвечал на вопрос об оценке "только пятерки", программа переводит этот ответ в случайное значение от 4,7 до 5,0. Это сделано для большей схожести с теми данными, которые могут собираться в автоматическом режиме. Всего экспериментальный массив данных содержит ответы 252 респондентов, каждому из них соответствует 96 категориальных и численных переменных, которые могут использоваться для составления предсказаний.

Рассмотрим набор данных при помощи стандартных статистических показателей. Перед тем, как перейти к описанию самих переменных, проведем анализ как респонденты отвечали на вопрос "какова основная причина, из-за которой они выбрали бы онлайн курсы вместо обычных школьных". Лишь 16 % опрошенных посчитали, что они не стали бы учиться в системе онлайн. Около 40 % респондентов связали желание учиться в онлайн системе с недостаточным качеством преподавания и/или необходимостью расширения возможностей для подготовки к ЕГЭ. Больше 30 % респондентов говорят о том, что система онлайн позволила бы им оставить больше свободного времени, которое они могли бы направить на другую деятельность. 10 % респондентов говорят о том, что для них наиболее важной является возможность изменить свой распорядок дня.

Теперь перейдем к описанию того, какими получились значения численных и категориальных переменных. Первой группой таких переменных являются оценки. Все средние значения находятся в диапазоне от 4 до 4,7 баллов. Судя по данной выборке наилучшие оценки школьники получают по литературе, иностранному и русскому языкам (около 4,6 баллов); наихудшие по химии и физике (около 4,15 баллов) и алгебре и геометрии (4,27 балла). Стоит заметить, что этим предметам соответствует и наибольшая дисперсия, что может свидетельствовать о том, что в отличии от других эти предметы либо по разному преподаются в разных школах, либо наиболее по разному даются учащимся. Далее переходим к первому типу категориальных переменных - поступление в вузы. Больше всего (36 %) опрошенных выбрали гуманитарные направления (специальности), на втором месте экономические (29 %), меньше всего респондентов выбрали педагогические, медицинские и естественнонаучные (около 8 % каждый) направления подготовки. Все предметы, доступные для выбора, можно было выбрать как в базовом, так и в продвинутом варианте. Среди базовых предметов наиболее популярными оказались география (44 %), информатика (38 %), история (31 %), биология, химия и физика (около 27 %). Наименее популярными базовыми предметами оказались русский и иностранный языки (около 10 %). Предметы продвинутого уровня изучения распределились следующим образом: на первом месте иностранный язык (46 %), на втором месте алгебра (28 %); меньше всего у географии (7 %), биологии и химии (по 10 %); остальные предметы находятся в районе 15-20 %. Изучением предметов на базовом уровне среди опрошенных хотят заниматься несколько чаще, чем на продвинутом уровне (83 % против 78 %). Следует заметить, что среди опрошенных очень высокий процент учащихся, которые принимали участие в олимпиадах, в том числе, 12 % участвовали в финальном этапе Всероссийской школьной олимпиады. Наиболее популярными являются олимпиады по иностранному языку, русскому, математике, литературе и обществознанию. 17 % респондентов занимались волонтерской деятельностью, 43 % спортом, 64 % - общественной деятельностью. Анализ полученных данных был проведен с применением дополнительных библиотек skleam, numpy, math и scipy.

На основе подготовленного массива данных были применены и протестированы следующие модели рекомендательной системы:

— логистическая регрессия [11];

— мультиномиальная и многомерная модели на основе наивного байесовского классификатора (Naпve Bayes) [10];

— регрессия типа Лассо или L1-регуляризация (для оценки значимости переменных) [12].

Из них для дальнейшего использования были выбраны логистическая регрессия, мультиномиальная и многомерная модели (Бернулевский Naпve Bayes). Во-первых, все три эти модели показали себя практически одинаково эффективными при подсчете очков (функция AUC-score на языке Python). Во-вторых они подходят для дальнейших предсказаний, так как обладают возможностью показывать не только предсказание, но и его вероятность.

Полученная система должна была выдать k предсказаний для пользователя. Попытка выдать предсказание считалась успешной, если среди этих предсказаний было хотя бы одно верное. Данный результат сравнивался с тем, как при данном k вела себя случайная модель. Для оценки предсказаний доверительный интервал был построен с p-value=0.001. Результаты проверки моделей представлены в таблице 2.

Таблица 2 - Оценка предсказания предпочтений учащегося по выбору курсов для онлайн обучения

Как можно видеть из данной таблицы все три исследуемые модели постоянно находятся выше доверительного интервала случайной модели, что свидетельствует о том, что все они являются значимыми с достаточно большой вероятностью. При этом и другие показатели моделей говорят о том, что они могут быть использованы для создания рекомендательной системы. Так в среднем при к=5 более чем 2,5 прогноза являются точными, что позволяет утверждать, что пользователь с достаточно высокой вероятностью может воспользоваться системой для получения рекомендаций.

Другая рекомендательная модель была построена для выявления того на какую специальность человек поступил или хотел бы поступить в дальнейшем. Для нее доверительный интервал был построен с р-уа 1ие=0.01. Так как всего предполагалось 7 вариантов ответа на данный вопрос, были протестированы только первые четыре варианта модели (от одного до четырех лучших). Результаты проведенного исследования показаны в таблице 3.

Таблица 3 - Оценка предсказания предпочтений учащегося по выбору будущей специальности

Стоит отметить, что, несмотря на то, что модель является статистически значимой при выбранном р-уа 1ие, она показала себя несколько хуже, чем первая, построенная для предсказания выбираемых предметов для онлайн обучения. Это может быть связано с тем, что из-за особенностей опроса в одни группы было объединено слишком большое количество специальностей, которые достаточно сильно различаются. Однако, несмотря на это рекомендательная система все же имеет возможность выводить в списке первых трех рекомендаций верные направления для около 80 % учащихся.

Также был проведен анализ важности показателей для модели. Для этого была создана регрессия типа Лассо, которая выгодна тем, что обнуляет наименее важные для предсказания коэффициенты. Важно отметить, что сравнивать здесь имеет смысл категориальные переменные отдельно от численных из-за разницы в "шкале измерений". Необходимо отметить, что для более точного анализа стоит рассматривать модель для каждого предмета по отдельности. Например, на продвинутую алгебру идут люди, которые:

— также идут на продвинутую геометрию, иностранный язык, обществознание и физику;

— также идут на базовые химию и физику, но не идут на базовые обществознание и геометрию;

— не участвовали в олимпиадах, в первую очередь по русскому и литературе;

— имеют более высокие оценки по геометрии и физике, более низкие по информатике.

В целом для развития подобной модели важным является получить больше данных для обучения, однако даже на таком уровне можно заметить, что выбор предметов зависит от оценок, выбора других предметов и олимпиад.

Заключение

Исследование подтвердило выдвинутую гипотезу о возможности создания рекомендательной системы по вопросам индивидуализации образования с использованием данных об успеваемости и внеучебной деятельности обучающихся. На примере результатов обработки экспериментального массива данных демонстрируется достигнутая точность формируемых системой рекомендаций с применением разных методов обучения модели и для разных видов запросов пользователей. Следует заметить, что данное исследование обладает рядом ограничений, которые могут быть решены автоматическим сбором данных. Это позволит, с одной стороны, улучшить качество получаемых данных, с другой, увеличить количество людей, по данным которых можно построить модель. Из-за ограниченности массива данных (только 250 примеров) не было возможности четко оценить границы классов в моделях "один против остальных" из-за опасности переобучения модели. Несмотря на это достаточно важным является именно подтверждение выбранной гипотезы, которое говорит о целесообразности проведения дополнительных исследований и создании рекомендательных систем для улучшения и персонализации образования. Реализация наилучшей модели рекомендательной системы позволит автоматически создавать эталонный цифровой портрет обучающегося, который намерен работать с той или иной сферой знаний, а также учитывать профессиональные и личностные запросы конкретного обучающегося при формировании индивидуальной образовательной траектории.

Список литературы

1. Белоножко, П.П. Анализ образовательных данных: направления и перспективы применения / П.П. Белоножко, А.П. Карпенко, Д.А. Храмов // Интернет-журнал "Науковедение". - Том 9. - № 4 (2017) [Электронный ресурс]. Режим доступа: http://naukovedenie.ru/PDF/15TVN417.pdf (дата обращения: 10.04.2019).

2. Боровиков В.П. STATISTICA: искусство анализа данных на компьютере. (Для профессионалов). - СПб.: Питер, 2001.

3. Гладкая, Е.С. Технологии тьюторского сопровождения [Текст]: учебное пособие / Е.С. Гладкая,

1. И. Тюмасева. - Челябинск: Изд-во Юж.-Урал. гос. гуман.-пед. ун-та, 2017. - 93 с.

2. Гомзин, А.Г. Системы рекомендаций: обзор современных подходов / А.Г. Гомзин, А.В. Коршунов // Труды Института системного программирования РАН. - 2012. - Т 22.

3. Решетова Д.Г., Максимов Ю.В. Сложность многоклассового классификатора один-против-всех // Труды МФТИ.Г- 2015. - Том 7. - № 4. - С. 59-65.

4. Accessing online learning material: Quantitative behavior patterns and their effects on motivation and learning performance / Li, Liang-Yi; Tsai, Chin-Chung // Computers & Education. - 2017. - Volume. 114.

5. A Method of Unstructured Information Process in Computer Teaching Evaluation System Based on Data Mining Technology / Quan Liu; Yongjun Peng // 2013 International Conference on Communication Systems and Network Technologies (CSNT), Gwalior, India, 2013.

6. Classication and prediction based data mining algorithms to predict slow learners in education sector / P. Kaur; M. Singh; G. S. Josan // Procedia Computer Science. - 2015. - Volume. 57. - P. 500-508.

7. Developing early warning systems to predict students' online learning performance / Ya-Han Hu; Chia-Lun Lo; Sheng-Pao Shih // Computers in Human Behavior. - 2014. - Volume 36. - P. 469-480.

8. Domingos, Pedro & Michael Pazzani (1997) "On the optimality of the simple Bayesian classifier under zero-one loss". Machine Learning, 29:103-137.

9. Hastie T., Tibshirani R., Friedman J. The Elements of Statistical Learning. Springer, 2001. 533 p.

10. Tibshirani R. Regression shrinkage and Selection via the Lasso //Journal of the Royal Statistical Society. Series B (Metodological). - 1996. - Vol. 32. - № 1. - P. 267-288.

References

1. Belonozhko, P.P. Analiz obrazovatel'nyh dannyh: napravleniya i perspektivy primeneniya / P.P. Belonozhko, A.P. Karpenko, D.A. Hramov // Internet-zhurnal "Naukovedenie". - Tom 9. - № 4 (2017). - URL: http:// naukovedenie.ru/PDF/15TVN417.pdf (data obrashcheniya: 10.04.2019).

2. Borovikov VP. STATISTICA: iskusstvo analiza dannyh na komp'yutere. (Dlya professionalov). - SPb.: Piter, 2001.

3. Gladkaya, E.S. Tekhnologii t'torskogo soprovozhdeniya [Tekst]: uchebnoe posobie / E.S. Gladkaya, Z.I. Tyumaseva. - Chelyabinsk: Izd-vo Yuzh.-Ural. gos. guman.-ped. un-ta, 2017. - 93 s.

4. Gomzin, A.G. Sistemy rekomendacij: obzor sovremennyh podhodov / A.G. Gomzin, A.V. Korshunov // Trudy Instituta sistemnogo programmirovaniya RAN. - 2012. - T. 22.

5. Reshetova D.G., Maksimov Yu.V. Slozhnost' mnogoklassovogo klassifikatora odin-protiv-vsekh // Trudy MFTI.2015. - Tom 7. - № 4. - S. 59-65.

6. Accessing online learning material: Quantitative behavior patterns and their effects on motivation and learning performance / Li, Liang-Yi; Tsai, Chin-Chung // Computers & Education. - 2017. - Volume. 114.

7. A Method of Unstructured Information Process in Computer Teaching Evaluation System Based on Data Mining Technology / Quan Liu; Yongjun Peng // 2013 International Conference on Communication Systems and Network Technologies (CSNT), Gwalior, India, 2013.

8. Classication and prediction based data mining algorithms to predict slow learners in education sector / P. Kaur; M. Singh; G.S. Josan // Procedia Computer Science. - 2015. - Volume. 57. - P. 500-508.