Статья: Исследование компетентностной модели образовательной программы на основе интеллектуального анализа профессиональных требований рынка труда

Характер внутренней тематической целостности можно оценить косвенными способами. Например, можно попробовать провести укрупнение тематик, используя алгоритм кластеризации -- узел КЫ!МЕ: к-Меапв. Выбор количества кластеров в этом случае -- процесс эвристический. В табл. 5 представлены 2 варианта: 5 и 3 кластера. Таблицу можно анализировать ортогонально по двум направлениям.

При анализе по строкам можно обнаружить, что наиболее характерными являются темы 0, 1, 4, 5 и отчасти -- 9. Они контрастно соотносятся только с одним из кластеров. Причем в обоих вариантах кластеризации. Остальные хоть и имеют некоторые центры притяжения, тем не менее в некоторой степени уже разнесены по нескольким кластерам. Причем при изменении количества кластеров с 3 до 5 картина расслоения тем практически не меняется. Такая картина косвенно может характеризовать степень внутренней согласованности тем.

Таблица 5. Укрупненная кластеризация тем укрупненных трудовых функций

Table 5. Enlarged clustering of topics of enlarged labor functions

«Вертикальный» анализ по столбцам объясняет характер самих кластеров. Наименее четкими выглядят кластеры 3.2 и 5.4. Они включают в себя в той или иной мере все темы. При увеличении числа кластеров с трех до пяти, кластер 3.2 как раз первым подвергается наибольшему расслоению -- распадается на несколько кластеров. За счет выделения из него темы 0 образуется новый кластер 5.3, темы 7 -- новый кластер 5.2. При этом кластеры 5.4. и 5.5 по-прежнему сохраняют комплексный характер. Подвержены ли они дальнейшему расслоению, можно будет судить только в случае последующего увеличения степени дробления. Наоборот, взаимосоответствующие пары кластеров 3.1 -- 5.1 и 3.3 -- 5.5 имеют устойчивый характер и практически не меняют своей природы. Это можно трактовать как обнаружение достаточно характерного паттерна компетенций. Такой анализ может быть полезен для выявления обобщенных компетенций или трудовых функций. Изменяя количество кластеров, можно подобрать ситуацию, с достаточной полнотой характеризующую тематическое пространство компетенций.

Следующим восходящим этапом в аналитической процедуре выступает кроссклассификация документов. Тут исследовался вопрос степени близости профессиональных требований из двух различных групп документов, например, -- образовательных программ и профстандартов. Для проведения такого анализа документы преобразуются в векторную форму. Такая форма позволяет использовать широкий спектр алгоритмов машинного обучения: классификацию с помощью дерева решений, машины опорных векторов (БУМ) и к ближайших соседей, а также ряд других алгоритмов ИА. Применяя полученное на одном наборе документов дерево решений к другому набору документов, мы получаем некоторую кросс-матрицу соответствия. В табл. 6 представлены результаты использования дерева решений, обученного на выборке документов образовательных программ, к набору профстандартов.

Смысловая интерпретация полученных данных может выглядеть следующим образом. Все магистерские программы полностью соответствуют требованиям ПрфСт 24.009 (этот феномен далее не анализировался). Программа СЗИУ РАНХиГС лучше удовлетворяет требования ПрфСт 08.041 и ПрфСт 08.036. А программа МЭИ -- ПрфСт 40.034. Последние интерпретации вполне ожидаемы в силу специализации указанных вузов. Но при этом программа МЭИ демонстрирует и высокий уровень соответствия требованиям проектного менеджмента в области строительства и архитектуры.

Аналогично можно провести такую же кроссклассификацию требований между образовательными программами и руководящими материалами -- табл. 7.

Таблица 6 Кросс-классификация ООП и профстандартов (метод Decision Tree, обучающая выборка -- ООП, тестовая -- Профстандарты, значения нормализованы в части учета размера документов)

Table 6. Cross-classification of Core Education Program and professional standards (Decision Tree method, training sample -- Core Education Program, test -- Professional standards, values are normalized in terms of accounting for document size)

Таблица 7 Кросс-классификация стандартов/руководящих материалов и образовательных программ (Метод Decision Tree; обучающая выборка -- Стандарты и руководящие материалы, тестовая -- ОП, значения нормализованы в части учета размера документов)

Table 7. Cross-classification of standards/guidelines and educational programs (Decision Tree method; training set -- Standards and guidelines, test -- Education Program, values normalized in terms of accounting for document size)

Интерпретируя эти данные, видим, что, например, развиваемая в ОП РАНХиГС компетентностная модель в большей мере корреспондируется с требованиями IPMA ОСВ и COBHET Agile, а ОП РГУП в наибольшей мере соответствует требованиям IPMA ICB. Дальнейший анализ и интерпретация получаемых результатов предполагают исследование и объяснение получаемых в ходе машинного анализа артефактов, но уже экспертным образом.

Заключение

Полученные результаты показывают, что задействование современных аналитических инструментов, реализующих технологии ИА, при относительно небольших затратах позволяет вполне успешно решать ряд задач проектирования компе- тентностных моделей ОП. В частности, для первичного выявления элементов компетенций, систематизации естественной структуры профессиональной деятельности на большом массиве данных, получаемых непосредственно с рынка труда. Другим полезным направлением является перекрестное сравнение различных моделей компетенций между собой с выявлением близости и конкретных различий.

Интеллектуальный анализ может найти применение и для решения метазадач. Например, на массиве компетентностных моделей достаточно большого объема уже разработанных ОП можно выявить общую кластерную структуру покрываемой ими профессиональной деятельности. И понять, насколько пересекаются образовательные программы разных вузов. Такой анализ может быть полезен, например, при конкурентном анализе. Можно попытаться определить степень покрытия полями компетентностных моделей ОП, совокупного поля компетентностных моделей профстандартов. И выявить лакуны. И так далее. Становится доступным и непрерывный мониторинг поля компетенций, что дает основу для усовершенствования используемых моделей.

Вместе с тем следует отметить, что некоторые полученные промежуточные результаты демонстрируют наличие не до конца разрешенных вопросов. Они касаются как охвата постановки задач, так и используемого инструментария ИА и интерпретации получаемых результатов. Например, в исследовании не опробовались перспективные нейросетевые технологии.

Требуют проработки вопросы оценки адекватности и точности получаемых машинным способом моделей. Двигаясь по этому пути, можно приближать использование технологий ИА в проектировании компетентностных моделей к полностью автоматическому режиму. На сегодняшнем уровне развития эта технология не может исключить экспертную оценку, реализуемую человеком. Однако роль технологий машинного обучения и дейтамайнинг может быть весьма значительной и заключаться в существенном сокращении размерности анализируемых данных. Они могут избавить эксперта, например, от необходимости сбора, просмотра и первичной группировки огромного количества первичных описаний профессиональных требований. Такие технологии позволяют автоматически генерировать обозримое поле рабочих гипотез, касающихся содержания компетентностных моделей.

Есть еще один принципиальный момент. Сам компетентностный подход как определенный вид формализации, своеобразной «компетентностной рационализации», имеет свои ограничения и недостатки и не может рассматриваться как доминирующий для описания квалитетов подготовки и профессиональной деятельности. Мы не имеем права сбрасывать со счетов социальные, этико-эстетические аспекты природы человека. А они часто остаются в общем поле общественного дискурса -- реализуются «по умолчанию» и не попадают в сферу формального представления. Таким образом, они могут выпадать и из поля машинной аналитики. Следовательно, более высокие оценочные и прогностические суждения могут быть достигнуты только при совместном использовании ИА с экспертной оценкой, проводимой человеком. Такой синтез должен сохранить, наряду с выгодами привносимыми целенормативным подходом, роль в проектировании компетентностных моделей гуманистической составляющей культурогенетического подхода. Тем не менее применение ИА может способствовать формированию более полного изоморфизма между системой квалитетов образовательных программ и системой квалитетов профессиональной деятельности.

Литература

1. Белов С. Д., Зрелова Д. П., Зрелов П. В., Кореньков В. В. Обзор методов автоматической обработки текстов на естественном языке // Системный анализ в науке и образовании. 2020. № 3. С. 8-22.

2. Бородай А. Д. Профессиональные стандарты как фактор модернизации образовательных программ в рамках ФГОС 3++ // Сб. научн. трудов по материалам МНПК 2016-2020 гг.

«Образование 4.0: конкуренция, компетенции, коммуникации и креатив». М.: Российский государственный гуманитарный университет, 2020. С. 32-40.

3. Гаврилина Е. A., Захаров М. А. Количественная оценка метакомпетенций учащихся на основе методов машинного обучения // Наука и Образование. Электроный журнал. 2015. № 04. С. 228-253. DOI: 10.7463/0415.0764221.

4. Грушевский С. П., Добровольская Н. Ю. Кольцов Ю. В. Организация учебного процесса на основе нейросетевой компьютерной обучающей системы // Вестник Адыгейского государственного университета. Сер. 3: Педагогика и психология. 2008. № 7. С. 142-148.

5. Захарова И. Г. Методы машинного обучения для информационного обеспечения управления профессиональным развитием студентов // Образование и наука. 2018. Т. 20, № 9. С. 91-114. DOI: 10.17853/1994-5639-2018-9-91-114.

6. Минаев Д. В. Теоретические аспекты анализа образовательного товара и рынка профессионального образования. СПб.: СПбГИЭУ, 2003.

7. Пилипенко С. А., Жидков А. А., Караваева Е. В., Серова А. В. Сопряжение ФГОС и профессиональных стандартов: выявленные проблемы, возможные подходы, рекомендации по актуализации // Высшее образование в России. 2016. № 6 (202). С. 5-15