Если при приведении количественных характеристик объектов к относительному виду, их бульшие числовые значения будут давать бульшие оценки, то нормирование числовых значений данных характеристик производится по формуле
(3)
свёртка мониторинг качество образовательный
где MAXi= исходная числовая характеристика объекта, j=1…J, i=1,…M. J - количество объектов, I - количество квалиметрических характеристик, М - общее количество квалиметрических и числовых (количественных) характеристик.
Отдельные показатели качества нулевого уровня Q(0) представляют собой набор векторов квалиметрических (нормированных и агрегированных) и количественных (нормированных) оценок
(4)
по каждому j-му объекту, определяемых по формулам (1)-(3). Набор показателей по всем J объектам, обозначим
Сводные показатели каждого уровня иерархии показателей качества формируются из показателей предыдущего уровня, используемых, таким образом, как отдельные показатели, объединяемые во взвешенные суммы. Для первого уровня сводный показатель примет вид аддитивной свертки значений характеристик (исходных показателей) нулевого уровня, включенных в i-й показатель 1-го уровня, где r{1…m(0)}; i=1… m(1); m(0)- количество характеристик (исходных показателей) нулевого уровня, m(1) - количество показателей 1-го уровня.
В свою очередь сводные показатели первого уровня являются исходными для сводного показателя второго уровня и т.д. Процесс последовательного формирования иерархии показателей заканчивается построением единого сводного показателя, объединяющего информацию обо всех показателях качества, входящих в иерархию (показателей уровня t-1, включенных в s-й сводный показатель уровня t).
На основе разработанной конкретной методики оценки качества компонентов образовательного процесса, представляющей собой описанную выше модификацию стандартного метода рандомизированных сводных показателей, формируется компьютерная программа оценивания качества конкретных компонентов образовательного процесса. При этом используются возможности оболочки системы поддержки принятия решений (ОСППР) АСПИД-3W.
Для демонстрации данного подхода в качестве исследуемого компонента образовательного процесса были выбраны магистерские программы (МП) и для них разработана частная методика, завершившаяся созданием локальной системы качества «Автоматизированной подсистемы оценивания и управления качеством магистерских программ. Аналогично могут быть построены частные методики для оценки качества других компонентов образовательного процесса.
Сравнение моделей оценки качества объектов учебного процесса основанных на методе рандомизированных сводных показателей и табличных (матричных) моделей, позволило сделать вывод о преимущественном использовании моделей, основанных на МРСП, по сравнению с матричными моделями, в виду меньшей трудозатратности первых. На основании Модели оценки качества МП, которая построена на базе рандомизированного МСП, были получены оценки качества МП на факультетах СПбГУ социологии, психологии и экономическом.
Результаты оценки качества магистерских программ факультета социологии СПбГУ иллюстрируются следующими таблицей.
Таблица 1. Значения сводных оценок Q1(4) магистерских программ ф-та социологии СПбГУ
|
№п/п |
Названия магистерской программ |
Значения сводного показателя Q1(4) |
|||
|
Максимум |
Минимум |
Среднее |
|||
|
1. |
Европейские общества |
0,634 |
0,519 |
0,577 |
|
|
2. |
Социология политики и международные отношения |
0,625 |
0,467 |
0,546 |
|
|
3. |
Экономическая социология |
0,556 |
0,408 |
0,482 |
|
|
4. |
Социология коммуникации |
0,525 |
0,390 |
0,458 |
|
|
5. |
Социология социальных измен |
0,490 |
0,380 |
0,435 |
|
|
6. |
Гендерные исследования |
0,476 |
0,376 |
0,426 |
|
|
7. |
Современные соц. теории |
0,497 |
0,341 |
0,419 |
|
|
8. |
Глобальная социология |
0,453 |
0,358 |
0,405 |
|
|
9. |
Социология управления |
0,436 |
0,341 |
0,388 |
|
|
10. |
Современные методы и технологии |
0,414 |
0,295 |
0,355 |
|
|
11. |
Социология культуры |
0,412 |
0,291 |
0,351 |
|
|
12. |
История социологии |
0,360 |
0,254 |
0,307 |
|
|
13. |
Общественное здоровье |
0,370 |
0,233 |
0,304 |
Анализ диаграммы и таблиц значений интегрального сводного показателя качества МП Q1(4) (см. табл. 1) показывает, что с некоторой точностью можно выделить 3 группы МП примерно с одинаковыми значениями показателей качества:
1-ая группа: Европейские общества, Социология политики и международные отношения. 2-ая группа: Экономическая социология, Социология коммуникаций, Социология социальных изменений, Гендерные исследования, Современные социальные теории, Глобальная социология, Социология управления. 3-ая группа: Современные методы и технологии, Социология культуры, История социологии, Общественное здоровье.
Первые 5 МП из второй группы своими максимальными значениями показателя качества пересекаются с нижней границей показателей качества МП из первой группы, т.е. в пределах допустимых ошибок в группу лидеров может быть включено до 7 МП.
Заметим, что у тройки лидеров среди МП по интегральному сводному показателю Q1(4) стабильно высокие места (ранги) в отсортированных списках МП по квалиметрическим Q1(3) и числовым Q2(3) показателям, также как и у аутсайдеров - стабильно низкие (см. табл. 2).
Таблица 2. Ранжирование магистерских программ по сводным оценка качества
|
Название магистерской программы |
Ранг магистерской программы |
|||
|
Q1(4) |
Q1(3) |
Q2(3) |
||
|
Европейские общества |
1 |
2 |
1 |
|
|
Социология политики и МО |
2 |
3 |
2 |
|
|
Экономическая социология |
3 |
10… |
3… |
|
|
Гендерные исследования |
6… |
1… |
11… |
|
|
История социологии |
12 |
12 |
12 |
|
|
Общественное здоровье |
13 |
11 |
13 |
Вторая группа интегральных показателей состоит из МП, качество которых можно считать примерно одинаковым. Полученные числовые оценки отличаются друг от друга незначительно, в пределах полученных оценок точности.
В отдельных случаях лицо, принимающее решение (ЛПР), наряду с рейтингами оцениваемых объектов, должно иметь возможность получать информацию о значениях весовых коэффициентов исходных показателей и, при необходимости, корректировать их значения (роль ЛПР в данном случае может быть играть и коллегиальный орган, например, Ученый совет.). Реализацию такой возможности для иерархических систем рассмотрена во втором параграфе третьей главы. В этом же параграфе показана возможность использования ОСППР АСПИД-3W для оценки выпускников университета на основе предложенной рейтинговой системы оценки человеческого, интеллектуального капитала выпускников.
В диссертационной работе показано, что рейтинги обучающихся можно рассматривать как элементы системы внутреннего аудита качества образования. В частности, для рейтинговой системы оценки человеческого (интеллектуального) капитала, приобретаемого студентами (выпускниками) в процессе обучения в университете, иерархию показателей можно представить в виде графа (см. рис. 3).
22
Рис. 3. Иерархия сводных показателей рейтинговой системы оценки человеческого капитала выпускника вуза
Как видно из рис. 3, показатели 1-го уровня включают в себя исходные показатели (нулевого уровня), УЧЁБА: (текущая успеваемость, промежуточная успеваемость, итоговая аттестация), ЗДОРОВЬЕ: (здоровье), АКТИВНОСТЬ: (участие в НИРС, социальная активность, студенческая мобильность, дополнительное образование), ДОПОЛНИТЕЛЬНЫЕ КАЧЕСТВА: (уровень овладения иностранным языком, уровень самоорганизации, наличие водительских прав, степень владения компьютером). Для каждого показателя предлагается 2-х или 4-х балльная шкала оценивания. Данная рейтинговая система полностью подготовлена для её реализации с использованием оболочки АСПИД-3W.
В последнем параграфе разработана методика анализа сводных показателей качества для иерархических систем, иллюстрированная на конкретном примере. Суть проблемы здесь состоит в том, что известная ОСППР АСПИД-3W показывает значения исходных весовых коэффициентов только для одноуровневых систем. Вместе с тем достаточно часто у ЛПР, использующего иерархическую систему показателей, возникает естественное желание увидеть весь вектор весовых коэффициентов исходных показателей, (характеристик) предложенный моделью, рассматривая его как первичный, ориентировочный, позволяющий вносить в него коррективы, которые, по мнению ЛПР, более реально будут отражать стратегию оценки качеств объектов, в данном случае МП, в частности когда у ЛПР появляются сомнения в правильности назначенных моделью весовых коэффициентов или просто в силу человеческого любопытства, поскольку весовые коэффициенты оказывают сильное влияние на результат рейтинга.
Предлагаемый алгоритм анализа сводных показателей состоит в том, что после введения дополнительной ординальной информации с помощью функции программного модуля ОСППР АСПИД-3W «Весовые Коэффициенты», генерируются значения весовых коэффициентов сводных показателей всех уровней иерархии. Затем, путём перемножения полученных весовых коэффициентов, расположенных на каждой из веток графа показателей качества формируется вектор весовых коэффициентов исходных показателей качества.
Полученные весовые коэффициенты позволяют реализовать обратную связь между моделью и ЛПР путём внесения, при необходимости, коррективы в полученный набор весовых коэффициентов и увеличивают, тем самым, доверие ЛПР к используемой модели. Таким образом, методику анализа иерархической системы сводных показателей качества можно представить в виде следующей укрупнённой блок-схемы (см. рис. 4).
22
Рис. 4 Блок-схема анализа иерархической системы сводных показателей качества
В Заключении приводятся следующие основные результаты диссертационной работы, выносимые на защиту:
1. Разработана, исходя из представления учебного процесса как комплекса процедур изменения уровня «человеческого капитала» студентов, система моделей многокритериальной оценки качества различных компонентов учебного процесса в университете (уровня профессиональной подготовки студентов, эффективности работы отдельных подразделений, качества образовательных программ и т.д.).
2. Обоснована, учитывая неопределенность задания значимости отдельных характеристик учебного процесса, возможность применения метода рандомизированных сводных показателей (МРСП) для получения сводных оценок качества различных компонентов учебного процесса и самого учебного процесса в целом.
3. Разработана модель последовательного синтеза показателей качества компонентов образовательного процесса. На основе этой модели разработана конкретная методика, являющаяся модификацией известного метода рандомизированных сводных показателей (МРСП), отличающаяся от МРСП возможностью работать с иерархической системой характеристик и сводных показателей качества.
4. Разработана, на основе указанных в пункте 3 модели и методики, локальная система качества «Автоматизированная подсистема оценивания и управления качеством магистерских программ», которая позволяет использовать как числовые характеристики МП, так и нечисловую, неточную и неполную экспертную информацию о значимости различных оценок МП.
5. Апробированы разработанные в диссертации модель и методика построения сводных рандомизированных показателей качества на примерах оценки качества МП и других компонентов образовательного процесса в Санкт-Петербургском государственном университете с учётом существующей практики реализации процесса обучения и нормативных документов, регламентирующих эту практику.
6. Разработана, на основе конкретизации общеэкономической категории «человеческий капитал» в контексте проблем обучения специалиста в высшем учебном заведении (с использованием теории измерения потребительной ценности сложных экономических благ), технология адаптации метода рандомизированных сводных показателей (МРСП) для оценки уровня качества человеческого капитала обучающихся (выпускников вузов), приобретаемого ими в процессе обучения.