В соответствующей анкете отражены 214 показателей деятельности вузов (122 показателя оценивают представительство самого вуза, 40 показателей для факультета, 46 показателей для оценки кафедр и 6 показателей для общей оценки сайта).
В исследованиях при выборе показателей из набора требований Минобрнауки, Рособрнадзора ориентировались на выборе наиболее значимых показателей деятельности вузов, влияющих на достижение целей вузов: подготовку квалификационных специалистов и ученых, производство научной продукции. Показатели, отражающие информацию о разработках, публикациях, консультационной деятельности, нормативно-правовой информации, дистанционном обучении, пакетах прикладных программ, базах данных названы первичными ИНОР.
ИР, отражающие требования Минобрнауки, Рособрнадзора, выбранные на основе экспертного опроса, в наибольшей степени влияющие на достижение целей вузов, названы вторичными информационными образовательными ресурсами. Показатели, отражающие информацию о консультационной деятельности, будут представлены в виде количества консультантов.
ИНОР в соответствии с современными тенденциями в области Интернет-технологий, когда провайдеры начинают предоставлять услуги по хранению контента сайтов в СУБД, могут храниться либо в виде каталога, либо в виде полноформатного представления (форма хранения ИР). С другой стороны, либо в виде неупорядоченного списка, либо в виде упорядоченного представления. Упорядоченное представление предполагает возможность навигации, например, на основе СУБД по тематической рубрикации ГРНТИ, по авторам, организациям, ключевым словам. Неупорядоченное и упорядоченное представление названы уровнем интеграции ИР.
Интегральный критерий оценки эффективности использования ИНОР конкретного образовательного учреждения определен как сумма взвешенных групп, общая сумма весов которых равна 1, следующих частных критериев: оценки видов представления ИНОР, оценки эффективности использования информационных ресурсов методами сайтометрии, оценки эффективности использования информационных ресурсов по состоянию электронной торговой площадки, оценки эффективности использования информационных ресурсов по состоянию электронной биржи труда.
Значение весов показателей критериев оценки эффективности использования информационных ресурсов определены на основе экспертных оценок, полученных путем анализа различных статей специалистов в области образования [8, 9, 10], методик расчета различных рейтингов образовательных учреждений, анкетирования преподавателей РГАУ-МСХА им. К.А. Тимирязева, а также применением соответствующих статистических методов.
При этом под эффективностью, с точки зрения методов исследования операций, понимается результативность в достижении цели. В нашем случае целями формирования ИНОР являются:
- доступность ИНОР для широкого круга пользователей (абитуриентов, студентов, преподавателей, служащих госорганов, товаропроизводителей, научных работников, управленцев, населения и др.);
- разнообразие форм и качества ИНОР;
- полнота, оперативность и достоверность получаемой информации;
- комфортность и простота получения информации;
- минимизация затрат на проектирование, разработку и сопровождение ИС.
Математическое описание методики
- код уровня интеграции первичных ИНОР, ;
- код формы хранения первичных ИНОР, ;
- код вида представления первичных ИНОР, ;
j - код частного критерия оценки эффективности, ;
m - номер образовательного учреждения, ;
s - код показателя критерия оценки сайта по состоянию электронной торговой площадки, ;
g - код показателя критерия оценки сайта по состоянию электронной биржи труда;
h - код показателя вторичных информационных образовательных ресурсов, ;
- частный критерий оценки эффективности использования информационного ресурса m-го образовательного учреждения по j-му показателю;
- интегральный критерий оценки эффективности использования информационного ресурса m-го образовательного учреждения;
- вес значения показателя уровня интеграции первичных ИНОР;
- вес значения показателя формы хранения первичных ИНОР;
- вес значения показателя n-го вида представления первичных ИНОР;
- вес значения критерия оценки эффективности использования информационного ресурса по j- му показателю;
- объем ИНОР i-го уровня интеграции, l-ой формы хранения, n-го вида представления на уровне m-го вуза;
- объем ИНОР i-го уровня интеграции, l-ой формы хранения, n-го вида представления на уровне f-го факультета m-го вуза;
- объем ИНОР i-го уровня интеграции, l-ой формы хранения, n-го вида представления на уровне k-й кафедры m-го вуза;
- значение критерия оценки ИНОР i-го уровня интеграции, l- ой формы хранения, n-го вида представления m-го вуза;
- объем r-го показателя оценки сайта методами сайтометрии в m-ом вузе, ;
- значение r-го показателя критерия оценки сайта методами сайтометрии в m-ом вузе;
=;
- вес значения r-го показателя критерия оценки сайта методами сайтометрии;
- значение s-го показателя критерия оценки сайта по состоянию электронной торговой площадки в m-ом вузе;
- вес значения s-го показателя критерия оценки сайта по состоянию электронной торговой площадки;
- значение g-го показателя критерия оценки сайта по состоянию электронной биржи труда в m-ом вузе;
- вес значения g-го показателя критерия оценки сайта по состоянию электронной биржи труда;
- объем h-го показателя оценки эффективности использования вторичных ИНОР в m-ом образовательном учреждении;
- значение h-го показателя критерия оценки эффективности использования вторичных ИНОР в m-ом образовательном учреждении;
=;
- вес значения h-го показателя критерия оценки эффективности использования вторичных ИНОР в m-ом образовательном учреждении.
Тогда:
= , где , ,
, , .
Подробное описание всех параметров методики можно найти в работе [5]. экономический образовательный информационный интернет
Исследования показали, что в целом полнота сайтов ещё очень далека от оптимальной, в среднем на сайтах присутствует чуть более половины (55,4%) всей необходимой информации. Полнота показателей, отражающих научно-исследовательскую деятельность, составляет всего 18,3%, что подтверждает предположение, что в требованиях, предъявляемых к сайтам вузов Минобрнауки, Рособрнадзором существует недооценка научной деятельности вузов.
Интегральные оценки (таблица 1) эффективности использования ИНОР (максимально возможная оценка согласно методике равно единице) даже лучших вузов не превышают 40% (Кубанский ГАУ - 39,15%, Орловский ГАУ - 38.23%, РГАУ-МСХА - 32.58%, Красноярский ГАУ - 30.89).
Таблица 1 Интегральные оценки (%) эффективности использования региональных ИНОР и рейтинги сельскохозяйственных вузов
|
Наименование вуза |
Оценка |
Рейтинг |
Наименование вуза |
Оценка |
Рейтинг |
|
|
Кубанский ГАУ |
39.15 |
1 |
Бурятская ГСХА |
22.58 |
28 |
|
|
Орловский ГАУ |
38.23 |
2 |
Алтайский ГАУ |
22.20 |
29 |
|
|
РГАУ-МСХА |
32.58 |
3 |
Ивановская ГСХА |
21.30 |
30 |
|
|
Красноярский ГАУ |
30.89 |
4 |
Курская ГСХА |
21.09 |
31 |
|
|
Новосибирский ГАУ |
30.44 |
5 |
Курганская ГСХА |
21.01 |
32 |
|
|
Кемеровский ГАУ |
30.34 |
6 |
ГУЗ |
20.84 |
33 |
|
|
Брянский ГАУ |
29.45 |
7 |
Ижевская ГСХА |
20.57 |
34 |
|
|
Белгородский ГАУ |
29.44 |
8 |
Приморская ГСХА |
20.39 |
35 |
|
|
Казанский ГАУ |
28.29 |
9 |
Самарская ГСХА |
19.75 |
36 |
|
|
Саратовский ГАУ |
27.49 |
10 |
Оренбургский ГАУ |
19.69 |
37 |
|
|
Московская ГАВМиБ |
26.41 |
11 |
Ярославская ГСХА |
19.69 |
38 |
|
|
Пензенская ГСХА |
26.30 |
12 |
Воронежский ГАУ |
19.04 |
39 |
|
|
Волгоградский ГАУ |
26.12 |
13 |
Рязанский ГАТУ |
19.03 |
40 |
|
|
Башкирский ГАУ |
25.66 |
14 |
Дальневосточный ГАУ |
18.95 |
41 |
|
|
Санкт-Петербургский ГАУ |
25.06 |
15 |
Иркутский ГАУ |
18.92 |
42 |
|
|
Вятский ГАУ |
24.63 |
16 |
Казанская ГАВМ |
18.80 |
43 |
|
|
Омский ГАУ |
24.59 |
17 |
Санкт-Петербургская ГАВМ |
18.50 |
44 |
|
|
Вологодская ГМХА |
24.39 |
18 |
Южно-Уральский ГАУ |
18.46 |
45 |
|
|
Донской ГАУ |
24.29 |
19 |
Кабардино-Балкарский ГАУ |
17.78 |
46 |
|
|
Мичуринский ГАУ |
24.22 |
20 |
Якутская ГСХА |
17.08 |
47 |
|
|
Ставропольский ГАУ |
24.21 |
21 |
Костромская ГСХА |
16.86 |
48 |
|
|
Уральский ГАУ |
23.83 |
22 |
ГАУ Северного Зауралья |
16.69 |
49 |
|
|
Великолукская ГСХА |
23.71 |
23 |
Горский ГАУ |
15.78 |
50 |
|
|
Нижегородская ГСХА |
23.36 |
24 |
Российский ГАЗУ |
15.49 |
51 |
|
|
Чувашская ГСХА |
23.29 |
25 |
Смоленская ГСХА |
15.33 |
52 |
|
|
Ульяновская ГСХА |
23.17 |
26 |
Дагестанский ГАУ |
12.68 |
53 |
|
|
Пермская ГСХА |
22.89 |
27 |
Тверская ГСХА |
5.62 |
54 |
Рассмотрим взаимосвязь рейтингов вузов с различными региональными рейтингами: социально-экономического развития, субсидирования регионов Минсельхозом, эффективности сельхозпроизводства в регионах, эффективности губернаторов регионов, развития науки в регионах (таблица 2).
Таблица 2 Региональные рейтинги и ссылки их в Интернете
|
№ п/п |
Название регионального рейтинга |
|
|
1 |
Рейтинг социально-экономического развития |
|
|
2 |
Рейтинг субсидирования регионов МСХ (2014 год) |
|
|
3 |
Рейтинг эффективности сельхозпроизводства в регионах |
|
|
4 |
Рейтинг эффективности губернаторов регионов |
|
|
5 |
Рейтинг развития науки в регионах |
Ниже данные рейтинги будут упоминаться по их номерам (от 1 до 5), рейтингам вузов в таблицах ниже присвоен номер 6. Сводная таблица региональных рейтингов приведена в таблице 3.
Таблица 3 Сводная таблица региональных рейтингов
|
№ п/п |
Регион |
Сельскохозяйственный вуз |
Рейтинг |
||||||
|
1 |
2 |
3 |
4 |
5 |
6 |
||||
|
1 |
Алтайский край |
Алтайский ГАУ |
28 |
6 |
10 |
39 |
29 |
25 |
|
|
2 |
Амурская область |
Дальневосточный ГАУ |
3 |
36 |
11 |
23 |
23 |
36 |
|
|
3 |
Белгородская область |
Белгородский ГАУ |
10 |
1 |
9 |
1 |
35 |
7 |
|
|
4 |
Брянская область |
Брянский ГАУ |
35 |
2 |
34 |
17 |
36 |
6 |
|
|
5 |
Волгоградская область |
Волгоградский ГАУ |
40 |
20 |
27 |
5 |
26 |
10 |
|
|
6 |
Вологодская область |
Вологодская ГМХА |
42 |
40 |
38 |
27 |
41 |
14 |
|
|
7 |
Воронежская область |
Воронежский ГАУ |
22 |
4 |
5 |
7 |
10 |
34 |
|
|
8 |
Ивановская область |
Ивановская ГСХА |
26 |
44 |
41 |
18 |
32 |
26 |
|
|
9 |
Иркутская область |
Иркутский ГАУ |
14 |
33 |
33 |
42,5 |
20 |
37 |
|
|
10 |
Кабардино-Балкарская Республика |
Кабардино-Балкарский ГАУ |
33 |
30 |
31 |
30,5 |
31 |
39 |
|
|
11 |
Кемеровская область |
Кемеровский ГАУ |
1 |
38 |
7 |
3 |
42 |
5 |
|
|
12 |
Кировская область |
Вятский ГАУ |
46 |
25 |
24 |
36,5 |
27 |
12 |
|
|
13 |
Костромская область |
Костромская ГСХА |
36 |
46 |
44 |
24 |
46 |
41 |
|
|
14 |
Краснодарский край |
Кубанский ГАУ |
38 |
3 |
4 |
4 |
30 |
1 |
|
|
15 |
Красноярский край |
Красноярский ГАУ |
13 |
24 |
3 |
36,5 |
2 |
3 |
|
|
16 |
Курганская область |
Курганская ГСХА |
41 |
34 |
19 |
39 |
38 |
28 |
|
|
17 |
Курская область |
Курская ГСХА |
29 |
5 |
22 |
30,5 |
9 |
27 |
|
|
18 |
Нижегородская область |
Нижегородская ГСХА |
17 |
26 |
14 |
20 |
1 |
20 |
|
|
19 |
Новосибирская область |
Новосибирский ГАУ |
45 |
13 |
6 |
30,5 |
13 |
4 |
|
|
20 |
Омская область |
Омский ГАУ |
19 |
15 |
21 |
39 |
18 |
13 |
|
|
21 |
Оренбургская область |
Оренбургский ГАУ |
44 |
16 |
23 |
12 |
33 |
32 |
|
|
22 |
Орловская область |
Орловский ГАУ |
8 |
17 |
36 |
33 |
40 |
2 |
|
|
23 |
Пензенская область |
Пензенская ГСХА |
7 |
18 |
30 |
25,5 |
8 |
9 |
|
|
24 |
Пермский край |
Пермская ГСХА |
43 |
32 |
20 |
44,5 |
3 |
23 |
|
|
25 |
Приморский край |
Приморская ГСХА |
21 |
41 |
35 |
10 |
17 |
30 |
|
|
26 |
Псковская область |
Великолукская ГСХА |
27 |
19 |
45 |
15 |
44 |
19 |
|
|
27 |
Республика Башкортостан |
Башкирский ГАУ |
6 |
11 |
8 |
8,5 |
16 |
11 |
|
|
28 |
Республика Бурятия |
Бурятская ГСХА |
16 |
43 |
37 |
21,5 |
37 |
24 |
|
|
29 |
Республика Дагестан |
Дагестанский ГАУ |
15 |
28 |
40 |
6 |
45 |
45 |
|
|
30 |
Республика Саха (Якутия) |
Якутская ГСХА |
12 |
42 |
18 |
16 |
25 |
40 |
|
|
31 |
Республика Северная Осетия - Алания |
Горский ГАУ |
39 |
45 |
43 |
42,5 |
43 |
43 |
|
|
32 |
Ростовская область |
Донской ГАУ |
31 |
8 |
13 |
11 |
21 |
15 |
|
|
33 |
Рязанская область |
Рязанский ГАТУ |
5 |
14 |
2 |
28 |
11 |
35 |
|
|
34 |
Самарская область |
Самарская ГСХА |
18 |
29 |
29 |
14 |
4 |
31 |
|
|
35 |
Саратовская область |
Саратовский ГАУ |
24 |
12 |
28 |
13 |
22 |
8 |
|
|
36 |
Свердловская область |
Уральский ГАУ |
2 |
21 |
25 |
25,5 |
6 |
18 |
|
|
37 |
Смоленская область |
Смоленская ГСХА |
25 |
31 |
42 |
34,5 |
39 |
44 |
|
|
38 |
Ставропольский край |
Ставропольский ГАУ |
37 |
7 |
15 |
21,5 |
34 |
17 |
|
|
39 |
Тамбовская область |
Мичуринский ГАУ |
23 |
10 |
16 |
30,5 |
28 |
16 |
|
|
40 |
Тверская область |
Тверская ГСХА |
32 |
22 |
46 |
44,5 |
14 |
46 |
|
|
41 |
Тюменская область |
ГАУ Северного Зауралья |
30 |
39 |
1 |
2 |
19 |
42 |
|
|
42 |
Удмуртская Республика |
Ижевская ГСХА |
4 |
23 |
17 |
41 |
24 |
29 |
|
|
43 |
Ульяновская область |
Ульяновская ГСХА |
34 |
35 |
26 |
34,5 |
15 |
22 |
|
|
44 |
Челябинская область |
Южно-Уральский ГАУ |
9 |
9 |
39 |
8,5 |
7 |
38 |
|
|
45 |
Чувашская Республика |
Чувашская ГСХА |
11 |
37 |
12 |
19 |
12 |
21 |
|
|
46 |
Ярославская область |
Ярославская ГСХА |
20 |
27 |
32 |
46 |
5 |
33 |
Для установления связи между приведёнными выше рейтингами используем два наиболее известных метода. Первый относится к расчету попарных связей между рангами или коэффициентов корреляции Спирмена [11], которые рассчитываются по формуле:
,
где d -- разность двух рангов, n -- число пар рангов.
Матрица рассчитанных попарных коэффициентов корреляции Спирмена региональных рейтингов представлена в таблице 4.
Таблица 4 Матрица коэффициентов корреляции Спирмена
|
Рейтинги |
1 |
2 |
3 |
4 |
5 |
6 |
|
|
1 |
- |
<0.001 |
0.17 |
0.17 |
0.25 |
-0.005 |
|
|
2 |
- |
- |
0.35* |
0.18 |
0.19 |
0.44** |
|
|
3 |
- |
- |
- |
0.22 |
0.36* |
0.35* |
|
|
4 |
- |
- |
- |
- |
0.15 |
0.17 |
|
|
5 |
- |
- |
- |
- |
- |
0.02 |
|
|
6 |
- |
- |
- |
- |
- |
- |
Типичная интерпретация полученных коэффициентов корреляции Спирмена такова: от 0,3 и менее - слабая теснота связи; от 0,3 до 0,7 - умеренная теснота связи; свыше 0,7 - высокая теснота связи. Как видно, только для четырех пар значения коэффициентов достаточно велики (умеренная связь) и статистически значимы с вероятностью <5%. Только для пар рейтингов субсидирования регионов и рейтингов вузов, рейтингов эффективности сельхозпроизводства в регионах и рейтингов вузов значения коэффициента корреляции Спирмена указывают на умеренную связь и статистически значимы с вероятностью <1%.
Второй метод - вычисление т.н. коэффициента конкордации Кендалла. Данный коэффициент характеризует степень близости ранжирований.
Рассчитанная величина коэффициента конкордации Кендалла говорит о наличии слабой степени согласованности рейтингов, представленных в списке.
Таким образом, региональные рейтинги слабо (однако статистически значимо на уровне ) связаны друг с другом. Исключение (весьма условное) составляют пары рейтингов по субсидированию регионов и эффективности сельхозпроизводства с рейтингами сельскохозяйственных вузов. Это, впрочем, следовало ожидать, так как из всех рейтингов только два указанных рейтинга имеют непосредственное отношение к сельскому хозяйству.