Алгоритм проведения оценки следующий.
1. При заполнении опросной анкеты необходимо было присвоить ранг каждому свойству для каждого запорного устройства при условии, что: 1 ранг присваивается наиболее важному свойству, 2 ранг - следующему по важности и т.д. Желательно не присваивать одинаковый ранг разным свойствам.
Все пять экспертов присвоили ранги от 1 до 11 по всем свойствам для всех трех элементов запорной арматуры, где 1 присвоен наиболее важному свойству - герметичность, поскольку это свойство влияет на потери теплоносителя (КПД системы), а 11 - наименее важному - возможность выполнения функций регулировки, поскольку данная функция необязательна на вводных задвижках.
2. На первом этапе нам было необходимо получить оценку веса каждого свойства. Для этого был проведен опрос 5 экспертов по всем трем элементам запорной арматуры по всем свойствам. В таблице 1 приведены результаты этого опроса.
3. На втором этапе были получены суммы рангов для каждого свойства по всем пяти экспертам и трем элементам запорной арматуры. Была вычислена сумма рангов каждого свойства (табл.1).
4. На третьем этапе произведен расчет веса каждого ранга путем деления наименьшей суммы рангов по каждому свойству к сумме рангов второго свойства, затем наименьшей суммы рангов по каждому свойству к сумме ранга третьего свойства и т.д. Таким образом, вес каждого свойства составил от 0,21 до 1.
5. Для проведения оценки каждого запорного устройства было введено ограничение на оценку свойства для каждого запорного устройства:
1(один) балл присваивался свойству каждого запорного устройства, если оно оценивалось на отлично, 2(два) балла - если оно оценивалось на хорошо, 3(три) балла - если оно оценивалось на удовлетворительно.
6. Затем было проведено дополнительное анкетирование экспертов по присвоению баллов для каждого свойства для каждого элемента запорной арматуры (табл.2,3,4).
7. На основании данных табл.2,3,4 рассчитана сумма баллов и проведено весование (см.п.4) каждого свойства для каждого запорного элемента.
8. Для получения суммарного веса В2 сумма баллов Б, присвоенных экспертами по каждому свойству, умножается на вес этого свойства В1.
9. Критерием оценки качества К является сумма В2 по всем свойствам каждого запорного элемента, К= В2
Таблица 1 - Расчет веса каждого свойства по оценкам экспертов
шаровой кран поворотный затвор задвижка
|
Свойства |
экс1 |
экс2 |
экс3 |
экс4 |
экс5 |
экс1 |
экс2 |
экс3 |
экс4 |
экс5 |
экс1 |
экс2 |
экс3 |
экс4 |
экс5 |
Сумма ранга |
Ранг, Р1 |
Вес св-ва, В1 |
|
|
Герметичность |
1 |
1 |
2 |
1 |
3 |
2 |
3 |
2 |
1 |
4 |
4 |
3 |
1 |
2 |
5 |
35 |
1 |
1 |
|
|
Надежность |
2 |
3 |
4 |
3 |
4 |
3 |
6 |
3 |
2 |
5 |
7 |
2 |
3 |
4 |
4 |
55 |
2 |
0,64 |
|
|
Износостойкость |
6 |
7 |
8 |
6 |
5 |
5 |
2 |
7 |
6 |
3 |
1 |
1 |
2 |
3 |
3 |
65 |
3 |
0,54 |
|
|
Простота конструкции |
4 |
2 |
6 |
7 |
7 |
4 |
4 |
4 |
7 |
2 |
3 |
5 |
5 |
5 |
1 |
66 |
4 |
0,53 |
|
|
Высокое быстродействие |
5 |
4 |
5 |
4 |
1 |
6 |
5 |
6 |
5 |
7 |
9 |
4 |
9 |
7 |
6 |
83 |
6 |
0,42 |
|
|
Удобство монтажа |
3 |
6 |
1 |
5 |
2 |
1 |
1 |
5 |
4 |
6 |
8 |
6 |
7 |
10 |
8 |
73 |
5 |
0,48 |
|
|
Стоимость обслуживания |
10 |
10 |
10 |
10 |
6 |
7 |
8 |
8 |
8 |
8 |
2 |
9 |
6 |
1 |
2 |
105 |
8 |
0,33 |
|
|
Срок безаварийной работы |
8 |
9 |
9 |
9 |
10 |
9 |
7 |
10 |
9 |
9 |
6 |
7 |
4 |
6 |
7 |
119 |
9 |
0,29 |
|
|
Герметичность уплотнений |
7 |
5 |
3 |
8 |
9 |
10 |
10 |
9 |
10 |
10 |
5 |
8 |
10 |
9 |
9 |
122 |
10 |
0,29 |
|
|
Вес |
9 |
8 |
7 |
2 |
8 |
8 |
9 |
1 |
3 |
1 |
10 |
10 |
8 |
8 |
10 |
102 |
7 |
0,34 |
|
|
Возможность выполнения функций регулировки |
11 |
11 |
11 |
11 |
11 |
11 |
11 |
11 |
11 |
11 |
11 |
11 |
11 |
11 |
11 |
165 |
11 |
0,21 |
Таблица 2 - Оценка качества шарового крана с учетом веса свойства
|
Свойство |
экс1 |
экс2 |
экс3 |
экс4 |
экс5 |
Сумма баллов,Б |
Ранг, Р1 |
Вес св-ва,В1 |
Суммарный вес св-ва в баллах, В2 |
|
|
Герметичность |
1 |
2 |
1 |
1 |
1 |
6 |
3 |
1 |
6 |
|
|
Надежность |
1 |
1 |
1 |
1 |
2 |
6 |
4 |
0,64 |
3,84 |
|
|
Износ |
1 |
1 |
2 |
2 |
2 |
8 |
9 |
0,54 |
4,32 |
|
|
Простота конструкции |
1 |
1 |
1 |
2 |
1 |
6 |
7 |
0,53 |
3,18 |
|
|
Высокое быстродействие |
1 |
1 |
1 |
1 |
1 |
5 |
1 |
0,42 |
2,1 |
|
|
Удобство монтажа |
1 |
1 |
2 |
1 |
1 |
6 |
5 |
0,48 |
2,88 |
|
|
Стоимость обслуживания |
1 |
2 |
2 |
2 |
2 |
9 |
10 |
0,33 |
2,97 |
|
|
Срок безаварийной работы |
2 |
2 |
1 |
1 |
1 |
7 |
8 |
0,29 |
2,03 |
|
|
Герметичность уплотнений |
1 |
1 |
1 |
1 |
1 |
5 |
2 |
0,29 |
1,45 |
|
|
Вес |
2 |
1 |
1 |
1 |
1 |
6 |
6 |
0,34 |
2,04 |
|
|
Возможность выполнения функций регулировки |
3 |
3 |
3 |
3 |
3 |
15 |
11 |
0,21 |
3,15 |
К = ? В2 = 34 балла
Таблица 3 - Оценка качества поворотного затвора с учетом веса свойства
|
Свойство |
экс1 |
экс2 |
экс3 |
экс4 |
экс5 |
Сумма баллов, Б |
Ранг,Р1 |
Вес св-ва, В1 |
Суммарный вес св-ва в баллах,В2 |
|
|
Герметичность |
2 |
2 |
2 |
1 |
2 |
9 |
7 |
1 |
9 |
|
|
Надежность |
2 |
2 |
2 |
1 |
2 |
9 |
8 |
0,64 |
5,76 |
|
|
Износ |
1 |
2 |
2 |
2 |
1 |
8 |
5 |
0,54 |
4,32 |
|
|
Простота конструкции |
1 |
1 |
1 |
1 |
1 |
5 |
1 |
0,53 |
2,65 |
|
|
Высокое быстродействие |
1 |
1 |
1 |
1 |
1 |
5 |
2 |
0,42 |
2,1 |
|
|
Удобство монтажа |
1 |
1 |
1 |
1 |
1 |
5 |
3 |
0,48 |
2,4 |
|
|
Стоимость обслуживания |
2 |
1 |
1 |
2 |
2 |
8 |
6 |
0,33 |
2,64 |
|
|
Срок безаварийной работы |
2 |
2 |
2 |
2 |
2 |
10 |
9 |
0,29 |
2,9 |
|
|
Герметичность уплотнений |
3 |
3 |
2 |
3 |
3 |
14 |
10 |
0,29 |
4,06 |
|
|
Вес |
1 |
1 |
1 |
1 |
2 |
6 |
4 |
0,34 |
2,04 |
|
|
Возможность выполнения функций регулировки |
3 |
3 |
3 |
3 |
3 |
15 |
11 |
0,21 |
3,15 |
К = ? В2 = 41 балл
Таблица 4 - Оценка качества задвижки с учетом веса свойства
|
Свойство |
экс1 |
экс2 |
экс3 |
экс4 |
экс5 |
Сумма баллов, Б |
Ранг, Р1 |
Вес св-ва, В1 |
Суммарный вес св-ва в баллах В2 |
|
|
Герметичность |
2 |
3 |
2 |
2 |
3 |
12 |
6 |
1 |
12 |
|
|
Надежность |
3 |
3 |
2 |
2 |
3 |
13 |
8 |
0,64 |
8,32 |
|
|
Износ |
2 |
1 |
1 |
2 |
2 |
8 |
1 |
0,54 |
4,32 |
|
|
Простота конструкции |
2 |
2 |
3 |
3 |
1 |
11 |
5 |
0,53 |
5,83 |
|
|
Высокое быстродействие |
3 |
2 |
3 |
2 |
2 |
12 |
7 |
0,42 |
5,04 |
|
|
Удобство монтажа |
3 |
3 |
3 |
3 |
3 |
15 |
9 |
0,48 |
7,2 |
|
|
Стоимость обслуживания |
3 |
1 |
2 |
1 |
1 |
8 |
2 |
0,33 |
2,64 |
|
|
Срок безаварийной работы |
2 |
2 |
2 |
2 |
2 |
10 |
3 |
0,29 |
2,9 |
|
|
Герметичность уплотнений |
3 |
2 |
2 |
2 |
2 |
11 |
4 |
0,29 |
3,19 |
|
|
Вес |
3 |
3 |
3 |
3 |
3 |
15 |
10 |
0,34 |
5,1 |
|
|
Возможность выполнения функций регулировки |
3 |
3 |
3 |
3 |
3 |
15 |
11 |
0,21 |
3,15 |
К = = 60 баллов
В таблице 5 приведены данные по оценке качества всех трех элементов запорных элементов на основании введенных ограничений.
Чем меньше величина критерия К - суммарного балла, тем качественнее запорный элемент.
Таким образом, наиболее качественным является шаровой кран - К равен 34 балла, вторым по качеству является поворотный затвор с К, равным 41, и худшим по качеству является задвижка с К, равным 60 баллов.
Таблица 5 - Оценка качества элементов запорной арматуры
|
Запорные элементы |
К |
|
|
Шаровой кран |
34 |
|
|
Поворотный затвор |
41 |
|
|
Задвижка |
60 |
Достоверность полученных результатов оценивается разностью К для разных запорных элементов. Разность результатов для шарового крана и поворотного затвора составляет (41-34)х100:34=20,6%, что можно считать достоверным. Разность для задвижки и поворотного затвора составляет (60-41)х100:41=45,5%, что является достоверным. Разность для задвижки и шарового крана составляет (60-34)х100:34=75,7%, что является достоверным.
Выводы
1. Для анализа эффективности запорных элементов, применяемых на внутридомовых трубопроводах горячего водоснабжения и центрального отопления, были выбраны наиболее часто встречающиеся запорные элементы: шаровой кран, поворотный затвор, задвижка.
2. Для проведения оценки были выбраны наиболее существенные технические свойства запорных элементов: герметичность, надежность, износостойкость, простота конструкции, высокое быстродействие, удобство монтажа, стоимость обслуживания, срок безаварийной работы, герметичность уплотнений, вес, возможность выполнения функций регулировки.
3. В качестве методики оценки качества запорных элементов была использована экспертная (балльная) оценка. Критерием оценки является коэффициент К=, вычисленный по результатам опроса экспертов. Чем меньше величина К тем качество запорного элемента выше.
4. Проведенная балльная оценка показала: наиболее качественным является шаровой кран, К равен 34 балла, вторым по качеству является поворотный затвор с К, равным 41, и худшим по качеству является задвижка с К равным 60 баллов.
5. Достоверность полученных результатов составляет от 20,6% до 75,7%, что является значимым.
Результаты оценки знаний студентов с помощью тестов
Целью исследования являлось изучение объективности оценки знаний студентов по двум методикам:
- путем устного опроса по усмотрению преподавателя,
- путем заполнения тестового опросника.
Объектом исследования являлась группа студентов 4 курса специальности ВК в составе 16 человек
Тест содержит 106 вопросов по курсу «Теплогазоснабжение и вентиляция». Вопросы были составлены в порядке представления материла учебником К.В.Тихомирова, Э.С.Сергиенко «Теплотехника, тепло-газоснабжение и вентиляция» (Москва, Стройиздат, 1991 г.).
Устный опрос проводился преподавателем с фиксацией знаний теории, курсового проекта и лабораторных работ.
При анализе ответов на тест учитывалось количество правильных ответов (табл.1).
С точки зрения преподавателя учебная группа разделилась практически на две категории: отличники (7 человек), хорошисты (2 человека) и знающие удовлетворительно (7 человек). Такая ситуация является результатом субъективного подхода и небольшим преподавательским опытом исследователя. По-видимому, следовало ожидать, что первая и вторая группы должны поменяться местами.
Отличники ответили правильно на 63 - 77 из 106 вопросов, успевающие удовлетворительно на 47 - 63, группа хорошистов оказалась непредставительной. Как видно из приведенных данных скорее всего оценка преподавателя оказалась необъективной. В то же время студенты в массе предпочли сдавать преподавателю, т.к. он явно завышал оценки.
Результаты ответов на тест позволяют сформировать три группы вопросов, например:
- на оценку удовлетворительно следует правильно ответить на 45 - 55% вопросов,
- на оценку хорошо следует правильно ответить на 55 - 65% вопросов,
- на оценку отлично следует правильно ответить не менее чем на 65% вопросов.
Результаты опроса студентов по тестам были сформированы по количеству правильных ответов на вопросы (табл. 2), т.е. на первом месте стоят сложные вопросы, на которые никто не ответил (0 правильных ответов), а в конце - простые, на которые ответили все (16 правильных ответов).
По результатам, приведенным в табл. 2, были сформированы 17 групп вопросов по уровню сложности: в 1 группе объединены вопросы, на которые никто не ответил, а в 17 - вопросы, на которые ответили все. Как видно из табл. 3 количество вопросов по группам распределено неравномерно, но этого и следовало ожидать, т.к. естественно есть разделы курса более простые для понимания и более сложные. Все вопросы этого теста можно сгруппировать в три группы по уровню сложности:
- сложные вопросы - с 1 по 6 группу,
- вопросы средней сложности - с 7 по 11 группу,
- простые вопросы - с 12 по 17 группу.
Анализ ответов на тест позволяет изменить подход к составлению экзаменационных билетов, например, вопросы 1 группы исключить из билетов и давать как дополнительные при повышении оценки. Вопросы 17 группы использовать как дополнительные для неуспешных студентов. Формировать билеты с учетом уровня сложности вопросов.
Возможен и другой подход к полученным результатам - уделить большее внимание в процессе чтения лекций и на практических занятиях группе сложных вопросов. В любом случае анализ результатов тестового опроса создает почву для размышлений при составлении курса и методических пособий по нему с большой степенью объективности.