Учебное пособие
Применение экспертной (балльной, квалиметрической) методики для количественной оценки качества различных объектов ж.д.транспорта и жилищно-коммунального хозяйства
Автор Лосавио Н.Г.
Содержание
экспертный оценка качество
Введение
1. Краткая история
2. Термины и определения
3. Анализ характеристик объекта, определяющих его качество
4. Подбор экспертов
5. Разработка опросной анкеты
6. Присвоение ранга и веса свойств (характеристик)
7. Обработка анкетных данных
8. Разработка методики и критерия оценки (оценочного показателя качества) объекта
9. Оценка объекта (объектов) исследования
10. Анализ полученных результатов
11. Рекомендации
Заключение
Литература
Приложения
Приложения
Введение
Анализ опубликованных в интернете сайтов по вопросу "квалиметрия" или "экспертная оценка качества" показал, что балльная (экспертная) оценка качества объекта применяется при оценке:
- технических объектов;
- финансовой устойчивости предприятий;
- конкурентноспособности предприятий;
- поставщиков продукции;
- медицинских услуг;
- биологии;
- эффективности труда;
- условий труда;
- оплаты труда;
- качества продукции;
- знаний студентов;
- качества образования;
- конкурсных закупок;
- эффективности управления;
- качества морских прибрежных акваторий;
- ранжирования территорий;
- правоведения и т.д.
В данном пособии для магистров изложены некоторые особенности применения метода квалиметрии для объектов ж.д.транспорта и ЖКХ, которые могут значительно облегчить задачи оценки различных объектов производственного назначения.
1. Краткая история
Краткая история экспертной оценки качества изложена в статье "Квалиметрия как наука" [ 1 ]. Первым известным опытом в этой области стала оценка качества гончарных изделий, произведенных на острове Крит, которая относится к 15 веку до нашей эры.
В новое время необходимость оценки качества широкого ассортимента вин привело к возникновению новой дисциплины - товароведение. Кафедра товароведения была основана в 1549 году при Падуанском университете (Италия).
Понимание количественной оценки качества существовало давно и применялось, например, при оценке знаний учеников. Это могла быть шкала в 5 баллов, 10 баллов, 12 баллов, 100 баллов. Чем больше шкала, тем точнее можно было оценить качество количественно " [ 2, 3 ]. Однако это не подразумевало оценки качества группой экспертов.
Впервые в России применил экспертный метод оценки качества военный кораблестроитель академик А.М.Крылов, он разработал и обосновал его с целью оптимизации выбора при закупке военного корабля. Он был единственным экспертом и оценка качества продукции зависела от его компетентности в этом вопросе.
В начале 20 века этими проблемами занимались П.Бриджмен (1922 г.), М.Аранович (1928 г.). В 60 гг прошлого века многообразие выпускаемой продукции, которая становилась все более специализированной, и конкурентная экономическая борьба различных стран за сбыт своей продукции потребовала разработки специального инструмента для количественной оценки качества "объектов любой природы: материальных и нематериальных, одушевленных и неодушевленных, предметов и процессов, продуктов труда и природы и т.д".
(Г.Г.Азгальдов, З.Н.Крапивенский и др., ж."Стандарты и качество", №1,
1968 г.) [ 4 ].
В 1979 году Госстандарт СССР издает Руководящий документ
РД 50-149-79 "Методические указания по оценке технического уровня и качества промышленной продукции" [ 5 ], а затем ГОСТ 15467-79 "Управление качеством продукции. Основные понятия. Термины и определения" вводит термин "квалиметрия" [ 6 ].
Балльный метод оценок в отношении конкурсных заявок и квалификации поставщиков, участвующих в конкурсах на размещение заказов на поставку товаров, работ и услуг для удовлетворения государственных нужд содержится в Письме Министерства экономики Российской Федерации от 2 июня 2000 г.
№ АС-751/4-605 [ 7 ].
В настоящее время курс "Квалиметрия" входит в программу дисциплины "Стандартизация и метрология" [ 8,9,10 ], а также изданы учебные пособия
[ 9,10,11] и монографии [12,13,14,15,16,17 и др. ].
2. Термины и определения
Квалиметрия - это наука об измерении и количественной оценке качества всевозможных предметов и процессов, т.е.объектов реального мира.
Объектом квалиметрии может быть все, что представляет собой нечто цельное, что может быть вычленено для изучения, исследования и познания.
Предметом квалиметрии является оценка качества в количественном его выражении.
Качество - объективная и наиболее обобщенная характеристика любого объекта.
Ранг (ранжирование) - уровень значимости (место) характеристики.
Вес - количественная оценка значимости характеристики.
Оценочный (оцениваемый) показатель (критерий) - количественная оценка объекта исследования в баллах.
Опросная анкета (анкета - вопросник) - анкета, которая включает вопросы для экспертов по ранжированию и весованию свойств (характеристик), влияющих на оценку качества объекта.
Эксперт - специалист, отвечающий требованиям по образованию и стажу работы по специальности.
Дерево свойств - графическое представление разложения сложного свойства на совокупность простых, может включать несколько уровней по однородности свойств (Приложение1) .
3. Анализ характеристик объекта, определяющих его качество
Характеристика (качество, свойство, фактор) объекта может быть простым и сложным.
Простое свойство дальнейшему разделению не подлежит и, как правило, может быть инструментально измерено и нормировано. Например, температура, подвижность, относительная влажность воздуха и т.д.
Сложное свойство может быть разделено. Например, свойство - микроклимат разделяется на температуру, подвижность и влажность воздуха. Однако однозначно какой-либо величиной измерено не может быть [ 17 ]. В этом случае создают дерево целей (Приложение 1), которое имеет несколько уровней оценки. Сначала проводят оценку простых свойств, а затем переходят к оценке свойств более высокого уровня (расположенного левее).
Входящие в один уровень свойства могут оцениваться равнозначно, или неравнозначно, если для этого есть основания. Например, при аттестации рабочих мест физические факторы и тяжесть и напряженность труда оцениваются как равнозначные. В статье [ 18 ] была сделана попытка при помощи экспертной оценки перейти к оценке рабочих мест из условия неравнозначности влияния факторов (свойств) на оценку рабочего места. При этом классы вредности пересекаются, а класс 3.1оценивается баллом выше, чем 3.2. Это происходит за счет использования при аттестации рабочих мест системы сочетанной оценки факторов.
4. Подбор экспертов
В качестве экспертов следует выбирать наиболее квалифицированных специалистов. Следует учитывать их образование, возраст, общий стаж работы (жизненный опыт), стаж работы по специальности. Если свойства оцениваемого объекта касаются разных его характеристик, следует предусмотреть подбор специалистов из разных направлений знаний и опыта.
Квалиметрическая (экспертная) оценка базируется на мнении высококвалифицированных специалистов. В случае большого необоснованного разброса оценок следует провести так называемый мозговой штурм, т.е обсуждение целей проводимого опроса и согласование мнений. Если согласованность результатов и после этого отсутствует, надо либо пригласить других специалистов, либо расширить круг участников.
5. Разработка опросной анкеты
Опросная анкета предполагает некоторую анонимность, в ней не принято приводить ФИО и другие данные, например, должность, телефон и др.
Вопросы анкеты должны быть сформулированы четко и не позволять разночтений, они не должны быть взаимоисключающими. Перечень вопросов имеет смысл согласовывать со специалистами и экспертами (Приложение 2).
6. Присвоение ранга и веса свойств (характеристик)
Экспертов просят присвоить ранг от 1 до "n" каждому свойству. Наиболее значимому свойству присваивается ранг 1, остальным - соответственно их значимости (Приложение 3).
7. Обработка анкетных данных
Следует составить таблицу рангов, присвоенных экспертами.
В случае если при обработке анкет выявляется большой разброс мнений экспертов, следует провести согласительное совещание для уточнения целей исследования. Если процедура не помогла уменьшить разброс мнений, необходимо увеличить количество экспертов, или заменить их.
Наиболее простым способом определения ранга при обработке данных, полученных в анкетах, является суммирование полученных рангов по каждому свойству (Приложение 3).
Наименьшей полученной сумме присваивается ранг 1, большим суммам, соответственно, 2,3,4 и т.д.
Присваивание веса проводится двумя способами.
Первый способ. Каждому рангу присваивается вес в соответствии с его значимостью. Наибольший вес, например, 1 присваивается 1 рангу, остальным рангам присваивают вес меньше 1, но больше 0. Вес 0 присваивать нельзя. Это значит, что свойство можно исключить. Можно присваивать 1 рангу вес 100 и далее соответственно ниже. Это позволяет более точно оценить качество.
Второй способ. Вес второго ранга можно получить отношением суммы рангов первого места, полученного из экспертных анкет, к сумме рангов второго места, сумму рангов первогоо места к сумме рангов третьего места и.т.д.
Выбор способа лежит на ответственности руководителя опроса, который проводит дальнейшую оценку объекта.
8. Разработка методики и критерия оценки (оценочного показателя качества) объекта
Методика балльной оценки включает несколько разделов:
Область распространения
Критерий (оценочный показатель)
Алгоритм определения критерия
Нормирование критерия
Оценка результатов
Выводы
Рекомендации
В балльной оценке качества критерий оценки всегда измеряется в баллах.
При формулировании критерия оценки следует пользоваться логикой.
Чем проще критерий, тем легче проводить оценку результатов.
Как правило, критерием оценки объекта является вес или сумма весов свойств (Приложение 3 ), балл. Но могут быть и другие решения, например, сумма баллов, отнесенная к количеству рабочих мест ( Приложение 4 ).
Иногда приходится проводить операцию "соразмерности", когда не все эксперты ответили на все вопросы. В этом случае используют удельные показатели (Приложение 3,5).
В некоторых случаях приходится вводить ограничения при оценке свойств. Например, сумма весов свойств двух оцениваемых объектов должна быть равна единице (Приложение 5).
Для облегчения пользования методикой часто приводится алгоритм -
последовательность действий по определению критерия.
9. Оценка объекта (объектов) исследования
В этом разделе следует провести оценку в баллах объекта или его характеристики, провести систематизацию объектов или их качеств, т.е. выстроить их от лучшего к худшему или наоборот (табл.6 Приложения 2,3,4).
При этом, как правило, нормирование критерия может отсутствовать
( Приложение 5), или можно провести выделение трех зон критерия: неудовлетворительно, удовлетворительно, хорошо (Приложение 6).
10. Анализ полученных результатов
Анализ результатов оценки должен включать выявление причин неудовлетворительной оценки объекта исследования.
11. Рекомендации
На основании проведенных исследований следует сделать предложения по улучшению характеристик объекта, или по применению этой методики для руководителей предприятий или отрасли в целом.
Заключение
Предлагаемое пособие содержит краткое изложение основ экспертной оценки качества объектов ж.д. транспорта и ЖКХ. В пособии приведены материалы статей, написанных по указанной тематике, которые позволяют применить их при написании магистерских диссертаций. Для более углубленного анализа этого метода следует воспользоваться литературными данными, приведенными в пособии.
Литература
1. https://mirznanii.com/a/347272/kvalimetriya-kak-nauka
2. Балльно-факторная система оценки результатов труда инженеров и специалистов по ключевым показателям эффективности труда, Ф.Н.Давыдовский, Е.А.Величко, ж."Научное обозрение. Экономические науки", 2016, №6, с. 43-50
3. Результаты оценки знаний студентов с помощью тестов, Н.Г.Лосавио,
ж."Современные проблемы совершенствования работы ж.д.транспорта", №, М., РГОТУПС, 2008 г., с.67-69.
4. Квалиметрия..., Г.Г.Азгальдов и др., ж."Стандарты и качество", №1, 1968 г.