По определению Г. Хатри, показатель результативности пред-ставляет собой «конкретную численную меру, показывающую, какой прогресс достигнут на пути к результату; название показателя резуль-тативности обычно начинается со слов «количество», «процент», «от-ношение», «частота», «доля» и т.п.» [133]. По мнению Р. Алена и Д. Томасси, показатели используются для измерения «конечных (outcome), непосредственных (output) результатов программ, политик, деятельности организаций, а также объема ресурсов, необходимых для их осуществления» [119].
Предлагаемые различными авторами методологии определения и измерения результатов в государственном секторе разнообразны и до сих пор не существует единого стандарта формулировки и увязки по-казателей. В частности довольно известная в практике корпоративного менеджмента концепция «SMART» предполагает, что любая цель, ко-торую мы ставим, или с которой работаем, должна быть [151]:
Specific (конкретной).
Measurable (измеримой).
Attainable (достижимой).
Relevant (уместной).
Time-bound (определенной во времени).
В литературе встречаются и другие примеры требований, предъявляемых к показателям результативности. Так, К. Вандервиль приводит следующий набор свойств «хороших показателей» [144]:
Относимость;
Четкость и однозначность, простота в понимании и исполь-зовании;
Сравнимость;
Проверяемость;
Статистическая надежность;
Экономическая целесообразность;
Контролируемость;
Чувствительность;
Отсутствие внутренних «антистимулов»;
Гибкость в отношении инноваций;
Быстрота обновления.
В России вопросы измерения и оценки деятельности органов власти и их учреждений содержатся в целом ряде нормативно-правовых документов [см., напр., 12, 17, 28]. В [28], в частности, сформулированы следующие требования к применяемым показателям:
адекватностьотраженияпроисходящихсоциальноэкономических изменений: отчетные данные должны быть доста-точно точными, погрешности измерения не должны приводить к искаженному представлению о результатах;
объективность: показатели не должны приводить к искаже-нию деятельности организации, когда формальное выполнение функции ведет к улучшению отчетности и ухудшению реального положения дел;
достоверность: способ сбора и обработки исходной инфор-мации должен допускать возможность проверки точности получен-ных данных;
прозрачность: следует избегать излишне сложных показате-лей, должна быть обеспечивать однозначность их интерпретации;
экономичность: получение отчетных данных должно произ-водиться с минимально возможными затратами;
сопоставимость: выбор показателей следует осуществлять исходя из необходимости непрерывного накопления данных и обеспечения их сопоставимости за отдельные периоды и с показа-телями, используемыми для оценки прогресса в решении сходных (смежных) задач;
своевременность и регулярность: отчетные данные должны поступать со строго определенной периодичностью и с незначи-тельным временным лагом;
полнота: отчетные показатели не должны приводить к иска-жениям значимости отдельных функций».
На практике в качестве показателей результативности деятель-ности может выступать достаточно большое количество социально-экономических, технических, личностных, промежуточных и конечных показателей. Их обычно увязывают с производительностью (efficiency) эффективностью. Причем результаты государственного управления имеют как экономическое, так и общественное (социаль-ное) измерение. Именно в этом во многом состоит специфика общест-венного сектора по сравнению с коммерческим сектором экономики. Именно сложности измерения приводят к тому, что, как правило, при-меняемые показатели измеряют не только собственно результатив-ность, но и экономичность, и эффективность. Взаимосвязь этих пока-зателей, отмечаемую большинством исследователей, иллюстрирует рисунок 2.1.
Другим следствием сложности измерения является тот факт, что результаты деятельности очень часто (и в работах очень многих авторов) разделяются на непосредственные (outputs) и конечные (outcomes) [см., напр., 77, 86, 93 и др.]. Непосредственные результаты деятельно-сти выражаются, как правило, в количественных характеристиках объ-ема проделанной работы, а конечные - в достижении социально зна-чимых целей и задач органов власти.
Рис. 2.1. Взаимосвязь показателей результативности
Показатели конечных общественно значимых результатов ха-рактеризуют степень, в которой деятельность или процесс в рамках определенной программы способствуют достижению заявленных це-лей. Они оценивают тот эффект, который общество (отдельные граж-дане или социальные группы) получает от деятельности главных рас-порядителей бюджетных средств. Конечные результаты - это, в сущ-ности, совокупность реально достигнутых результатов и их влияние на ситуацию в обществе. Программы, связанные с оказанием направлен-ных на человеческое развитие услуг, могут иметь конечные результа-ты, характеризующиеся изменениями в поведении, знаниях и навыках людей, их ценностях, условиях жизни, статусе и т.п. Эти показатели, по сути, отражают то, что знают, думают или умеют делать граждане; отражают модели их социального поведения или условия их жизни, а также вызванные реализацией программы изменения в этих условиях. Показателями непосредственных результатов такой программы будут количество проведенных учебных курсов, процентное отношение удовлетворенных их качеством слушателей и в уровне их подготовки. Показателями конечных результатов в этом случае станут процент учеников, получивших на выпускных экзаменах балл, превышающий средний по стране; снижение количества смертных случаев при пожа-рах, снижение уровня смертности на дорогах и т.д. [93].
В некоторых случаях разницу между показателями непосредст-венных и конечных результатов очень трудно определить. Существу-ют ситуации, когда непосредственные и конечные результаты - одни и те же. Однако в большинстве случаев их можно дифференцировать. Например, для Центра планирования семьи и репродукции показателем непосредственного результата может являться: число семей, прошедших лечение от бесплодия в Центре. Показатель же конечного результата: число семей, в которых в течение года после прохожде-ния лечения появились дети.
По сравнению с показателями конечного эффекта показатели непосредственного результата проще формулируются, их исполнение легче контролируются. Поэтому высока вероятность вытеснения ими показателей конечного эффекта. В таких случаях может возникнуть ситуация «деятельности ради деятельности», так как показатели непо-средственного результата отражают только деятельность органа вла-сти, учреждения или организации, но не реализацию их целей.
Данное явление встречается в литературе под разными назва-ниями («игра в цифры» в работах Л.И. Якобсона [136, 137, 170], «стра-тегическое поведение» в работах Х. де Брюйна [77], «подтасовка ре-зультатов» в работах Г. Хатри [133], «сигнализация» в работах В.Л. Тамбовцева [128, 129]). Однако его содержательная сторона остается неизменной: ведя себя оппортунистически, организация не столько решает поставленную перед ней задачу, сколько добивается требуемо-го (установленного сверху) значения показателя способом, который представляется ей наиболее простым, экономящим время и усилия.
Не все, что важно, может иметь количественную характеристи-ку. Некоторые виды деятельности и результаты плохо поддаются ко-личественному измерению. Например, результативность предоставле-ния услуг в области культуры теоретически может быть оценена изме-рением уровня культуры общества. Очевидно, что разработать досто-верные показатели и собрать информацию для оценки такого результа-та практически невозможно.
Оценка деятельности может быть затруднена и вследствие отсроченности результатов во времени. Так, главными потребителями услуг по охране и реставрации культурного наследия станут будущие поколения, поэтому оценка вклада культуры за определенный период (например, год) будет неполной, а значит, и недостаточно корректной [8]. Аналогичным образом, финансирование по результатам в образо-вании основано на результатах, достигнутых сразу и вскоре после окончания обучения, что частично объясняется природой финансиро-вания и необходимостью минимизировать промежуток времени между предоставлением обучения и его оплатой. При этом учитывают трудо-устройство выпускников в определенную неделю после окончания обучения и другие краткосрочные показатели, на основании которых нельзя оценить отсроченные результаты.
Также следует отметить, что результаты деятельности во мно-гом подвержены влиянию внешних факторов, порождающих как положительные, так и отрицательные эффекты. На практике оказывается очень трудным оценить конечные результаты деятельности в чистом виде, без учета воздействия внешних факторов.
В определенных ситуациях результаты деятельности трудно предсказуемы. Ряд государственных организаций являются в значи-тельной степени процессно-ориентированными. Так, организации, ра-ботающие в среде, где действуют несколько участников, обязаны уде-лять внимание консультациям и переговорам с ними. Конечный ре-зультат переговоров может быть трудно предсказуемым, хороший процесс может привести к неутешительным результатам. Нечто по-добное наблюдается и в научно-исследовательских учреждениях, где результаты инновационного исследования с трудом поддаются про-гнозированию. Хорошо продуманный и тщательно проведенный науч-ный эксперимент может разочаровать либо скромными результатами, либо полным их отсутствием [77].
Разумеется, объем охвата результатов показателями ограничен как имеющимися ресурсами, так и проблемами, связанными с самими данными. Любая формализация предполагает упрощение, а соответст-венно и какие-то потери. Таким образом, успешность применения ре-зультативного подхода всегда относительна и определяется тем, на-сколько в том или ином конкретном случае удается минимизировать потери. Главная задача состоит в том, чтобы представить надежные и полезные данные, на которые можно положиться, и в то же время ука-зать на ограничения, присущие выбранным показателям.
Сложности перевода результатов в показатели результативности порождают вполне адекватные споры относительно применимости управления и бюджетирования по результатам в условиях государст-венного сектора. Одни исследователи отстаивают его преимущества, полагая, что государственные учреждения подобно коммерческим ор-ганизациям производят продукты и услуги - следовательно, эффек-тивность их деятельности поддается оценке. Их оппоненты настаива-ют на невозможности или ограниченности проведения такой оценки в силу специфичности услуг и производимых в государственном секторе продуктов.
Государственному управлению с точки зрения теории оценок эффективности и результативности свойственны «органические» про-блемы, затрудняющие использование количественных измерителей результативности. Особенности, присущие природе государственного (муниципального) управления и сужающие возможности применения показателей результативности, приведены в таблице 2.1.
Таблица 2.1 Особенности государственного (муниципального) управления как объекта применения количественных измерителей результативности
|
№ |
Особенность, ограничи- |
Примеры |
|
|
п/п |
вающий фактор |
||
|
1. |
Результат работы зависит |
Здоровье нации формируется под |
|
|
воздействием не только системы |
|||
|
от совместной деятельно- |
|||
|
здравоохранения, но и образова- |
|||
|
сти многих участников |
|||
|
ния, и экологии и др. |
2.
Работу родильного дома в теку-
Между действием и по-
щем моменте оценить нельзя. Его
влияние на здоровье нации про-
лучаемым результатом -
явится через некоторое время.
значительный временной
Работу образовательных учреж-
Лаг
дений можно будет оценить толь-
ко по истечению нескольких лет.
3.
Отсутствие единственно-
Используется набор показателей:
го, «правильного» пока-
производительности, эффектив-
зателя оценки при необ-
ности, качества работы в кратко-
ходимости иметь резуль-
срочном и долгосрочном перио-
тирующий (единый) вы-
дах, но нет единого итогового
Вод
вывода.
4.
Образование в учебном учрежде-