О совершенствовании индикативных оценок качества государственного управления
Барабашев А.Г., Макаров А.А., Макаров И.А.
Постановка проблемы: о статусе объективности и теоретическом статусе индикативных оценок качества государственного управления
В настоящее время индикативные оценки качества государственного управления получают все большее распространение. Применение индексов, индикаторов, показателей как инструмента оценки качества стало возможным вследствие нескольких фундаментальных причин содержательного (мотивирующего) и технического характера.
К содержательным причинам, побуждающим внедрять индикативные оценки государственного управления, можно отнести: заинтересованность гражданского общества в объективной оценке качества государственного управления; потребность аналитических и экспертных структур в инструментах оценки, которые обладали бы доказательной силой (то, что называется «доказательная политика»); востребованность бизнесом (инвесторами) информации о реальной ситуации в управлении на уровне стран и регионов; стремление самой власти, равно как и ее зарубежных и международных партнеров, понять реальные проблемы управления в «своей» стране, ее регионах, в отдельных агентствах/государственных органах, оценить имеющиеся достижения, провалы, риски.
Технические причины внедрения индикативных оценок связаны с новыми возможностями сбора, хранения и обработки данных. Объемы управленческих данных стремительно возрастают; начинают собираться данные по новым направлениям, отражающим различные области управления (от управления в социальной сфере управления в сфере науки и инноваций); возникают значительные массивы данных и способы их обработки (технологии big data, цифровизиции и т.п.); появляется история данных, что позволяет проследить их динамику, проводить лонгитюдные исследования и т.д.
Использование индикативных оценок при принятии решений наряду с другими методами управления с помощью анализа данных способствует принципиальным изменениям государственного управления, превращая его в верифицируемый процесс. В перспективе ошибки в управлении могут быть просчитаны с помощью анализа динамики данных показателей, цена ошибок названа. Этот процесс идет «полным ходом»: на наших глазах происходит своеобразная «управленческая революция», возникает механизм обратной связи: «выявление управленческих ошибок посредством анализа данных - проблемы для лиц и органов, принимающих неудачные решения». Лица, ответственные за принятие решений, при наличии такой обратной связи неизбежно начинают принимать решения на основе анализа данных, поскольку попытки «закрыть глаза» на негативные показатели, игнорирование аналитики данных, подделка данных чреваты осложнениями. Варианты управленческих решений, которые не были реализованы, из гипотетических (бесполезных для изучения) превращаются в обоснованные альтернативы, стоящие на фундаменте данных. К альтернативным моделям управленческих действий, основанным на анализе данных, в принципе доверия больше, чем к голословным утверждениям «лучше было бы поступить иначе» или же, наоборот, «неясно, к чему бы альтернативные решения привели, ведь историю не перепишешь».
Тем не менее, несмотря на огромный поток практики использования данных при оценке качества государственного управления (например, только в ЕС вложения из Европейского социального фонда и Европейского регионального фонда развития в соответствующие мероприятия по совершенствованию качества государственного управления для 19 стран ЕС с 2007 по 2013 г. составили 2 млрд. евро, а до 2020 г. предстоит потратить на эти цели еще 4,2 млрд, евро (см.: EUPAC, 2018, р. 7)), разработка увязанных в целое по подходам, принципам, методам теорий оценивания (единой парадигмы) запаздывает и не соответствует объему практики. Без комплексного анализа данных координация управленческих систем затруднительна. В свою очередь, фрагментарность государственного управления - как на горизонтальном уровне (недостаточная координация страновых систем управления), так и в вертикальном разрезе (отсутствие стыковки данных по уровням) - «влияет на неспособность государств осуществлять мониторинг и эффективно регулировать экономику» (Peters et al., 2011, р. 14). В особенности это проявилось во время кризиса 2008 г., когда традиционные (path-dependent) подходы, «аварийно» и бессистемно применяемые в условиях потребности в быстрых решениях, не позволили многим странам перестроить управление финансами, сформировать новые, визионистские механизмы управления (ibid., р. 16, 20).
В частности, если говорить о «верхнем уровне» оценок (индикативное оценивание страновых систем управления), то следует отметить, что наборы страновых индексов многообразны, разноплановы и даже противоречат друг другу, комбинации индексов отражают пристрастия разработчиков и страновые приоритеты, аргументы в пользу той или иной селекции индексов варьируются, опираются на разные подходы.
Например, укажем на историю разработки индекса GDP и его применения как основополагающего инструмента оценки экономического развития (сложности и проблемы с используемыми в нем данными представлены в научно-популярной книге: Lepenius, 2016). Одновременно, использование индекса GDP для комплексной оценки экономического и социального развития критикуется, исходя из необходимости поддерживать устойчивое развитие. Взамен предлагается использовать индекс Green GDP, в котором обеспечен баланс оценки экономического, социального и экологического развития (см.: Alfsen et al., 2006; Stiglitz et al., 2009; Бобылев и др., 2015).
Специалисты, работающие в области оценивания на основе данных, не осознают себя представителями единого движения (они «не институционализированы»), основанного на применении взаимоувязанных инструментов оценки качества государственного управления. Они «не чувствуют» своей принадлежности к традиции (которая еще только зарождается) оценивания на основе анализа данных, к тому, что можно условно назвать «оценочной парадигмой государственного управления», или же «инструментальной парадигмой», поскольку в ее основе должны находиться методы так называемой «объективной оценки» (ВагаЬаэЬеу, 2016), или же к государственному управлению по результатам как «новой модели государственного управления, синтезирующей и усиливающей преимущества действующих и развивающихся моделей государственного управления» (Южаков, 2016, с. 167). В результате, главенствуют другие подходы к государственному управлению, оставляющие «зазор» для «усмотренческих» решений (веберовская иерархическая централизация, закрепляющая принятие решений за политическими элитами; ограниченное включение потребителя качества государственных услуг в их оценку; выборочное делегирование полномочий некоторым активным структурам гражданского общества, лоббирующим отдельные интересы).
Что же препятствует формированию новой, инструментальной парадигмы государственного управления как «датазависимого» (ёа1а-ёерепёеп1) процесса принятия решений, принимаемых с учетом анализа данных? По каким причинам эта парадигма представлена фрагментарно, в виде отдельных, зачастую противоречащих друг другу подходов (так, для «верхнего уровня» страновых оценок значительно отличаются способы выбора индексов, индикаторов, показателей, их использование разнородно, в оценку включаются иного рода критерии, не имеющие отношения к индексам; для «среднего уровня» оценок - направлений реализации политик и программ, оценок работы государственных органов - используются локальные показатели, не увязываемые ни друг с другом, ни с показателями близких программ и публичных политик; для «нижнего уровня» оценки эффективности и результативности служебной деятельности государственных служащих смешиваются процессные и результирующие показатели)? Почему уров- невые оценки разрабатываются и применяются без увязки друг с другом? Или, обобщая, почему до сих пор на уровне теории инструментальная парадигма объективного оценивания на основе анализа данных не существует как признанное, единое целое?
Можно назвать несколько наиболее обсуждаемых факторов отторжения оценок качества государственного управления на основе данных, в особенности - индикативных страновых оценок. Во-первых, следует указать на политические факторы, проявляющиеся во многих странах в разных сочетаниях. Не в последнюю очередь препятствием для принятия решений на основе данных выступает желание элит реализовать свои интересы. Особенно это относится к индикативным оценкам. Во многих странах наблюдается стремление власти «переключить» внимание общества с индикативных оценок существующей ситуации на другие сюжеты: пропаганду отдельных достижений, локальных успехов; генерирование обещаний, стратегий, планов решительных преобразований; списание неудач и объяснение трудностей кризисами, внешними обстоятельствами, наличием внутренних и внешних противников (партийных, политических, военных, террористических и др.). Чтобы такое «переключение» работало не ослабевая, приходится постоянно находить или создавать новые поводы, как бы нагнетать обстановку. Представление об «исключительной прозорливости властвующих элит» может быть серьезно поколеблено анализом данных (если ими не манипулировать).
Административные (организационные) факторы отторжения «управления на основе данных» связаны с качеством управленческого аппарата, зачастую неспособного собрать и понять данные, использовать их корректно. Недостаток образования работников, повсеместное, характерное для многих стран отсутствие специализированных аналитических подразделений в муниципальных и государственных органах, нежелание многих правительств сотрудничать с экспертными структурами, почти полное отсутствие таковых структур в некоторых странах или же отсутствие выхода на экспертные структуры обесценивают данные, которые зачастую хранятся в качестве «мертвого груза». Индикативные оценки используются ограниченно и некорректно, поэтому предлагаются способы повышения их качества, включая, например, такие процедуры, как Randomized Control Trial, Systematic Reviews, Evidence & Gap Maps (Campbell Collaboration, 2018).
Наконец, внутренние факторы, способствующие распространению скептического отношения к принятию решений на основе данных, к их использованию для оценки и последующего принятия управленческих решений, в том числе с помощью индексов, индикаторов, показателей и т.д., связаны с такими четырьмя разнородными обстоятельствами, как:
недостаточный учет в индексах объективных обстоятельств функционирования страновых систем государственного управления (например, недостаток средств на сбор и обработку данных, общественное недоверие к данным и вытекающее отсюда пренебрежение к точности ответов на вопросы и т.д.);
некачественные способы сбора данных (Ford et al., 2018), подбор индикаторов в отрыве от измеримых непосредственных (outputs) и окончательных (outcomes) результатов (Bleyen et al., 2017), манипулирование при сборе данных, осуществляемое национальными статистическими органами и другими организациями (Pollitt & Bouckaert, 2017). К этому иногда прибавляются производимые национальными статистическими органами и организациями подмена состава отдельных индексов, изменение методик их расчетов, ухудшающее возможности анализа динамики индексов по годам (Nemec, 2016);
часто встречающееся ущербное агрегирование этих данных, произвольный отбор индексов, индикаторов и показателей для оценки. Распространена недобросовестная, тенденциозная селекция показателей, которая выставляет определенные страны, регионы, государственные органы, социальные политики, программы в лучшем виде и тем самым фактически принижает государственное управление других стран, другие политики, программы, имеющиеся практики управления (пример улучшения места в страновых рейтингах управления за счет удачной конфигурации используемых индексов применительно к Венгрии - см.: Good Governance, 2015);
введение показателей зачастую подталкивает государственные органы к «работе на показатели» вместо «работы на результат». Подразумевается, что на практике распространен сбор отчетности по таким показателям, которые можно улучшить, «накрутив отчетность», и ущерб от использования таких показателей превышает гипотетическую выгоду от индикативной оценки.
Таким образом, сбор и аналитика данных для нужд государственного управления обладают в настоящее время внутренними недостатками, позволяющими противодействовать становлению инструментальной парадигмы как единого, институционализированного движения (подхода) к управлению, усомниться в объективности оценок на основе данных. Появляется почва для отторжения управления на основе анализа данных, невнимания к качеству административного обеспечения сбора и анализа данных для формирования индексов, показателей, индикаторов.
Предлагаются подходы, потенциально ослабляющие складывающуюся инструментальную парадигму, например: уйти от использования данных в составе индикативных оценок конечных результатов, ограничиться использованием данных в составе процедур управления («алгоритмическое управление»).
Обратимся к современному российскому опыту. Например, практикуется «перевод в цифру» документации, регулирующей процессы и процедуры служебной деятельности. Наблюдается катастрофическое увеличение объема собираемых «впрок» процессных данных безотносительно понимания того, зачем они нужны, для каких целей и конечных результатов их собирать. Наш опыт работы в региональных проектах показывает, что сбор процессных данных намного объемнее по затратам времени и трудоемкости не только разработчиков, но и огромного количества участвующих респондентов, чем сбор данных для расчета индексов, характеризующих конечные результаты. В сборе данных задействованы десятки тысяч сотрудников, которые должны регулярно заполнять отчетные формы (карты рабочего времени). Кроме того, при сборе процессных данных, в особенности больших массивов процессных данных, увеличивается влияние системных администраторов, разработчиков интеллектуальных платформ и сопутствующих инструментов, продуцирующих решения «автоматически», без понимания целей и результатов, на основе цифры и произвольно вводимых коэффициентов, которые воспринимаются как суть управления (принятия решений), поскольку содержание процессов управления, его миссию и требования к конечным результатам системные администраторы не знают и не могут знать в силу профессиональной управленческой некомпетентности. В частности, производятся сокращения штатной численности на основе формального анализа затрат рабочего времени на обработку одного документа без понимания различий в сложности и значимости документов (простая градуировка на уровни сложности здесь ничего не дает). Мы полагаем, что ослабление (сужение) формирующейся инструментальной парадигмы к пределам «алгоритмического управления» привело бы к восприятию «процессных данных как безусловной данности», безотносительно их осмысления, увязки с конечными показателями результатов.
Следует констатировать, что управление на основе анализа данных, с использованием оценок результативности государственного управления хотя и развивается, но обладает уязвимыми местами, недостатками. Инструментальная парадигма только зарождается, но уже появляются предложения по ослаблению ее принципов, которые скорее заведут в тупик, нежели «расчистят дорогу» для использования данных. Мы уверены, что препятствия на пути создания надежной объективной оценки качества государственного управления могут быть разрешены только при условии «наведения порядка в этой области», не впадая в крайность, без отказа от индикативных оценок конечных результатов (outcomes) в угоду процессным оценкам. В первую очередь необходимо установить ясные требования к индикативным страновым оценкам, составляющим «верхний уровень» оценивания с помощью данных, к отбору индексов качества государственного управления, следует активно привлекать инструменты статистического анализа страновых индексов, их соотношения.