38
38
Институт исследований научно-технического потенциала и истории науки им.Г.М. Доброва НАН Украины
Кто и как должен оценивать научные результаты ученого?
Б.А. Малицкий, доктор экономических наук,
профессор, директор ГУ
Аннотации
В статье раскрыта сущность подхода к оцениванию результатов деятельности ученого на основе показателей цитируемости, включая индекс Хирша, который широко применяется в мире и пропагандируется в Украине. Приведены факты, указывающие на недопустимость использования подхода на основе этих показателей, поскольку они не всегда объективно отражают качество исследования и публикационную активность в престижных научных журналах, а также могут быть сфальсифицированы в чьих-то корыстных интересах. Подчеркнуто, что этот метод привлекателен для органов управления наукой именно своей "простотой", и для бюрократии от науки не важно, что он не учитывает другие научные критерии социального, экономического, технологического, организационного и психологического плана. Пагубные последствия для науки от его использования показаны на примере России. Высказана обеспокоенность по поводу попыток некоторых "псевдонауковедов" навязать данный метод украинской науке, приведены аргументы из теории и практики организации научных исследований и оценивания труда ученых, доказывающие его несостоятельность. Сделан вывод, что подобные методы выгодны прежде всего государственной власти, не обращающей внимания на многие проблемы отечественной науки, решение которых автоматически привело бы и к росту показателей международной публикационной активности украинских ученых.
Ключевые слова: оценивание, цитирование, цитируемость, импакт-фактор, индекс Хирша, публикация, научный журнал, научное знание, ученый.
У статті розкрито сутність підходу до оцінювання результатів діяльності вченого на основі показників цитованості, включаючи індекс Хірша, який широко застосовується у світі та пропагується в Україні. Наведено факти, що вказують на недопустимість використання підходу на основі цих показників, оскільки вони не завжди об'єктивно відображають якість дослідження та публікаційну активність у престижних наукових журналах, а також можуть бути сфальсифіковані у чиїхось корисних інтересах. Підкреслено, що цей метод є привабливим для органів управління наукою своєю "простотою", адже для бюрократії від науки не важливо, що він не враховує інші наукові критерії соціального, економічного, технологічного, організаційного і психологічного плану. Згубні наслідки для науки від його використання показано на прикладі Росії. Висловлено занепокоєння з приводу спроб деяких "псевдонаукознавців" нав'язати такий підхід українській науці, наведено аргументи з теорії та практики організації наукових досліджень і оцінювання праці вчених, які доводять його неспроможність. Зроблено висновок, що подібні методи вигідні насамперед державній владі, яка не звертає увагу на чисельні проблеми вітчизняної науки, вирішення яких автоматично призвело б і до зростання показників міжнародної публікаційної активності українських учених.
Ключові слова: оцінювання, цитування, цитованість, імпакт-фактор, індекс Хірша, публікація, науковий журнал, наукове знання, вчений.
The essence of the approach to assessment of researchers' results, based on citation indexes, including Hirsch index, which is broadly used in the global practice and propagated in Ukraine is highlighted. Facts are given illustrating that an approach based on these indicators is impermissible, as they do not always capable to measure the quality of research and publication activity in prestigious scientific journals, or can be falsified in someone's mercenary interests. It is stressed that "simplicity" is a feature making this method appealing to R&D administration bodies, as R&D bureaucracy does not care that it overlooks other scientific criteria of social, economic, technological, organizational or psychological dimension. The ruining effects for R&D system from its use are demonstrated by case of Russia. The concern is expressed about attempts of some "pseudo-experts" in science policy to impose this method on the Ukrainian R&D system, with giving arguments from theory and practice of R&D organization and researchers' performance assessment, to prove its failure. The conclusion is made that methods like this are good for power offices in the first place, as they ignore many problems of the national R&D, which, once solved, would increase automatically the measures of international publication activity of Ukrainian researchers.
Keywords: assessment, citation, amount of citations. impact-factor, Hirsch index, publication, scientific journal, scientific knowledge, researcher.
Основное содержание исследования
В последнее время в Украине складывается абсурдная ситуация с методологическими и административными подходами к оцениванию результатов труда ученого. Видимо, не желая отставать от российской государственной бюрократии, которая жестко навязала своему научному сообществу единственно правильный с ее точки зрения способ оценивания качества работы исследователя с помощью таких наукометрических показателей как публикационная активность в зарубежных журналах с импакт-фактором и индекс Хирша, отечественная бюрократия и даже некоторые ученые, подсевшие на зарубежные гранты, прилагают настойчивые усилия по внедрению такой системы оценивания в украинской науке.
Поясним, что импакт-фактор, как принято считать, представляет собой численный показатель важности научного журнала, в основу расчета которого положено число цитирований, опубликованных в нем статей за определенный период времени. Что касается индекса Хирша, то это тоже своего рода импакт-фактор, но учитывающий цитируемость уже конкретного ученого по ссылкам на его статьи в ведущих научных журналах.
В показателях цитируемости, включая индекс Хирша, есть определенный смысл, когда эти оценки используются внутри научного сообщества и для учета более широких и объективных знаний о качестве научных результатов ученого со стороны профессионалов. К сожалению, число цитирований на самом деле не всегда отражает стопроцентное качество исследования, как и число публикаций в престижных научных журналах. Есть немало не совсем научных способов влиять на эти показатели. Например, еще недавно в Китае, Иране, Турции и других странах практиковалась существенная доплата авторам статей за публикации в престижных зарубежных научных журналах, что вызвало всплеск таких публикаций ученых этих стран. В Японии пошли еще дальше: была введена административная рекомендация японским ученым в своих зарубежных статьях ссылаться на работы как минимум трех отечественных ученых.
В той же Японии недавно разразился скандал по поводу обвинения выдающегося японского биолога-исследователя в области клеточного деления Ёсинора Ватанабе, работающего в Токийском университете, в фальсификации результатов исследований, приведенных, в частности, в четырех статьях, опубликованных с 2008 по 2015 год в журналах "Nature" и "Science" [1]. Такие случаи не единичны. Например, в журнале "Nature" в 2010 году была опубликована статья с результатами проведенного в Китае исследования, которые показали, что каждый третий китайский ученый грешит фальсификаторством.
Эти и другие подобные факты показывают уязвимость данного способа однозначного оценивания качества результата исследования с помощью цитирования в научных журналах с импакт-фактором и индекса Хирша. Но он действительно привлекает органы управления своей простотой в их примитивном понимании сути научного результата и его использования в практике управления наукой, особенно в бюрократических целях "взвешивания" ученых для публичной демонстрации "величия" или, наоборот, "никчемности" конкретного ученого и, соответственно, принятия решения о его финансировании.
На недопустимость такого упрощенного подхода к оценке результатов деятельности ученого в последнее время стали обращать внимание все больше специалистов, и зарубежных, и отечественных. Британские исследователи науки Эндрю Хиггинсон и Маркус Мунафо доказывают, что ажиотаж вокруг работ, имеющих высокий индекс цитирования и привлекающих внимание, прежде всего, выпяченной оригинальностью названия научной проблемы, а не самой ее сутью, приводит к потере глубины исследований у британских ученых [2].
индекс хирш оценивание ученый
В России многие видные ученые выступают против навязанной ФАНОФАНО России - Федеральное агентство научных организаций России. научному сообществу системы рейтингования отдельных ученых и научных коллективов с помощью данного метода наукометрического оценивания, построенного только на учете цитирования и исключающего другие не менее важные научные критерии социального, экономического, технологического, организационного и психологического плана. Особенно обращает на себя внимание позиция в этом вопросе известного российского историка науки и науковеда, члена-корреспондента Российской академии наук Ю. Батурина. В интервью, данному в прошлом году журналу "Наука и науковедение" [3], он аргументовано показал абсурдность и абсолютную неэффективность введенной в стране системы оценивания научных результатов. Особенно интересны его объяснения причин приверженности бюрократических органов страны данному методу, несмотря на то, что в ряде стран, даже тех, в которых он впервые был применен, от него отказываются. Среди таких причин Ю. Батурин указывает на то, что чиновники, управляющие наукой, имеют низкий уровень компетентности в связанных с наукой вопросах, на их слепое подражание "западной" модели науки, примитивное представление, что если будет воспроизведен ряд важных (не на самом деле, а в чьих-то глазах) признаков науки, она в России станет такой, как на Западе.
Автор не без оснований считает, что в стране произошел захват управления наукой менеджерами-завхозами, не имеющими необходимых знаний для организации работы такой сложной творческой системы как наука. Вследствие этого возросли бюрократизация и объем требуемой, часто бессмысленной отчетности, издаются абсурдные распоряжения, например, с требованием запланировать на год вперед результаты научных исследований, включая даже названия научных журналов, где будут публиковаться статьи, а также указание числа будущих ссылок на них. В этих условиях ученые вынуждены тратить больше сил и времени на заполнение бюрократических бумажек, чем на настоящую научную работу.
Он обратил внимание и на то, что подобное администрирование оценки труда ученых привело к ухудшению психологических условий для исследовательской работы, но в то же время стало серьезным оружием в руках органов управления наукой в деле так называемой оптимизации структуры научных организаций и научных кадров. Не отвечаешь требованиям утвержденных критериев оценки труда - увольняйся или закрывайся, освобождай академическую собственность для коммерческих целей.
Коммерческий аспект проблемы оценивания качества исследования, но с другой стороны, с точки зрения коммерческих интересов издательского бизнеса, стал предметом изучения ряда зарубежных и отечественных специалистов. Одним из первых, кто в полный голос забил тревогу по поводу "феодализации" знаний издательствами, является Георг Монбой. В 2011 году он опубликовал статью в газете "Гардиан" под названием "Помещики в науке. Как научные издатели приобрели свои феодальные права". Из статьи ясно видно, как порочная публикационная гонка, навязанная научному сообществу извне, способствовала быстрому проникновению в сферу распространения научных знаний неолиберальной экономической доктрины, один из главных принципов которой - "все продается и все покупается". Но этот принцип никак не вяжется с ключевой особенностью научного знания как результата исследовательской деятельности, имеющего, в отличие от материального товара, всеобщий характер. Автор указывает на то, что несколько крупных издательств за счет жесткой монополизации рынка зарабатывают колоссальные прибыли. Например, издательства Elsevier, Springer, Wiley, поглотившие многих конкурентов, публикуют 42 % всех научных статей. Доходы одного только издательства Elsevier превышают 2 млрд фунтов стерлингов в год, а рентабельность - 36 % (2010 год). Для сравнения укажем, что годовые доходы этого издательства на порядок превышают все годовые вложения в украинскую науку. Особенно удручающими для украинских ученых выглядят данные о стоимости получения доступа к научным статьям в научных изданиях монополистов. По данным автора, прочтение одной публикации издательства Elsevier стоит 31,5 долл., Springer - 35 евро, Wiley-Blackwell - 42 долл. Средняя стоимость подписки на научный журнал по химии для библиотек составляет 3792 долл., а некоторые подписки могут превышать десять тысяч долларов за год.
Большие проблемы, особенно для начинающих ученых, возникают также при попытке опубликовать статью в признанных научных журналах. Причем здесь кроме научной, организационной и даже политической стороны проблемы для многих авторов актуальной становится финансовая сторона вопроса, а также физическая ограниченность публикационных возможностей журналов с импакт-фактором. В мире сегодня насчитывается более 7 млн потенциальных авторов научных статей, что несоизмеримо с мощностью журналов, индексированных в соответствующих базах данных. Как справедливо заметил известный украинский исследователь д. г. н. В. МосковкинВ. Московкин в настоящее время работает в Белгородском государственном университете (РФ). ISSN 0374-3896. Наука та наукознавство. 2017. № 3 (97) , объективно пишущий о проблемах наукометрических оценок результатов научной деятельности, всплеск публикационной гонки на постсоветском и азиатском научных пространствах привел к возникновению множества изданий, индексированных в базах данных, а также компаний-посредников, которые стали продавать свои страницы и целые номера отдельным ученым и университетам под любые, серьезно не рецензируемые статьи [4].
В. Московкин, как и ряд других специалистов, считает, что коммерческая феодализация знаний научными издателями привела к возникновению международного движения, объединяющего ученых, а в некоторых странах и представителей власти, общей идеей открытости доступа к научным знаниям. В США, например, законодательно установлено требование открытого доступа к научным результатам, полученным в ходе выполнения работ, финансируемых государством. Это движение, которое проявляется в разных формах, а также в расширении числа его участников, отражает усиление понимания в мире порочности публикационной гонки, основанной на ущербных наукометрических инструментах, которыми управленческой бюрократии легко манипулировать, а издательскому бизнесу - зарабатывать незаслуженно огромные барыши. И то, и другое противоречит важнейшему науковедческому закону - пространственной и временной всеобщности научного знания, тормозит процесс его свободного распространения, использования в интересах всего человечества. В связи с этим очень актуальными выглядят слова В.И. Вернадского:". нет ничего в мире сильнее свободной научной мысли"Предисловие В.И. Вернадского к сборнику "Очерки и речи", Т. 2. .
К сожалению, в Украине эта сила оказалась за пределами национальных приоритетов и социальных интересов общества, что, безусловно, не соответствует историческим традициям страны и уровню ее научного потенциала. Более того, усиливаются бюрократические способы влияния на научную мысль, причем не с целью содействия ее свободному и эффективному развитию, а для обуздания и подчинения надуманным чиновничьим правилам.