Индексы научного цитирования. Возможности и перспективы в оценке результатов научной деятельности.
1.2. Возможности РИНЦ для оценки публикационной активности научного учреждения.
Ранее нами уже была предпринята попытка представить общие подходы к наукометрическому анализу деятельности научных учреждений и дать оценочную характеристику публикационной активности научного института на основе статистических данных Российского индекса научного цитирования [Третьякова О. В., 2013]. Изучение накопленного в РИНЦ ресурса подтвердило важность наукометрических показателей для современного ученого в отдельности и научных организаций в целом. Анализ индикаторов публикационной активности академических институтов экономического профиля показал, что они наращивают свою публикационную активность, повышают качество публикаций, их научную и практическую значимость, о чем свидетельствуют планомерно увеличивающиеся показатели цитируемости. Тем не менее, судя по результатам исследования, пока еще имеет место недостаточно активное использование ресурсов Российского индекса научного цитирования. Здесь необходимы дополнительные организационные и экономические меры.
Учитывая это, мы применили показатели РИНЦ для оценки публикационной активности научных учреждений экономического профиля, подведомственных Федеральному агентству научных организаций (ФАНО России). Такой подход дает возможность оценить эффективность научно-исследовательской деятельности организации в соответствующей научной отрасли. Однако сразу же отметим, что представленные в исследовании результаты не претендуют на полноту изучения проблемы. Они затрагивают вопросы, которые можно отнести к проблеме формирования общих подходов к данному анализу.
Первичный анализ основывается на том положении, что если рассматривать науку как процесс получения знания, то необходимо прежде всего проследить за ростом числа научных публикаций, считая их носителями нового знания. В этом аспекте публикация представляет ключевой момент в производстве научных знаний: она формирует результаты исследований, делает их достоянием общественности, обеспечивая их передачу и подтверждение.
Для анализа используются показатели публикационной активности, представленные в РИНЦ за последние пять лет, т. е. за период 2009–2013 гг.
Таблица 1. Общие показатели числа публикаций научных учреждений экономического профиля, подведомственных Федеральному агентству научных организаций, в РИНЦ (данные НЭБ на 10.10.2014).

Как видно из данных таблицы 1, общее количество зарегистрированных в РИНЦ публикаций научных институтов экономического профиля, подведомственных ФАНО России, за 2009–2013 гг. составило 12 497, из них более половины (66,7 %) приходится на долю шести институтов, таких как Институт экономики РАН – 17,4 % (2182 публикации); Институт экономики и организации промышленного производства СО РАН – 13,9 % (1744 публикации); Институт экономики УрО РАН – 11,6 % (1449 публикаций); Институт экономических проблем имени Г. П. Лузина Кольского НЦ РАН – 8,8 % (1096 публикаций); Центральный экономико-математический институт РАН – 7,6 % (945 публикаций); Институт социально-экономического развития территорий РАН – 7,4 % (922 публикации).
Более половины публикаций (59 %) научных институтов экономического профиля, подведомственных ФАНО России, за 2009–2013 годы – это статьи в журналах, входящих в Перечень ВАК, и 6,7 % – в журналах, которые индексируются не только в РИНЦ, но и в базах данных Web of Science или Scopus. Эти показатели характеризуют публикационную активность научных институтов экономического профиля и в количественном, и в качественном аспекте.
Представленные в РИНЦ данные позволяют сделать акцент на таком важном направлении научной деятельности, как проведение совместных исследований с зарубежными коллегами. К сожалению, за 2009–2013 годы в научных институтах экономического профиля, подведомственных ФАНО России, доля публикаций с участием зарубежных организаций в РИНЦ составляет только 0,7 %.
Говоря о показателях общего количества публикаций научных организаций, следует отметить, что они могут служить лишь первичным критерием оценки научной и публикационной активности учреждения, так как не несут в себе информации о востребованности научной продукции и ее качестве.
В современной наукометрии для качественной оценки публикационной активности используется индекс цитирования, под которым понимается количество распределенных по годам ссылок на работы конкретного исследователя или организации, выполненные в соответствующей отрасли научной деятельности. Цитирование показывает, что эти работы повлияли на других ученых.
В таблице 2 приводится ранговое распределение научных институтов экономического профиля, подведомственных ФАНО России, по частоте цитирования работ, выполненных их сотрудниками за указанный период.
Таблица 2. Общие показатели числа цитирований научных учреждений экономического профиля, подведомственных Федеральному агентству научных организаций, в РИНЦ (данные НЭБ на 10.10.2014).

Данные таблицы свидетельствуют, что общее количество цитирований в РИНЦ публикаций научных институтов экономического профиля, подведомственных ФАНО, за 2009–2013 гг. составило 28 952, из них более половины (50,9 %) приходится на долю трех институтов, а именно: Института экономики и организации промышленного дела производства СО РАН – 17,7 % (5141 цит.); Института экономики РАН – 17,4 % (5059 цит.); Цент-рального экономико-математического института РАН – 15,7 % (4536 цит.).
Учитывая тот факт, что численность научных сотрудников в анализируемых организациях разная, для более объективной оценки их публикационной активности необходимо использовать усредненные показатели (например, среднее число цитирований в расчете на одну публикацию и индекс Хирша).
Ранжирование научных институтов экономического профиля, подведомственных ФАНО России, по показателю среднего числа цитирований в расчете на одну публикацию за 2009–2013 гг. представлено на рисунке 1.
В РИНЦ позитивно, на наш взгляд, решается также еще одна важная задача. Она связана с установлением показателя научной продуктивности исследователя на базе распределения цитирований его работ. Данный расчет основан на идее американского физика Х. Хирша, предложившего в 2005 году рассчитывать соотношение количества публикаций ученого и их цитирований[11], которое принято называть индексом Хирша (h-index).
Введение данной метрики Х. Хирш аргументировал ее предпочтительностью перед такими критериями оценки, как количество работ, деленное на общее количество цитирований, или количество цитирований, приходящихся на одну работу [Hirsch, 2005]. Западные коллеги Х. Хирша, отмечая преимущества h-индекса перед другими показателями подобного рода, делают акцент на том, что этот индекс дает возможность учитывать не только количество публикаций, но и их востребованность, тем самым являясь результатом баланса между количеством публикаций и количеством цитирований, полученных каждой публикацией [Glänzel, 2006].
Рисунок 1. Среднее число цитирований научных институтов экономического профиля, подведомственных ФАНО России, в расчете на одну публикацию за 2009–2013 гг. в РИНЦ (данные НЭБ на 10.10.2014).
Хотя многие ученые высказывают сомнение относительно корректности применения h-индекса для вычисления научной производительности [Lehnmann S., Jackson A. D., Lautrup B. E., 2005; Sidiropuolos, 2007 и др.], отмечая прежде всего его неспособность выявлять важные работы, созданные в прошлом, и работы, которые продолжают существенно влиять на научное мышление, нельзя отрицать полезности h-индекса в качестве общепринятой меры академических достижений.
Оригинальное определение индекса Хирша ориентировано на сравнение производительности авторов, тем не менее он используется для оценивания научных сообществ.
В отношении научных учреждений рассматриваемый индекс вычисляется в РИНЦ на основе распределения цитирований работ исследователей. Индекс Хирша h получается, если n из общего количества (Np) статей сотрудников данного учреждения цитируется как минимум h раз каждая, в то время как оставшиеся (Np – h) статьи цитируются не более чем h раз каждая. Можно сказать, что этот индекс характеризует масштабность и успешность исследовательской и публикационной деятельности организации и отражает усредненную публикационную активность исследователей.
Ранжирование подведомственных ФАНО России научных институтов экономического профиля по значению индекса Хирша представлено на графике (рис. 2).
Рисунок 2. Значение индекса Хирша научных институтов экономического профиля, подведомственных ФАНО России, в РИНЦ (данные НЭБ на 10.10.2014).
Высокие значения индекса Хирша в РИНЦ (от 20 и выше) выявлены у семи институтов: Институт проблем рынка РАН (34); Центральный экономико-математический институт РАН (32); Институт экономики и организации промышленного производства СО РАН (29); Институт экономики РАН (29); Институт народнохозяйственного прогнозирования РАН (27); Институт социально-экономических проблем народонаселения РАН (20); Институт экономики УрО РАН (20). Три института демонстрируют среднее значение индекса Хирша (от 10 до 20); одиннадцать – менее 10. Высокие значения этого индекса могут рассматриваться как косвенные показатели качества научной продукции исследовательского коллектива.
Таким образом, данные РИНЦ свидетельствуют о значительной публикационной активности научных институтов экономического профиля, подведомственных ФАНО России.
В целом за период 2009–2013 гг. научные академические институты экономического профиля представили в РИНЦ более 12 тыс. публикаций, обеспечив при этом прирост абсолютного количества статей почти в полтора раза – с 1990 в 2009 году до 2817 в 2013 году (темп роста – 141 %). Косвенными показателями качества этих публикаций могут служить показатели количества статей в журналах, входящих в Перечень ВАК (59 % от общего количества публикаций), и в журналах, которые индексируются и в РИНЦ, и в базах данных Web of Science или Scopus (6,7 %). В то же время незначительным является количество публикаций научных институтов с участием зарубежных организаций, что позволяет сделать вывод о необходимости развития такого важного направления научной деятельности, как проведение совместных исследований с зарубежными коллегами.
Следует отметить, что сложившаяся на сегодня система РИНЦ может использоваться в качестве инструмента оценки публикационной активности научных институтов. Более сложная проблема заключается в определении степени объективности наукометрических показателей, с помощью которых проводится оценка эффективности и результативности деятельности научных организаций.
Общепризнанно, что основу адекватной оценки эффективности и результативности деятельности научных организаций составляет мнение экспертов о научных результатах, их новизне, актуальности, соответствии целям и задачам инновационного развития страны. В то же время показатели, представленные как в РИНЦ, так и в зарубежных индексах цитирования, весьма динамичны и довольно быстро изменяются. В контексте этого очевидно, что выводы, основанные на таких данных, являются объективными только для определенного временного периода. Кроме того, библиометрические индикаторы не всегда объективно учитывают специфику научной деятельности. Таким образом, для абсолютной оценки научной деятельности отдельных ученых и учреждений в целом данные индексов цитирования могут использоваться в качестве вспомогательных, основным же способом для анализа качества научно-исследовательского проекта или отдельного ученого должна быть экспертная оценка, которая в первую очередь учитывает научное содержание работы.