УДК 37 Народное образование. Воспитание. Обучение. Организация досуга
В статье рассмотрены основные подходы к оценке результативности научной деятельности научных и образовательных организаций. Оценка результативности научной деятельности подразумевает использование определенного арсенала методов, которые позволяют проводить анализ состояния и развития показателей научно-исследовательских работ, а также возможность измерения анализируемых параметров с помощью математико-статистического аппарата. В рамках проведенного анализа подходов к оценке результативности научной деятельности научных и образовательных организаций выделены следующие проблемные и перспективные аспекты: доступ к первичным, исходным данным о публикациях, организациях-исполнителях, ученых-исследователях, проведенных научных конференциях и т.п.; при анализе результатов научной деятельности необходимо связывание, идентификация объектов учета в библиографической базе данных: публикации (статья, диссертация, монография и др.), авторы, научные журналы, проведенные научно-практические конференции, организации (для аффилиации авторов и публикаций), грантообразующие фонды и организации и др.; полнота, или охват результативности научной деятельности в рамках наукометрического анализа (в каких и в скольких наукометрических базах данных целесообразно проводить поиск), при котором необходимо использовать методы квалифицированного отбора публикаций с обеспечением необходимой полноты и качества; активное использование современных аналитических инструментов; указание тематического направления и рубрики Государственного рубрикатора научно-технической информации; качество представленных материалов в библиографических базах данных; наличие различных информационных систем для учета результатов научной деятельности; оценка научной деятельности специально отобранными экспертами, которые имеют определенный вес в научном профессиональном сообществе. Наукометрические подходы важны в разрезе цифровой трансформации отрасли науки и высшего образования, они располагают к научной коммуникации в существующем информационном обществе, что значимо для развития научной деятельности в целом.
результативность научной деятельности, цифровая трансформация науки и образования, библиографические базы данных, наукометрия, мониторинг научной деятельности
В настоящее время вопросы учета результативности научной деятельности лежат в плоскости различных, смежных между собой наук, среди которых наукометрия, библиометрия, информетрия и др. В широком смысле оценка результативности научной деятельности подразумевает использование определенного арсенала методов, которые позволяют проводить анализ состояния и развития показателей научно-исследовательских работ, а также возможность измерения анализируемых параметров с помощью математико-статистического аппарата.
Для понимания состояния научного потенциала как отдельного ученого-исследователя, так и научной и образовательной организации важное значение приобретает адекватная количественная оценка эффективности деятельности. Тем более это значимо в разрезе разработанной в 2021 году Стратегии цифровой трансформации отрасли науки и высшего образования. На сегодняшний день развитие методов наукометрии, библиометрических показателей, системы научных коммуникаций связано с активным использованием информационных технологий, технологий больших данных, в целом – с цифровой трансформацией различных видов профессиональной деятельности, прежде всего, научно-исследовательской и образовательной деятельности.
Традиционно в сфере научно-исследовательской деятельности выделяют три сектора: научно-исследовательские институты, образовательные организации высшего образования, организации (институты) научно-прикладной направленности. Данные организации отличаются между собой не только по спектру научно-образовательных задач, но и также по организационно-управленческому признаку.
Для оценки результативности научной деятельности в научно-исследовательских институтах регулярно используют такие наукометрические показатели, как количество публикаций в рецензируемых изданиях и цитируемость научных работ [2, 13].
Для научно-педагогических работников, работающих в образовательной сфере, помимо научно-исследовательской деятельности, основной является педагогическая деятельность по подготовке специалистов в рамках того или иного направления или специальности подготовки. В этом ключе Министерство науки и высшего образования регулярно проводит оценку эффективности деятельности федеральных бюджетных и автономных образовательных учреждений высшего образования достаточно комплексно, учитывая показатели по образовательной, научно-исследовательской, финансово-экономической, международной деятельности, заработной плате профессорско-преподавательского состава, целому ряду дополнительных параметров [8].
Для нас основной интерес представляют показатели результативности научной деятельности, среди которых, например, количество цитирований статей в различных системах цитирования, количество статей в различных российских и зарубежных наукометрических библиографических базах данных, полученные доходы образовательной организации от реализации научных исследований, общая численность научно-педагогических работников, количество издаваемых научных журналов в организации, количество поддержанных грантов за отчетные периоды и др. [9].
Деятельность организаций (институтов) научно-прикладной направленности связана с практическим использованием существующих научных результатов и нередко носит закрытый характер в связи с необходимостью сохранения государственной или коммерческой тайны. В таких случаях публично заявлять о наукометрических показателях организации становится достаточно сложно. Результативность научной деятельности организации и научных сотрудников, выполняющих научно-исследовательские и опытно-конструкторские работы, может быть оценена, по сути, только внутри самого учреждения [1].
Еще в 2014 году советский и российский академик Российской академии наук Жорес Алферов, лауреат Нобелевской премии по физике говорил о том, что одной из проблем современной науки является не столько малое финансирование со стороны государства, а сколько невостребованность ее экономикой российского общества [11]. В этом смысле и сегодня данная проблема продолжает оставаться актуальной: проведенные исследования результативности научной деятельности национальных исследовательских университетов Российской Федерации с позиций использования и внедрения результатов интеллектуальной деятельности (2015-2020 гг.) определенным образом говорят о недостаточной работе механизмов существующий инновационной экономики, в рамках которой подразумевается взаимодействие государственного сектора и бизнес-структур с научными и образовательными организациями высшего образования [10].
Проведенный анализ различных подходов к оценке результативности научной деятельности научных и образовательных организаций позволяет нам выделить следующие проблемные аспекты или, другими словами, вызовы, сдерживающие развитие исследований наукометрических параметров. Отметим их [4, 5].
Для полноты представления о наукометрических показателях важен доступ к первичным, исходным данным о публикациях, организациях-исполнителях, ученых-исследователях, проведенных научных конференциях и т.п. Наукометрический анализ опирается на использование библиографических баз данных – специальных баз, индексирующих множество научных публикаций. Если изначально данные системы представляли собой не что иное, как каталоги научных публикаций, то со временем, благодаря активному развитию информационных технологий и возможности соединять между собой данные, полученных из различных источников, стало возможным идентифицировать дополнительную информацию (данные), такие как авторы-исследователи, научные журналы, научные издательства, проведенные конференции, источники финансовой поддержки в виде грантов и др. Благодаря этому стало возможным более структурно подойти к анализу результативности научной деятельности по различным критериям [12].
Библиографические базы данных, как правило, не содержат полных текстов опубликованных документов, а позволяют индексировать имеющиеся материалы или, другими словами, содержат метаданные документов (например, библиографическое описание публикации (автор, год выпуска, название журнала, заглавие, диапазон страниц), аннотация, ключевые слова, список литературы, аффилиация автора с организацией). Количество данных, которое может индексироваться в библиографических базах данных, может носить закрытый, замкнутый характер (как, например в Web of Science или в Scopus) или открытый (Российский индекс научного цитирования, Google Scholar) [14].
При анализе результатов научной деятельности совершенно необходимо связывание, идентификация объектов учета в библиографической базе данных: публикации (статья, диссертация, монография и др.), авторы, научные журналы, проведенные научно-практические конференции, организации (для аффилиации авторов и публикаций), грантообразующие фонды и организации и др.
Актуальным остается вопрос о полноте, или охвате результативности научной деятельности в рамках наукометрического анализа (в каких и в скольких наукометрических базах данных целесообразно проводить поиск), при котором необходимо использовать методы квалифицированного отбора публикаций с обеспечением необходимой полноты и качества [15].
В связи с активных развитием информационных технологий процедура учета результативности научной деятельности приобретает более сложный характер. Современные аналитические инструменты позволяют обобщать данные по различным параметрам и наглядно представлять полученные результаты в разных формах: диаграммы, гистограммы, графики, кластерное представление, карты и др. Сегодня возникает потребность и необходимость использования различных инструментов наукометрического анализа для взаимодополнения и интеграции имеющихся данных в библиографических базах данных.
Для полноты анализа имеющихся результатов научной деятельности важно, чтобы для каждой публикации было указано тематическое направление и рубрика Государственного рубрикатора научно-технической информации. Учитывая такие факторы, как возросший объем публикаций за последние годы по всем научным специальностям, развитие самой науки и появление новых научных направлений и дисциплин, существование параллельных тематических рубрикаторов в разных библиографических базах данных – возникает необходимость в создании связей между тематическими классификаторами, что позволяет решить проблему автоматической тематической классификации результатов научной деятельности [7].
Качество представленных материалов в библиографических базах данных. Важно, чтобы индексируемые материалы содержали достоверные, корректные, достаточно полные сведения. Качество наукометрических данных может носить различный характер: от использования нелатинского алфавита, различия форматов представленных метаданных до игнорирования заполнения необязательных полей при загрузке в базы данных и ошибок «человеческого фактора».
Наличие различных информационных систем для учета результатов научной деятельности. Проведенный анализ имеющихся научных данных (научные публикации по вопросам научного обеспечения, нормативно-правовые публикации в отрасли науки и высшего образования, приказы и распоряжения различных ведомств Российской Федерации, нормативные документы фондов грантовой поддержки) показал, что на сегодняшний день существует определенное количество информационных систем в сфере научно-исследовательской деятельности, в рамках которых осуществляется учет результатов [6]. Выделим наиболее значимые информационные системы учета результатов научной деятельности.
Единая государственная система учета научно-исследовательских и опытно-конструкторских работ гражданского назначения, которая предназначена для учета сведений о научных исследованиях и разработках, проводимых в Российской Федерации по всем областям знаний.
База данных, содержащая сведения об оценке и о мониторинге результативности деятельности научных организаций, выполняющих научно-исследовательские, опытно-конструкторские и технологические работы гражданского назначения, основная цель которой – информационное обеспечение процесса оценки результативности деятельности научных организаций [3].
Отдельно можно выделить информационные системы фондов поддержки научных исследований, среди которых Российский фонд фундаментальных исследований (в 2022 году переименован в Российский центр научной информации), Российский научный фонд и др.
Информационная система ИСТИНА (Интеллектуальная Система Тематического Исследования НАукометрических данных) используется в Московском государственном университете имени М.В. Ломоносова.
В Федеральной службе исполнения наказаний в рамках опытной эксплуатации используется информационная система учета результатов научной деятельности научных и образовательных организаций ФСИН России (ИС «Наука УИС»), которая предназначена для автоматизации учета, сбора, обработки и анализа информации о научной и научно-технической деятельности научных и образовательных организаций ФСИН России.
Можно привести один показательный пример. В настоящее время, в рамках Стратегии цифровой трансформации отрасли науки и высшего образования предполагается созданий единой сервисной цифровой платформы для научного взаимодействия между научно-педагогическими работниками для возможности проведения совместных исследований, доступа к различным информационным базам данных, электронным цифровым ресурсам, фондам грантов на проведение научных исследований, формирования электронного портфолио ученых и т.п. Реализация данного проекта связана с необходимостью формирования адресных механизмов поддержки научной деятельности, развития репутационных механизмов регулирования в науке, формирование национальной цифровой платформы для обеспечения информационной поддержки исследователей. Это достаточно сложный, масштабный и финансово затратный проект и он имеет важную информационно-прикладную значимость для научно-исследовательской деятельности. Как известно, с 2013 по 2017 год был реализован проект «Карта российской науки» – специальная информационная система, которая была создана для автоматического обновления информации об ученых-исследователях, научных коллективах, российских научных и образовательных организациях, осуществления сопоставительного сравнительного анализа показателей эффективности научно-исследовательской деятельности. Но конечные результаты работы в рамках информационной системы «Карта российской науки» показали неудовлетворительные результаты работы данной системы и ее отдельных сервисов за четыре года опытной эксплуатации.
Следует подчеркнуть, что вышеперечисленные информационные системы в целом существуют независимо друг от друга и при этом в каждой информационной системе существуют проблемные аспекты систематизации имеющихся данных, что в целом сказывается на полноте и достоверности предоставляемой информации по результативности научной деятельности. Кроме того, необходимое сопровождение информационных систем, поддержка и обновление значимых параметров данных представляет собой достаточно трудоемкий процесс для различных пользователей и участников сопровождения информационных систем [16].
Для полноты и качества учета результатов научной деятельности как научно-педагогических работников, так и научных и образовательных организаций, по мнению исследователей, необходимо трансформировать систему государственного мониторинга научной деятельности, которая сейчас представляет собой ежегодное заполнение определенных отчетных форм федерального статистического наблюдения. Более качественным подходом может являться сбор, анализ, учет различных научных данных, что позволит выявлять перспективные направления научных исследований, увеличивать количество поставленных научных задач, осуществлять своевременную информационную поддержку для руководителей в сфере науки в целях принятий управленческих решений.
Помимо традиционных вышерассмотренных параметров учета результативности научной деятельности: публикационная активность научно-педагогических работников и цитируемость их статей в различных библиографических базах данных, в контексте наукометрического анализа значимым представляется оценка научной деятельности специально отобранными экспертами, которые имеют определенный вес в научном профессиональном сообществе. Такой подход представляется достаточно перспективным (хотя и трудоемким): использование как наукометрических, библиометрических показателей деятельности отдельных ученых и организаций в рамках использования выбранной информационно-аналитической системы, так и экспертной, авторитетной оценки результатов научной деятельности. Таким образом можно проводить полноценный, комплексный анализ содержания и качества научно-исследовательских и опытно-конструкторских работ, формулировать интерпретируемое представление количественных показателей результативности научной деятельности, выполняемыми за представленный период отдельными исследователями, научными школами, научными и образовательными организациями, отраслями науки в целом [17].
Сегодня для решения задач управления в сфере науки и образования, в контексте результативности научной деятельности, внедряют различные системы оценки. Это позволяет, с одной стороны, определять, на уровне регионов Российской Федерации, ведущие центры научного знания, с другой – распределять финансирование и определять перспективные направления развития научных исследований, с третьей – выделять наиболее значимые научные коллективы. Наукометрические подходы важны в разрезе цифровой трансформации отрасли науки и высшего образования, более того, они располагают к научной коммуникации в существующем информационном обществе, что значимо для развития научной деятельности в целом.
1. Арский А.А. Оценка экономической эффективности научных исследований // Вестник Московского финансово-юридического университета МФЮА. 2022. № 1. С. 83-86.
2. Баканова Н.Б. Многокритериальная оценка публикационной результативности научных подразделений организации // Искусственный интеллект и принятие решений. 2022. № 3. С. 88-95.
3. Гришакина Е.Г., Илиева С.Ю., Комаров Н.М., Вершинин И.В. Мониторинг результативности научной деятельности организаций, выполняющих исследования и разработки, на основе данных ФСМНО - БД РД НО // Управление наукой и наукометрия. 2020. Том 15. № 2. С. 223-250.
4. Гусев А.Б., Доронина Е.Г., Вершинин И.В. Малахов В.А. Мониторинг и оценка результатов научно-технической деятельности: зарубежный опыт и российская практика // Наука. Инновации. Образование. 2018. Том 13. № 1. С. 65-91.
5. Гуськов А.Е., Шрайберг Я.Л. Вызовы для развития наукометрических исследований // Научные и технические библиотеки. 2023. № 2. С. 37-58.
6. Доронина Е.Г. Государственные информационные системы для управления научной сферой: современное состояние и пути устранения недостатков // Наука. Инновации. Образование. 2018. Том 13. № 4. С. 103-119.
7. Дробот А.Н., Рябова Н.В. Перспективы автоматизации учета результатов научной и научно-технической продукции, созданной в пенитенциарной службе страны / Актуальные вопросы информатизации Федеральной службы исполнения наказаний на современном этапе развития уголовно-исполнительной системы. Сборник материалов круглого стола, Тверь, 24 июня 2019 года. Тверь: ФКУ НИИИТ ФСИН России, 2019. С. 60-66.
8. Емелин Н.М. Критерии и показатели результативности деятельности государственных научных центров // Известия Института инженерной физики. 2023. № 1 (67). С. 97-99.
9. Емельянова Е.Е., Лапочкина В.В. Научные кадры России: тенденции, проблемы, перспективы // ЭКО. 2022. № 4 (574). С. 31-56.
10. Ерошин С.Е. Анализ показателей оценки эффективности деятельности организаций, осуществляющих научные исследования // Управление наукой: теория и практика. 2022. Том 4. № 1. С. 40-53.
11. Жорес Алферов. О невостребованности науки [Электронный ресурс]. Режим доступа URL: https://izborsk-club.ru/3946 (дата обращения 11.01.2023).
12. Казакова А.А., Ойнац С.Н. К вопросу о наукометрических показателях при оценке научно-исследовательской деятельности // Наукосфера. 2022. № 7-1. С. 46-51.
13. Наукометрия и библиометрия: зачем измерять результативность научного труда и как это делают в 2020 году [Электронный ресурс]. Режим доступа URL: https://lala.lanbook.com/naukometriya-i-bibliometriya-zachem-izmeryat-rezultativnost-nauchnogo-truda? (дата обращения 11.01.2023).
14. Пономаренко Г.Н., Сокуров А.В., Смирнова Л.М., Ермоленко Т.В. Наукометрия: перспективы преодоления монополии // Стандарты и качество. 2023. № 1. С. 92-97.
15. Спасенников В.В., Сканцев В.М., Молчанова Н.В. Публикационная активность и продуктивность преподавателей в зеркале наукометрии // Эргодизайн. 2022. № 1 (15). С. 55-65.
16. Трофимова И.Н. Национальные исследовательские университеты: статус и результаты деятельности // Социология науки и технологий. 2022. Том 13. № 1. С. 116-129.
17. Халадов Х-А.С., Головина И.В., Папуткова Г.А. Публикационная активность педагогических вузов: количественные и качественные показатели // Высшее образование в России. 2022. Том 31. № 2. С. 58-67.