UDK 37 Народное образование. Воспитание. Обучение. Организация досуга
The article discusses the main approaches to assessing the effectiveness of scientific activities of scientific and educational organizations. Evaluation of the effectiveness of scientific activity implies the use of a certain arsenal of methods that allow analyzing the state and development of indicators of research work, as well as the ability to measure the analyzed parameters using mathematical and statistical apparatus. Within the framework of the analysis of approaches to assessing the effectiveness of scientific activities of scientific and educational organizations, the following problematic and promising aspects are identified: access to primary, source data on publications, implementing organizations, research scientists, scientific conferences held, etc.; when analyzing the results of scientific activity, it is absolutely necessary to link, identify the objects of accounting in the bibliographic database: publications (article, dissertation, monograph, etc.), authors, scientific journals, scientific and practical conferences held, organization (for affiliation of authors and publications), grant-forming funds and organizations, etc.; completeness, or coverage of the effectiveness of scientific activity within the framework of scientometric analysis (in which and in how many scientometric databases it is advisable to search), in which it is necessary to use methods of qualified selection of publications to ensure the necessary completeness and quality; active use of modern analytical tools; indication of the thematic direction and heading of the State Scientific and Technical Information; quality of the submitted materials in bibliographic databases; availability of various information systems to account for the results of scientific activity; evaluation of scientific activity by specially selected experts who have a certain weight in the scientific professional community. Scientometric approaches are important in the context of the digital transformation of the branch of science and higher education, moreover, they are conducive to scientific communication in the existing information society, which is significant for the development of scientific activity in general.
effectiveness of scientific activity, digital transformation of science and education, bibliographic databases, scientometry, monitoring of scientific activity
В настоящее время вопросы учета результативности научной деятельности лежат в плоскости различных, смежных между собой наук, среди которых наукометрия, библиометрия, информетрия и др. В широком смысле оценка результативности научной деятельности подразумевает использование определенного арсенала методов, которые позволяют проводить анализ состояния и развития показателей научно-исследовательских работ, а также возможность измерения анализируемых параметров с помощью математико-статистического аппарата.
Для понимания состояния научного потенциала как отдельного ученого-исследователя, так и научной и образовательной организации важное значение приобретает адекватная количественная оценка эффективности деятельности. Тем более это значимо в разрезе разработанной в 2021 году Стратегии цифровой трансформации отрасли науки и высшего образования. На сегодняшний день развитие методов наукометрии, библиометрических показателей, системы научных коммуникаций связано с активным использованием информационных технологий, технологий больших данных, в целом – с цифровой трансформацией различных видов профессиональной деятельности, прежде всего, научно-исследовательской и образовательной деятельности.
Традиционно в сфере научно-исследовательской деятельности выделяют три сектора: научно-исследовательские институты, образовательные организации высшего образования, организации (институты) научно-прикладной направленности. Данные организации отличаются между собой не только по спектру научно-образовательных задач, но и также по организационно-управленческому признаку.
Для оценки результативности научной деятельности в научно-исследовательских институтах регулярно используют такие наукометрические показатели, как количество публикаций в рецензируемых изданиях и цитируемость научных работ [2, 13].
Для научно-педагогических работников, работающих в образовательной сфере, помимо научно-исследовательской деятельности, основной является педагогическая деятельность по подготовке специалистов в рамках того или иного направления или специальности подготовки. В этом ключе Министерство науки и высшего образования регулярно проводит оценку эффективности деятельности федеральных бюджетных и автономных образовательных учреждений высшего образования достаточно комплексно, учитывая показатели по образовательной, научно-исследовательской, финансово-экономической, международной деятельности, заработной плате профессорско-преподавательского состава, целому ряду дополнительных параметров [8].
Для нас основной интерес представляют показатели результативности научной деятельности, среди которых, например, количество цитирований статей в различных системах цитирования, количество статей в различных российских и зарубежных наукометрических библиографических базах данных, полученные доходы образовательной организации от реализации научных исследований, общая численность научно-педагогических работников, количество издаваемых научных журналов в организации, количество поддержанных грантов за отчетные периоды и др. [9].
Деятельность организаций (институтов) научно-прикладной направленности связана с практическим использованием существующих научных результатов и нередко носит закрытый характер в связи с необходимостью сохранения государственной или коммерческой тайны. В таких случаях публично заявлять о наукометрических показателях организации становится достаточно сложно. Результативность научной деятельности организации и научных сотрудников, выполняющих научно-исследовательские и опытно-конструкторские работы, может быть оценена, по сути, только внутри самого учреждения [1].
Еще в 2014 году советский и российский академик Российской академии наук Жорес Алферов, лауреат Нобелевской премии по физике говорил о том, что одной из проблем современной науки является не столько малое финансирование со стороны государства, а сколько невостребованность ее экономикой российского общества [11]. В этом смысле и сегодня данная проблема продолжает оставаться актуальной: проведенные исследования результативности научной деятельности национальных исследовательских университетов Российской Федерации с позиций использования и внедрения результатов интеллектуальной деятельности (2015-2020 гг.) определенным образом говорят о недостаточной работе механизмов существующий инновационной экономики, в рамках которой подразумевается взаимодействие государственного сектора и бизнес-структур с научными и образовательными организациями высшего образования [10].
Проведенный анализ различных подходов к оценке результативности научной деятельности научных и образовательных организаций позволяет нам выделить следующие проблемные аспекты или, другими словами, вызовы, сдерживающие развитие исследований наукометрических параметров. Отметим их [4, 5].
Для полноты представления о наукометрических показателях важен доступ к первичным, исходным данным о публикациях, организациях-исполнителях, ученых-исследователях, проведенных научных конференциях и т.п. Наукометрический анализ опирается на использование библиографических баз данных – специальных баз, индексирующих множество научных публикаций. Если изначально данные системы представляли собой не что иное, как каталоги научных публикаций, то со временем, благодаря активному развитию информационных технологий и возможности соединять между собой данные, полученных из различных источников, стало возможным идентифицировать дополнительную информацию (данные), такие как авторы-исследователи, научные журналы, научные издательства, проведенные конференции, источники финансовой поддержки в виде грантов и др. Благодаря этому стало возможным более структурно подойти к анализу результативности научной деятельности по различным критериям [12].
Библиографические базы данных, как правило, не содержат полных текстов опубликованных документов, а позволяют индексировать имеющиеся материалы или, другими словами, содержат метаданные документов (например, библиографическое описание публикации (автор, год выпуска, название журнала, заглавие, диапазон страниц), аннотация, ключевые слова, список литературы, аффилиация автора с организацией). Количество данных, которое может индексироваться в библиографических базах данных, может носить закрытый, замкнутый характер (как, например в Web of Science или в Scopus) или открытый (Российский индекс научного цитирования, Google Scholar) [14].
При анализе результатов научной деятельности совершенно необходимо связывание, идентификация объектов учета в библиографической базе данных: публикации (статья, диссертация, монография и др.), авторы, научные журналы, проведенные научно-практические конференции, организации (для аффилиации авторов и публикаций), грантообразующие фонды и организации и др.
Актуальным остается вопрос о полноте, или охвате результативности научной деятельности в рамках наукометрического анализа (в каких и в скольких наукометрических базах данных целесообразно проводить поиск), при котором необходимо использовать методы квалифицированного отбора публикаций с обеспечением необходимой полноты и качества [15].
В связи с активных развитием информационных технологий процедура учета результативности научной деятельности приобретает более сложный характер. Современные аналитические инструменты позволяют обобщать данные по различным параметрам и наглядно представлять полученные результаты в разных формах: диаграммы, гистограммы, графики, кластерное представление, карты и др. Сегодня возникает потребность и необходимость использования различных инструментов наукометрического анализа для взаимодополнения и интеграции имеющихся данных в библиографических базах данных.
Для полноты анализа имеющихся результатов научной деятельности важно, чтобы для каждой публикации было указано тематическое направление и рубрика Государственного рубрикатора научно-технической информации. Учитывая такие факторы, как возросший объем публикаций за последние годы по всем научным специальностям, развитие самой науки и появление новых научных направлений и дисциплин, существование параллельных тематических рубрикаторов в разных библиографических базах данных – возникает необходимость в создании связей между тематическими классификаторами, что позволяет решить проблему автоматической тематической классификации результатов научной деятельности [7].
Качество представленных материалов в библиографических базах данных. Важно, чтобы индексируемые материалы содержали достоверные, корректные, достаточно полные сведения. Качество наукометрических данных может носить различный характер: от использования нелатинского алфавита, различия форматов представленных метаданных до игнорирования заполнения необязательных полей при загрузке в базы данных и ошибок «человеческого фактора».
Наличие различных информационных систем для учета результатов научной деятельности. Проведенный анализ имеющихся научных данных (научные публикации по вопросам научного обеспечения, нормативно-правовые публикации в отрасли науки и высшего образования, приказы и распоряжения различных ведомств Российской Федерации, нормативные документы фондов грантовой поддержки) показал, что на сегодняшний день существует определенное количество информационных систем в сфере научно-исследовательской деятельности, в рамках которых осуществляется учет результатов [6]. Выделим наиболее значимые информационные системы учета результатов научной деятельности.
Единая государственная система учета научно-исследовательских и опытно-конструкторских работ гражданского назначения, которая предназначена для учета сведений о научных исследованиях и разработках, проводимых в Российской Федерации по всем областям знаний.
База данных, содержащая сведения об оценке и о мониторинге результативности деятельности научных организаций, выполняющих научно-исследовательские, опытно-конструкторские и технологические работы гражданского назначения, основная цель которой – информационное обеспечение процесса оценки результативности деятельности научных организаций [3].
Отдельно можно выделить информационные системы фондов поддержки научных исследований, среди которых Российский фонд фундаментальных исследований (в 2022 году переименован в Российский центр научной информации), Российский научный фонд и др.
Информационная система ИСТИНА (Интеллектуальная Система Тематического Исследования НАукометрических данных) используется в Московском государственном университете имени М.В. Ломоносова.
В Федеральной службе исполнения наказаний в рамках опытной эксплуатации используется информационная система учета результатов научной деятельности научных и образовательных организаций ФСИН России (ИС «Наука УИС»), которая предназначена для автоматизации учета, сбора, обработки и анализа информации о научной и научно-технической деятельности научных и образовательных организаций ФСИН России.
Можно привести один показательный пример. В настоящее время, в рамках Стратегии цифровой трансформации отрасли науки и высшего образования предполагается созданий единой сервисной цифровой платформы для научного взаимодействия между научно-педагогическими работниками для возможности проведения совместных исследований, доступа к различным информационным базам данных, электронным цифровым ресурсам, фондам грантов на проведение научных исследований, формирования электронного портфолио ученых и т.п. Реализация данного проекта связана с необходимостью формирования адресных механизмов поддержки научной деятельности, развития репутационных механизмов регулирования в науке, формирование национальной цифровой платформы для обеспечения информационной поддержки исследователей. Это достаточно сложный, масштабный и финансово затратный проект и он имеет важную информационно-прикладную значимость для научно-исследовательской деятельности. Как известно, с 2013 по 2017 год был реализован проект «Карта российской науки» – специальная информационная система, которая была создана для автоматического обновления информации об ученых-исследователях, научных коллективах, российских научных и образовательных организациях, осуществления сопоставительного сравнительного анализа показателей эффективности научно-исследовательской деятельности. Но конечные результаты работы в рамках информационной системы «Карта российской науки» показали неудовлетворительные результаты работы данной системы и ее отдельных сервисов за четыре года опытной эксплуатации.
Следует подчеркнуть, что вышеперечисленные информационные системы в целом существуют независимо друг от друга и при этом в каждой информационной системе существуют проблемные аспекты систематизации имеющихся данных, что в целом сказывается на полноте и достоверности предоставляемой информации по результативности научной деятельности. Кроме того, необходимое сопровождение информационных систем, поддержка и обновление значимых параметров данных представляет собой достаточно трудоемкий процесс для различных пользователей и участников сопровождения информационных систем [16].
Для полноты и качества учета результатов научной деятельности как научно-педагогических работников, так и научных и образовательных организаций, по мнению исследователей, необходимо трансформировать систему государственного мониторинга научной деятельности, которая сейчас представляет собой ежегодное заполнение определенных отчетных форм федерального статистического наблюдения. Более качественным подходом может являться сбор, анализ, учет различных научных данных, что позволит выявлять перспективные направления научных исследований, увеличивать количество поставленных научных задач, осуществлять своевременную информационную поддержку для руководителей в сфере науки в целях принятий управленческих решений.
Помимо традиционных вышерассмотренных параметров учета результативности научной деятельности: публикационная активность научно-педагогических работников и цитируемость их статей в различных библиографических базах данных, в контексте наукометрического анализа значимым представляется оценка научной деятельности специально отобранными экспертами, которые имеют определенный вес в научном профессиональном сообществе. Такой подход представляется достаточно перспективным (хотя и трудоемким): использование как наукометрических, библиометрических показателей деятельности отдельных ученых и организаций в рамках использования выбранной информационно-аналитической системы, так и экспертной, авторитетной оценки результатов научной деятельности. Таким образом можно проводить полноценный, комплексный анализ содержания и качества научно-исследовательских и опытно-конструкторских работ, формулировать интерпретируемое представление количественных показателей результативности научной деятельности, выполняемыми за представленный период отдельными исследователями, научными школами, научными и образовательными организациями, отраслями науки в целом [17].
Сегодня для решения задач управления в сфере науки и образования, в контексте результативности научной деятельности, внедряют различные системы оценки. Это позволяет, с одной стороны, определять, на уровне регионов Российской Федерации, ведущие центры научного знания, с другой – распределять финансирование и определять перспективные направления развития научных исследований, с третьей – выделять наиболее значимые научные коллективы. Наукометрические подходы важны в разрезе цифровой трансформации отрасли науки и высшего образования, более того, они располагают к научной коммуникации в существующем информационном обществе, что значимо для развития научной деятельности в целом.
1. Arskiy A.A. Ocenka ekonomicheskoy effektivnosti nauchnyh issledovaniy // Vestnik Moskovskogo finansovo-yuridicheskogo universiteta MFYuA. [Bulletin of the Moscow University of Finance and Law MFUA] 2022. № 1. pp. 83-86. (in Russian)
2. Bakanova N.B. Mnogokriterial'naya ocenka publikacionnoy rezul'tativnosti nauchnyh podrazdeleniy organizacii // Iskusstvennyy intellekt i prinyatie resheniy. [Artificial intelligence and decision-making] 2022. № 3. pp. 88-95. (in Russian)
3. Grishakina E.G., Ilieva S.Yu., Komarov N.M., Vershinin I.V. Monitoring rezul'tativnosti nauchnoy deyatel'nosti organizaciy, vypolnyayuschih issledovaniya i razrabotki, na osnove dannyh FSMNO - BD RD NO // Upravlenie naukoy i naukometriya. [Science Management and scientometrics] 2020. Tom 15. № 2. p. 223-250. (in Russian)
4. Gusev A.B., Doronina E.G., Vershinin I.V. Malahov V.A. Monitoring i ocenka rezul'tatov nauchno-tehnicheskoy deyatel'nosti: zarubezhnyy opyt i rossiyskaya praktika // Nauka. Innovacii. Obrazovanie. [The science. Innovation. Education.] 2018. Tom 13. № 1. p. 65-91. (in Russian)
5. Gus'kov A.E., Shrayberg Ya.L. Vyzovy dlya razvitiya naukometricheskih issledovaniy // Nauchnye i tehnicheskie biblioteki.[Scientific and technical libraries.]. № 2. pp. 37-58. (in Russian)
6. Doronina E.G. Gosudarstvennye informacionnye sistemy dlya upravleniya nauchnoy sferoy: sovremennoe sostoyanie i puti ustraneniya nedostatkov // [Nauka. Innovacii. Obrazovanie] 2018. Tom 13. № 4. pp. 103-119. (in Russian)
7. Drobot A.N., Ryabova N.V. Perspektivy avtomatizacii ucheta rezul'tatov nauchnoy i nauchno-tehnicheskoy produkcii, sozdannoy v penitenciarnoy sluzhbe strany / Aktual'nye voprosy informatizacii Federal'noy sluzhby ispolneniya nakazaniy na sovremennom etape razvitiya ugolovno-ispolnitel'noy sistemy. Sbornik materialov kruglogo stola [Actual issues of informatization of the Federal Penitentiary Service at the present stage of development of the penal system. Collection of materials of the round table], Tver', 24 iyunya 2019 goda. Tver': FKU NIIIT FSIN Rossii, 2019. S. 60-66.
8. Emelin N.M. Kriterii i pokazateli rezul'tativnosti deyatel'nosti gosudarstvennyh nauchnyh centrov // Izvestiya Instituta inzhenernoy fiziki.[proceedings of the Institute of Engineering Physics] 2023. № 1 (67). pp. 97-99. (in Russian)
9. Emel'yanova E.E., Lapochkina V.V. Nauchnye kadry Rossii: tendencii, problemy, perspektivy // EKO.[Eko] 2022. № 4 (574). pp. 31-56. (in Russian)
10. Eroshin S.E. Analiz pokazateley ocenki effektivnosti deyatel'nosti organizaciy, osuschestvlyayuschih nauchnye issledovaniya // Upravlenie naukoy: teoriya i praktika. [Management of science: theory and practice] 2022. Tom 4. № 1. pp. 40-53. (in Russian)
11. Zhores Alferov. O nevostrebovannosti nauki [About the lack of demand for science] [Elektronnyy resurs]. Rezhim dostupa URL: https://izborsk-club.ru/3946 (data obrascheniya 11.01.2023).(in Russian)
12. Kazakova A.A., Oynac S.N. K voprosu o naukometricheskih pokazatelyah pri ocenke nauchno-issledovatel'skoy deyatel'nosti // Naukosfera. [Sciencosphere] 2022. № 7-1. pp. 46-51. (in Russian)
13. Naukometriya i bibliometriya: zachem izmeryat' rezul'tativnost' nauchnogo truda i kak eto delayut v 2020 godu [Scientometry and bibliometry: why measure the effectiveness of scientific work and how it is done in 2020] [Elektronnyy resurs]. Rezhim dostupa URL: https://lala.lanbook.com/naukometriya-i-bibliometriya-zachem-izmeryat-rezultativnost-nauchnogo-truda? (data obrascheniya 11.01.2023). (in Russian)
14. Ponomarenko G.N., Sokurov A.V., Smirnova L.M., Ermolenko T.V. Naukometriya: perspektivy preodoleniya monopolii // Standarty i kachestvo.[Standards and quality] 2023. № 1. pp. 92-97. (in Russian)
15. Spasennikov V.V., Skancev V.M., Molchanova N.V. Publikacionnaya aktivnost' i produktivnost' prepodavateley v zerkale naukometrii // Ergodizayn.[Ergodesign] 2022. № 1 (15). pp. 55-65. (in Russian)
16. Trofimova I.N. Nacional'nye issledovatel'skie universitety: status i rezul'taty deyatel'nosti // Sociologiya nauki i tehnologiy. [Sociology of Science and Technology.] 2022. Tom 13. № 1. pp. 116-129. (in Russian)
17. Haladov H-A.S., Golovina I.V., Paputkova G.A. Publikacionnaya aktivnost' pedagogicheskih vuzov: kolichestvennye i kachestvennye pokazateli // Vysshee obrazovanie v Rossii.[Higher education in Russia] 2022. Tom 31. № 2. pp. 58-67. (in Russian)
