Введение

Рецензируемый ежеквартальный журнал «Эргодизайн» публикует результаты научно-исследовательской деятельности преподавателей вузов, сотрудников научно-исследовательских организаций, работников предприятий, аспирантов и докторантов по трем научным специальностям:

02.03.04- Управление в организационных системах;

05.03.03- Психология труда, инженерная психология, когнитивная эргономика;

05.12.04- Когнитивное моделирование.

Журнал «Эргодизайн» (далее журнал) включен в Перечень ведущих рецензируемых научных журналов и изданий, в которых должны быть опубликованы основные научные результаты диссертаций на соискание ученой степени кандидата и доктора наук, в систему Российского индекса научного цитирования (РИНЦ) и Единый перечень государственных научно-периодических изданий ЕПГНИ («Белый список» (К2) (Сведения о журналах, включённых в актуальную версию «Белого списка» (протоколы заседания Межведомственной рабочей группы по формированию и актуализации «Белого списка» научных журналов от 11.07.2024 №ДС/25-пр, от 15.05.2023 №ДС/17-пр, от 20.10.2022 №ДА/3855-пр) https://journalrank.rcsi.science/ru/).

Вопросам управления редакционно-издательской деятельностью журналов и оценки качества публикуемых статей и их рейтингованию уделяют неослабное внимание как в отечественных, так и в зарубежных исследованиях. Так, например В.С. Анищенко, 2017 [1] ставит под сомнение вопрос об объективности наукометрических индексов в оценке достижений ученых; С.В. Бредихин, В.М. Ляпунов, С.Г. Щербакова, 2020 [2] рассматривают динамику роста статей российских авторов в сетях цитирования; О.В. Кириллова и Е.В. Тихонова, 2022 [3] подвергают анализу представления редакторов журналов о качестве публикаций и возможностях продвижения журналов в международных наукометрических базах данных. 

В интересах оценки качества научных статей и журналов используется широкий арсенал наукометрических и экспертных методов  российских и зарубежных авторов: А.В. Киричек, А.В. Морозова, В.В. Спасенников, 2018 [4]; О.С. Логунова, Е.А. Ильина, К.М. Окжос, 2016 [5]; С.В. Марвин, 2019 [6]; О.В. Москалева, М.А. Акоев, 2020 [7]; Ю.Г. Мыслякова, 2022 [8]; А.Я Рубинштейн, Н.А. Бураков, 2022 [9]; Y. Bai., J. Du, 2022 [14]; L.  Bormann, R. Haunshild, 2017 [15]; J. E. Hirsch, 2010 [16] и др.

Однако анализ вышеперечисленных работ показывает, что вопросам рейтингования статей и оценки их значимости с учетом мнений и формализованных экспертных оценок рецензентами, а также связей показателей цитируемости и альтметрик для управления редакционной политикой уделяется явно недостаточное внимание. Целью настоящей статьи является устранение указанного недостатка на примере анализа качества и репутационного рейтинга статей журнала «Эргодизайн» за пятилетний период по материалам научной электронной библиотеки. Материалами для организации и проведения исследования стали статистические данные, представленные в научной электронной библиотеке, которые подверглись мониторингу с использованием экспертных оценок рецензентов научных статей с последующей корреляционной обработкой.

Критерии качества научного журнала и определение наиболее цитируемых статей

Как было показано в наших предыдущих работах: В.В. Спасенников, 2025 [10]; К.Ю. Андросов, М.Ю, Рытов, В.В. Спасенников, 2022 [11] для оценки качества научного журнала может быть использована десятибалльная шкала (шкала стенов), которая построена на базе индикаторов предложенных О.В. Кирилловой и Е.В. Тихоновой, 2022 [3].

Результаты экспертной оценки качества журнала «Эргодизайн» по шкале стенов, которые дал главный редактор, представлены ниже:

Академический вклад в область знаний (2.3.4 и 5.3.3) K1=6+8/2  =7

Соответствие статей рубрикам журнала K2= 9

Качество рецензирования статей K3 = 8

Этическая политика журнала K4 = 10

Доступность контента (русский и английский язык) K5 = 10

Регулярность и количество выпусков журнала в год K6= 10

Качество и обьем аннотаций статей K7 = 7

Цитируемость статей журнала в ядре РИНЦ K8 = 3

Авторитетность членов редсовета и редколлегии K9 = 8+10/2 = 9

Тематические области журнала K10 = 8+9+10/3 = 9

Полученные результаты свидетельствуют о том, что есть показатели, которые следует улучшать. R ним относятся следующие:

• академический вклад в область знаний,
• качество аннотирования статей,
• необходимость работы авторов и редколлегии журнала по повышению цитируемости статей в международных наукометрических базах данных.

Позитивным моментом по мнению главного редактора является отсутствие необходимости изменять регулярность и количество выпусков журнала в год, а также доступность контента на русском и английском языках.

Следует признать лидерство США по количеству журналов в сфере эргономики и дизайна, это объясняется тем, что журналы международных наукометрических баз WoS и Scopus по эргономике и смежным наукам преимущественно англоязычные и требуют англоязычной метаинформации (названия, аннотации, ключевые слова), что ограничивает видимость работ на других языках. Именно поэтому цитируемость статей журнала «Эргодизайн» в международных наукометрических базах данных маловероятна, однако в ядре РИНЦ имеются родственные журналы, неформальные коллаборации с которыми подробно освещены в работе: В.В. Спасенников, 2025 [10].

Значительный интерес для повышения качества научного журнала представляет анализ таких альтметрик как: статистика просмотров статей журнала за год, число загрузок и вероятность цитирования после прочтения, которые показаны соответственно на рисунке 1 , рисунке 2 и рисунке 3.

Динамика просмотра статей за период с 2020 по 2024 гг. (рис.1) показывает неуклонный рост с 1590 до 4037 ежегодных просмотров, что свидетельствует о неуклонном росте интереса к публикуемым статьям в журнале. Однако закрытым остается вопрос о том, насколько значимы данные просмотров для различных категорий научной аудитории журнала (студентов, аспирантов, научных сотрудников, преподавателей либо это случайное любопытство).

Как видно из рис.2 количество загрузок статей также растет, исключение составляет относительное снижение загрузок статей в 2024 году. С 2020 по 2024 год число загрузок статей выросло почти в три раза, что дает основание выдвинуть предположение о росте вероятности цитирования статей.

Вполне очевидно, что чем выше процент соотношения загрузок статей к числу их просмотров, тем выше вероятность их цитирования (рисунок3.). Из рисунка следует, что после 2022 года наблюдается некоторое снижение вероятности цитирования статей. Можно предположить, что помимо загрузок статей существует положительная корреляционная связь между цитируемостью статей, их включением в подборки и экспертной рейтинговой оценкой рецензента. Данное предположение требует отдельного исследования.

Рис. 1. Число просмотров статей за год (с 2020 по 2024 гг.)

Fig. 1. Number of article views per year (from 2020 to 2024)

Рис. 2. Количество загрузок статей за год (с 2020 по 2024 гг.)

Fig. 2. Number of article downloads per year (from 2020 to 2024)

Рис. 3. Вероятность цитирования статьи после прочтения (%) с 2020 по 2024 гг.

Fig. 3. The probability of quoting an article after reading (%) from 2020 to 2024.

На рисунке 4 представлена динамика изменения двухлетнего импакт-фактора РИНЦ без учета самоцитирования. Среднее значение импакт-фактора за пятилетний период составляет IF=0,42. Данный показатель свидетельствует о достаточно высоком уровне цитируемости журнала «Эргодизайн» в отечественных научных статьях.

Рис. 4. Двухлетний импакт-фактор РИНЦ журнала «Эргодизайн» без самоцитирования.

Fig. 4. The two-year impact factor of the RSCI journal Ergodesign without self-citation.

На рисунке 5 отражены значения среднего индекса Хирша ( h-индекса) авторов журнала за пятилетний период. Среднее значение индекса Хирша за данный период времени составляет h=11, что свидетельствует о высокой публикационной активности авторов по вопросам управления организационными системами и специалистов в сфере эргодизайна и когнитивной эргономики, значительную часть которых составляют кандидаты и доктора наук.

Рис. 5. Средний индекс Хирша авторов журнала в период с 2020 по 2024 гг.

Fig. 5. Average Hirsch index of the journal's authors in the period from 2020 to 2024.

На рисунке 6 представлена динамика изменения коэффициента самоцитирования журнала, которая имеет положительную тенденцию к снижению. Однако можно констатировать, что скорость снижения самоцитирования является недостаточной. Данный факт можно объяснить тем, что на данный момент времени существует немного журналов по научному направлению 05.03.03-Психология труда, инженерная психология, когнитивная эргономика (технические науки).

На рисунке 7 показана динамика изменения процентиля журнала «Эргодизайн» в рейтинге SCIENCE INDEX (SI), который для журнала в едином перечне государственных научно-педагогических изданий в квартиле (К2) имеет достаточно высокое среднее значение (SI=72), что вызывает стремление в редакционной политике к снижению данного показателя. При этом следует учесть молодость журнала, который за 8 лет существования попал во второй квартиль российских журналов, что по мнению главного редактора является хорошим результатом.

Рис. 6. Двухлетний коэффициент самоцитирования журнала (%)

Fig. 6. Two-year self-citation rate of the journal (%)

Рис. 7. Динамика изменения процентиля журнала «Эргодизайн» в рейтинге SI.

Fig. 7. Dynamics of the Ergodesign magazine percentile change in the SI rating.

На рисунке 8. представлена динамика изменения пятилетнего индекса Херфиндаля-Хиршмана по цитирующим журналам, которая имеет позитивную тенденцию к снижению. Данный индекс рассчитывается как сумма квадратов процентных долей журналов. Цитирующих данный, по отношению к общему количеству цитирований. Чем меньше значение данного индекса, тем лучше, при больших значениях данного индекса это является свидетельством того, что журнал является домашним, то есть в основном авторы статей делают ссылки на данный журнал, что является определенным нарушением публикационной этики.

На рисунке 9. отражена позитивная динамика роста десятилетнего h-индекса Хирша, который вырос в 2024 году до значения h=13.

Индекс Хирша (концепция). Индекс Хирша позволяет упростить двумерное распределение «число работ – число ссылок», предполагая сопоставимую «сложность» создания работы и получения ссылки.

Индекс Хирша (определение). Учёный, опубликовавший  N  статей, имеет индекс h , если h  его статей цитируются не менее чем h  раз каждая, а любая из оставшихся N-h  статей – не более чем h  раз; для вычисления статьи упорядочивают по убыванию: C1≥C2≥C3≥  …; если Ck  – число ссылок на k -ю работу, то h=maxk:,Ck≥k , эквивалентно условиям Ck≥k  и Ck+1<k+1 ; иногда используют «компактную» запись граничного условия  Ck-k,Ck+1-k+1≤0 .

Рис. 8. Пятилетний индекс Херфиндаля-Хиршмана по цитирующим журналам.

Fig. 8. The five-year Herfindahl-Hirschman index for citation journals.

Индекс Хирша существенно зависит от области исследований: как правило, он ниже в технических науках, выше – в психологии, еще выше в экономических науках.

Ограничения h‑индекса [16]: не учитывает вклад сверхвысокоцитируемых единичных работ; не различает личный вклад в соавторстве; в стандартной схеме WoS не учитываются ссылки на книги и патенты (см. также [10], [12]).

Рис. 9. Динамика роста индекса Хирша журнала «Эргодизайн» с 2020 по 2024г

Fig. 9. Dynamics of the growth of the Hirsch index of the Ergodesign magazine from 2020 to 2024

На рисунке 10 отражена динамика изменения двухлетнего импакт-фактора журнала по ядру РИНЦ без самоцитирования, что свидетельствует о малом количестве цитирований статей журнала «Эргодизайн» в статьях журналов из ядра РИНЦ (менее 10% статей цитируются в высокорейтинговых журналах).

В таблице 1 представлены ТОП-10 статей журнала «Эргодизайн» за пятилетний период с 2018 по 2022гг. без учета самоцитированй, за данный период накоплена представительная статистика по альтметрикам, цитируемости статей и экспертным оценкам качества статей рецензентами по стобалльной шкале (В.В. Спасенников, М.Ю. Рытов, К.Ю. Андросов, 2022 [11]).

2. Репутационный рейтинг статей: анализ взаимосвязи цитирований, альтметрик и экспертных оценок рецензирования

Решение задачи определения репутационного рейтинга статей, опубликованных в журнале «Эргодизайн» за пятилетний период может быть осуществлено на основе анализа данных научной электронной библиотеки по количеству цитирований, просмотров, загрузок, включения в подборки,  а также экспертных оценок статей рецензентами.

Рис. 10. Двухлетний импакт-фактор журнала «Эргодизайн» по ядру РИНЦ без самоцитирования

Fig. 10. Two-year impact factor of the Ergodesign journal on the core of the RSCI without self-citation

Таблица 1.

ТОП-10 самых цитируемых статей журнала «Эргодизайн»

Table 1.

TOP 10 most cited articles in Ergodesign magazine

В массив эмпирических данных включены ТОП-20 статей журнала «Эргодизайн» по критерию высокого рейтинга цитирования, который имеет вариационный размах Cmin=10 до Cmax=38.

Как в отечественных, так и в зарубежных публикациях показано, что наукометрические индексы и альметрики слабо связаны между собой, однако в сочетании с экспертными оценками дают возможность осуществлять как качественный, так и количественный анализ репутационного рейтинга статей: В.В. Спасенников, 2025 [10]; А.Н. Хохлов, Г.В. Моргунова, 2021 [12], D.W. Aksnes, T.N. van Leeuwen, G. Sivertsen, 2014 [13]; P. Valderrama, E. Jimenez-Contreras, M. Escabias, M.J. Valderrama, 2022 [20]; M.A. Vera-Baleta, M. Thelwall, K. Kousha, 2019 [21],

Отдельный интерес представляют исследования, которые касаются сравнительного анализа показателей альтметрик и цитирования, рассматриваемые в работах: В.В. Спасенников, М.Ю. Рытов, К.Ю Андросов, 2022 [11], B. Hu, H. Gao, Sh. Zhao, X. Dong, 2025 [17]; R. J. Sternberg, A. Moravek, T. M. Vaz, R. M. Schneider, 2025 [18]; M. Szomszor, D. A. Pendlebury, J. Adams, 2020 [19] и др.

Объективизация данных наукометрии и экспертного оценивания возможна на основе синергетичесеого эффекта, который может достигаться за счет анализа показателей экспертной оценки статей, количества цитирований и альтметрик   P. Valderrama, E. Jimenez-Contreras, M. Escabias, M.J. Valderrama, 2022 [20]; T.L. Urban, 2025 [22].

Ключевые метрики авторов ТОП-20 статей журнала «Эргодизайн», включающие количество цитирований, показатели экспертного оценивания, а также альтметрики: число просмотров, количество включений в подборки и количество загрузок представлены в таблице 2.

Как видно из таблицы 2 наукометрический рейтинг статей связан в первую очередь с количеством их цитирований, однако репутационный рейтинг по нашему мнению в большей степени определяется экспертными оценками рецензентов и альтметриками, что может быть выявлено на основе отдельного исследования.

Упорядоченные, сгруппированные и табулированные данные как это видно из анализа данных таблицы 2 позволяют выдвинуть следующие предположения:

Таблица 2.

Сводные данные ТОП-20 наиболее цитируемых статей с учётом метрик рецензирования, просмотров, подборок и загрузок

Table 2.

Summary of the TOP 20 most cited articles based on review metrics, views, collections, and downloads

Количество просмотров статей и их цитирований находятся в обратной зависимости, так как большинство просмотров осуществляют студенты и аспиранты, проявляющие достаточно низкую публикационную активность в рубриках просматриваемых научных статей журнала.

Существует положительная корреляционная связь между показателями рецензионного экспертного оценивания статей и количеством их загрузок и включений в подборки, осуществляемых при диссертационных исследованиях соискателями ученой степени кандидата и доктора наук по специальностям соответствующим рубрикам научного журнала.

Для верификации выдвинутых гипотез вычислим соответствуюше парные корреляции показателей с использованием коэффициента ранговой корреляции Ч.Спирмена.

Примеры вычисления корреляционных зависимостей представлены в соответствующих таблице 3 и таблице 4.

Таблица 3.

Пример вычисления коэффициента ранговой корреляции Ч. Спирмена между количеством цитирования статей и числом их просмотров

Table 3.

An example of calculating the coefficient of rank correlation of Charles Spearman between the number of citations of articles and the number of their views

Коэффициент ранговой корреляции Спирмена вычисляется RH =1-6d2NN2-1 = 1-1,7173=-0.7173

  Ранговая корреляция является высокой на 5% уровне значимости. Высокое отрицательное значение свидетельствует об обратной связи количества просмотров и цитируемости статей в журнале. С позиций редакционной политики журнала этот факт связан с необходимостью привлечения к просмотру статей не только студентов и аспирантов, но и научных сотрудников и преподавателей, которые связаны с рецензированием статей и оппонированием диссертаций по направлениям 02.03.04 и 05.03.03.  Высокие наукометрические показатели, как упоминалось выше, связаны с качественным рецензированием статей, которые определяют репутационный рейтинг в триаде наукометрия-академическая этика-альтметрики. Для проверки данной гипотезы определим корреляционную связь по Ч. Спирмену между экспертной оценкой рецензентов и количеством включений статей в подборки таблица4.

В таблице 4 приведены данные вычисления коэффициента ранговой корреляции между экспертной оценкой рецензента Y и количеством включений статей в подборки W.

Коэффициент ранговой корреляции Спирмена вычисляется RISW=1-6d2NN2-1 = 1-0.1834=0.8166

Ранговая корреляция  является высокой на 5% уровне значимости. С позиций редакционной политики журнала «Эргодизайн» это означает наличие интереса читательской аудитории к статьям, выполненным на высоком научном уровне, что обусловлено включением статей в подборки и их загрузкой с последующим цитированием.

Редакционная политика журнала «Эргодизайн» должна учитывать подход, связанный с возможностью использования взвешенного индекса цитируемости журнала, который обеспечивается следующим образом:

Таблица 4.

Ранговая корреляция между рецензионной экспертной оценкой и количеством включения статей в подборки

Table 4.

Rank correlation between peer review and the number of articles included in the collections