Saint-Petersburg, St. Petersburg, Russian Federation
Moscow, Moscow, Russian Federation
The paper considers an approach that allows reducing the subjectivity of experts’ opinions when evaluating dissertations, as well as assessing the likelihood of their completion being successful. The approach is based on using expert evaluation expressed as linguistic variables on graduate students (adjuncts)’ elaboration depth of individual sections of their dissertations. Following this, an analytical model is formed, which is grounded on the theory of experiment planning.
fuzzy sets, experiment planning, expert evaluation, linguistic variable, depth of factor elaboration
Введение
Современная динамика научно-технического прогресса способствует росту формирования новых научных школ и направлений исследования, а также требует все более взвешенного подхода к оценке качества и сроков подготовки отечественных научных кадров в образовательных и научно-исследовательских организациях [1, 2].
Необходимость движения в этом направлении подтверждается и недавно введенными в Федеральный закон «Об образовании в Российской Федерации» изменениями, касающимися результатов обучения в аспирантуре (адъюнктуре).
До недавнего времени в соответствии со статьёй 59 пункт 4 Федерального закона 273-ФЗ (ред. от 31.07.2020) [3] окончание обучения в аспирантуре (адъюнктуре) завершалось государственной итоговой аттестацией, целью которой являлось «определение соответствия результатов освоения обучающимися основных образовательных программ соответствующим требованиям федерального государственного образовательного стандарта или образовательного стандарта» При положительном результате сдачи аттестации (статья 60 пункт 7) обучающийся получал «диплом об окончании соответственно аспирантуры (адъюнктуры) с последующим отчислением «в связи с получением образования (статья 59 пункт 17).
В настоящее время в соответствии со статьёй 59 пункт 3.1 Федерального
закона 273-ФЗ (ред. от 30.12.2020 № 517-ФЗ) [4], определено, что окончание обучения в аспирантуре (адъюнктуре) завершается «итоговой аттестацией по программам подготовки научных и научно-педагогических кадров в аспирантуре (адъюнктуре) в форме оценки диссертации на соискание ученой степени кандидата наук на предмет её соответствия критериям, установленным в соответствии с Федеральным законом от 23 августа 1996 года N 127-ФЗ (ред. от 16.04.2022) «О науке и государственной научно-технической политике»».
«Лицам, успешно прошедшим итоговую аттестацию» (статья 60 пункт 7.1) [4]
«по программам подготовки научных и научно-педагогических кадров в аспирантуре (адъюнктуре), выдается заключение о соответствии диссертации на соискание ученой степени кандидата наук критериям, установленным в соответствии с Федеральным законом от 23 августа 1996 года N 127-ФЗ (ред. от 16.04.2022)» и «свидетельство об окончании аспирантуры (адъюнктуры)», с последующим отчислением «в связи с получением образования» (статья 59 пункт 17).
«Лицам, не прошедшим итоговой аттестации или получившим на итоговой аттестации неудовлетворительные результаты» (статья 60пункт 12), «а также лицам, освоившим часть образовательной программы и (или) отчисленным из организации, осуществляющей образовательную деятельность, выдается справка об обучении или о периоде обучения по образцу, самостоятельно устанавливаемому организацией, осуществляющей образовательную деятельность».
Таким образом, изменения в Федеральном законе «Об образовании в Российской
Федерации» косвенно заставляют обучающихся, в данном случае аспирантов и адъюнктов – соискателей ученой степени (далее – соискателей), более осознанно подходить к выделению и использованию времени для подготовки диссертации уже в самом начале их обучения в аспирантуре (адъюнктуре).
По мнению авторов статьи, одним из показателей, отражающим успешность работы соискателей над диссертациями, может рассматриваться показатель интенсивности их деятельности в период обучения в аспирантуре (адъюнктуре). Причем данный показатель целесообразно рассматривать, прежде всего, для первого года обучения соискателей, поскольку эффективность вложенного труда в этот период может оказать влияние на успешность завершения диссертационной работы в установленные сроки.
Показатель интенсивности деятельности соискателей в процессе выполнения диссертационной работы может быть оценен, исходя из мнения независимого эксперта при предварительном оценивании глубины проработанных соискателем задач, составляющих основу большинства кандидатских диссертаций. В качестве таких задач могут быть рассмотрены: формулировка темы работы, определение цели работы, выбор объекта исследования, анализ литературы по выбранной теме исследования, выбор способа обработки получаемых данных исследования и другое.
Высказанное экспертом мнение об уровне проработанности того или другого раздела диссертации может быть выражено как в количественной, так и в качественной форме. Безусловно, в обоих случаях мнение будет зависеть от уровня подготовленности эксперта в требуемой области знания и носить субъективный характер. Следует также понимать, что при оценивании одной и той же диссертационной работы несколькими экспертами, существует вероятность несовпадения их мнений.
В предлагаемой статье рассмотрен один из вариантов, позволяющий снизить уровень субъективности мнений экспертов при предварительном оценивании глубины проработки нескольких разделов (далее – факторов) диссертационной работы, а также спрогнозировать, исходя из учета мнений экспертов, перспективность ее успешного завершения.
Рассмотрим ситуацию, когда эксперты оценивают уровень выполнения диссертационной работы, анализируя глубину проработки следующих факторов:
X1– актуальность темы исследования, цель работы и задачи по её реализации;
X2 – анализ публикаций по теме исследования;
X3 – выбор и обоснование методов исследования;
X4 – математическое обеспечение исследования.
Тогда для определения уровня глубины проработки каждого из факторов, учитывая их нечёткий характер, эксперты могут воспользоваться методом ранжирования факторов с последующим решением задачи многокритериального выбора в условиях неопределённости нестатистического характера. Такой подход, в целом, основан на применение аппарата размытых множеств и методологии теории планирования эксперимента, изложенного в труде [5],и позволяет строить для решения многокритериальных задач гибкие результирующие свертки показателей, учитывающие их взаимосвязь в виде парных, тройных и других эффектов.
Исходя из сказанного выше, эксперты могут предварительно представить результаты оценивания факторов (X1, X2, X3, X4) в виде лингвистических переменных, сузив оценку глубины предварительной проработки каждого из факторов до двух качественных уровней «Высокий (В)» или «Низкий (Н)», а затем суммарную оценку готовности для каждой из рассмотренных диссертационных работ выразить в виде лингвистических переменных «Низкий (Н)», «Ниже среднего (НС)», «Среднего (С)», «Выше среднего (НС)», «Высокий (В)». Реализация процесса оценивания факторов одним экспертом приведена
в таблице 1.
Таблица 1.
Матрица опроса одного эксперта
Table 1.
Matrix of one expert's survey
Представленные в таблице 1 мнения эксперта наглядно показывают нечеткий характер выставленных оценок, как по отдельным факторам, так и по выполнению данного этапа каждой из рассмотренных диссертационных работ в целом. Так, например, по диссертационной работе № 2 представлено следующее мнение эксперта. Если показатели X1 и X4 имеют значение «Высокий (В)», а показатели X2 и X3значение «Низкий (Н)», то результирующий показатель глубины проработки рассматриваемой работы этим экспертом оценивается как «Ниже среднего (НС)». Следует подчеркнуть, что если оценка конкретных факторов ограничена жесткими условиями оценивания, а именно либо «В», либо «Н», то суммарная оценка проработки факторов является менее резкой, а именно «НС». При этом все эти оценки остаются субъективным мнением данного эксперта.
Поскольку полученные лингвистические оценки трудны для сравнения, то имеется необходимость представить их в виде числовых значений. Для представления предложенных экспертом суммарных оценок по каждой работе в виде лингвистических переменных могут быть использованы термы, представленные на рисунке 1. Причем численное ранжирование термов на шкале от 0 до 1 позволяет эксперту преобразовать суммарные оценки, предварительно выставленные им в форме лингвистических переменных (таблица 1), в числовом выражении, выбирая их числовые значения в соответствии с диапазоном ранжирования термов на шкале от 0,1 до 0,9.
Рис. 1. Термы лингвистических переменных оценки фактора «Глубина проработки научной задачи»
Fig. 1. Terms of linguistic variables of evaluation of the factor "Depth of study of a scientific problem"
Таким образом, суммарную качественную оценку «Ниже среднего», выставленную по работе № 2, эксперт может представить любым числовым значением из диапазона
от 0,2 до 0,4.
Для подведения окончательного вывода о готовности работы каждого из соискателей рассчитывается параметр, который может представлять собой, например, полином в виде выражения (1) предложенного в работе [5, стр. 190].
|
|
(1) |
где – параметр цели, зависящий от факторов исследуемого объекта F1, F2 и т.д.;
и т.д. – коэффициенты регрессии.
В нашем случае для определения степени готовности работы рассчитывается результирующий показатель (Fрез), учитывающий влияние как отдельно взятых частных факторов
X1, X2, X3, X4, так и влияние их совокупностей в виде парных эффектов
X1X2 (X12), X1X3 (X13), X1X4 (X14).При этом выражение полинома для расчёта (Fрез (u))может быть представлено несложным линейным уравнением:
|
|
(2) |
Для численной реализации выражения (2)значения всех нечетких частных факторов
(X1, X2, X3, X4), а также их парных эффектов, сводятся к бинарным величинам, принимающим значения +1 или -1. При этом (+1) соответствует верхнему уровню анализируемых факторов, а (-1) – нижнему уровню. Такое представление учитываемых факторов позволяет использовать методологию планирования эксперимента для определения параметров разделяющей поверхности, позволяющей с определенной степенью точности определять доминирующие для данной ситуации нечеткой оценки показателей предварительной проработки научных исследований термы результирующего показателя повышения интенсивности подготовки соискателей.
В результате приведения оценок факторов (X1, X2, X3, X4), выполненных экспертом в форме лингвистических переменных (из таблицы 1), к бинарным величинам, а также учет их парных эффектов: X1X2(X12), X1X3(X13), X1X4(X14) формируется план полного факторного эксперимента.
В таблице 2 представлено приведение результата опроса по каждой работе (u) одного эксперта в форме лингвистических переменных к бинарным значениям. Матрица планирования содержит линейно независимые столбцы и является ортогональной.
Исходя из таблицы 2 при решении уравнения (2) считаем, что значения членов уравнения, отражающие точки факторного пространства и влияющие на величину являются взаимно независимыми случайными величинами с нормальным законом распределения дисперсий (основные условия применимости регрессионных методов анализа). При принятых условиях, величины коэффициентов регрессии λ1, λ2,…, λ12 будут определять вклад отдельных факторов их комбинаций (при предварительной проработке выполненных диссертационных работах) в изменение результирующего показателя
при переходе их значений на верхний (+1) или нижний (-1) уровни.
Таблица 2.
Ортогональный план опроса первого эксперта
Table 2.
Orthogonal plan of the first expert’s survey
Теперь представим, что для того чтобы избежать субъективности мнения одного эксперта, в оценивании этих же диссертационных работ участвует три эксперта.
Опуская вопросы формирования группы из трех экспертов и организации опроса мнений вторым и третьим экспертом, будем считать, что в результате опроса трех экспертов о готовности соискателей по восьми работам сформировалось индивидуальное мнение экспертов (W1(u), W2(u), W3(u)), представленное в числовом выражении, а также их усредненное мнение (Wср(u)) по каждой работе (таблица 3).
=
где – количество экспертов; j – порядковый номер эксперта.
Тогда, принимая во внимание ортогональность столбцов матрицы (таблица 2) и усредненное мнение экспертов по каждой работе (таблица 3), а также учитывая рекомендации методики [5], могут быть рассчитаны коэффициенты регрессии
(λ0, λ1, λ2,…, λ12) для всех слагаемых полинома.
Поскольку в нашем случае в расчетах используется усреднённое мнение экспертов (Wср(u)) по каждой работе, авторы статьи считают возможным воспользоваться для расчёта коэффициентов регрессии оценками по факторам и их комбинациям предложенными только первым экспертом (таблица 2).Тогда
|
|
|
где Х0(u) – максимально допустимый высокий уровень готовности работ, выраженный в бинарных единицах;
λ0 – среднеарифметический коэффициент регрессии, учитывающий усреднённое мнение (Wср(u)) всех экспертов по всем работам при максимально допустимом высоком уровне готовности работ.
Подставляя значения в уравнение 3, получим
Таблица 3.
Результаты обработки мнений трех экспертов
Table 3.
Results of processing the three experts’ opinions
Таким же образом рассчитываем остальные коэффициенты регрессии (λ1, λ2 и т.д.) для соответствующих факторов Х1(u), Х2(u), …, Х14(u):
Полученные результаты представлены в таблице 4.
Таблица 4.
Коэффициенты регрессии
Table 4.
Regression coefficients
Далее, используя выражение (2)рассчитаем результирующие показатели для всех работ.
Например, для работы № 1:
Полученные таким же способом результирующие показатели для всех работ приведены в таблице 5.
Поскольку обучение в аспирантуре (адъюнктуре) это не только написание диссертации, но и выполнение определенного учебного плана (значительного по объему и конкретного по срокам сдачи), что до некоторой степени уравнивает временные возможности в написании диссертаций соискателями, то, расположив рассчитанные в таблице 5 результирующие показатели в порядке их убывания, можно с определенной уверенностью выстроить ожидаемые уровни готовности диссертаций для представления их на государственной итоговой
аттестации и вероятные сроки их защиты (таблица 6). Представленные в таблице 6 значения (Fрез) свидетельствуют, что полученные при расчете конечные (результирующие) показатели и соответствующие им уровни готовности диссертационных работ могут отличаться от оценок (мнений), высказанных каждым из экспертов.
Заключение
Полученные результирующие показатели готовности работ (таблица 6) дали следующий результат. В первую очередь это касается работы № 8, имевшей по мнению экспертов (таблица 3) высокий уровень готовности (Wср(8)=0,8), но оказавшейся на третьем месте в оцениваемом диапазоне сроков её завершения. Раньше всего может быть закончена диссертационная работа № 6, конечно при сохранении темпов, который задал выполняющий её соискатель. Ненамного от нее отстает работа № 4. Сроки завершения подготовки диссертационной работы № 5 могут сильно затянуться, что может сказаться на актуальности выполняемой работы и смысле дальнейшего продолжения ее выполнения. Работы № 1 и № 3 при сохранении темпов их исполнения могут вообще быть незакончены.
Таблица 5.
Результирующие показатели для восьми работ
Table 5.
The resulting indicators for eight works
Таблица 6.
Ориентировочные сроки готовности диссертаций к защите
Table 6.
Approximate terms of dissertation’s readiness for defense
Таким образом, наличие значительного количества оцениваемых факторов и использование мнений нескольких экспертов позволяет получить более реальную картину готовности аспирантов (адъюнктов), а предварительная экспертная оценка глубины проработки задач (факторов) позволяет дать предварительную оценку сроков завершения работы над диссертациями.
1. Kuleshov Yu.V., Lomako A.G., Maltsev G.N., Rakhmanov A.A. Up-To-Date Problems of Higher Qualified Scientific Manpower Training in the Military Science Specialties and the Guidelines of Its Improvement. Armament and Economics. 2019;2(48):59-82.
2. Moldovanova S.M., Bagretsov S.A. Model of Professional Training of Scientific, Pedagogical and Scientific Personnel at the University, Taking Into Account the Dynamics of Improving Weapons Systems. Proceedings of the Mozhaisky Military Space Academy. 2019;668:335-342.
3. Federal Law No. 273-FZ of 2012 Dec 29 (as Amended on 2020 Jul 31) on Education in the Russian Federation.
4. Federal Law No. 517-FZ of 2020 Dec 30 on Amending the Federal Law on Education in the Russian Federation and Certain Legislative Acts of the Russian Federation.
5. Mikoni S.V., Sokolov B.V., Yusupov R.M. Qualimetry of Models and Polymodal Complexes. Moscow: RAN; 2018. 314 p. DOIhttps://doi.org/10.31857/S9785907036321000001.
6. Pechnikov A.N., Yakuba G.A. The Adjunct’s Initial Level of Training and Creativity Property As Factors of a Ph.D. Thesis Successful Defence. Ergodesign. 2021;1(11):64-69. DOIhttps://doi.org/10.30987/2658-4026-2021-1-64-69.
