Saint-Petersburg, St. Petersburg, Russian Federation
Military academy of communications named after Marshal of the Soviet Union S.M. Budyonny (department of radio communications, professor)
Saint-Petersburg, Russian Federation
The article presents the results of a study aimed at the possibility of using the Rush-Fergusson model to assess the work analysis results of rehabilitation institutions by the Federal Service for Supervising the Consumer Rights Protection and Human Welfare, based on the results of testing various groups of respondents. The paper considers the features of adapting the methods of modern testing theory for assessing the results of the respondents’ survey formed in accordance with the Likert scale, which does not use physically measured parameters. Judging by the results of considering logistic function properties, the one-parameter Rasch model and the generalized Rasch–Fergusson model, the latter is chosen due to the possibility of a reasonable generalization of the results obtained on its basis. The characteristic functions of the models under consideration are demonstrated and examples of their practical application are given. The results of processing data from testing various categories of respondents to assess the work of a rehabilitation centre are presented, based on the models under study. An original interpretation of latent variables is given, taking into account the object of study under consideration. An approach is proposed to assess the judgment similarity of various categories of respondents using Pearson correlation coefficients, which confirmed the findings obtained based on applying the Rasch and Rasch-Fergusson models. The feasibility of using models of modern testing theory to assess the service quality provided by rehabilitation institutions is shown, which allows one to consider the models adapted during the study as one of the control tools used in the work of the Federal Service for Supervising the Consumer Rights Protection and Human Welfare.
processing the respondents’ survey results, work of state sanitary and epidemiological supervision, rehabilitation, the Rush-Fergusson model, sanitation, modern testing theory
Введение
Одной из проблем реализации мероприятий любого контроля является вынесение объективных выводов по его результатам [1-3]. Наличие проверяющего как субъекта, однозначно приводит к возникновению субъективизма как непосредственно на стадии самой проверки, так и при подготовке заключений [4, 5]. Именно поэтому разрабатываются регламентирующие документы, определяющие показатели, используемые в качестве инструмента проверки, и критерии, в соответствии с которыми должны приниматься те или иные решения [6-8].
Однако даже в этом случае нельзя исключать возможность вынесения субъективных оценок со стороны контролирующих органов на том, или ином этапе проводимых мероприятий проверки. Поэтому на практике создаются дополнительные структуры, контролирующие порядок проведения контроля и объективность принимаемых ревизионными комиссиями решений [9].
Вместе с тем активное развитие технологий искусственного интеллекта и автоматизация процедур сбора информации о контролируемых объектах в надзорных учреждениях, отрывают новые возможности по повышению объективизации [10]. При этом следует понимать, что искусственный интеллект работает строго в рамках, вложенных в него алгоритмов. Следовательно, необходима не просто разработка нового методического обеспечения, но и формализация его до уровня возможной реализации в последующем обучении систем искусственного интеллекта, используемых в надзорных мероприятиях.
Методическое обеспечение такого уровня должно предусматривать возможность использования набора измеряемых показателей [11, 12], характеризующих контролируемый объект в поднадзорном учреждении и систему принятия решения, включающие критерии оценки по отдельным показателям, и обобщающие их алгоритмы, для формирования соответствующих выводов. И если частные оценки могут быть получены согласно нормативным требованиям [7], то при вынесении итогового решения могут возникать определенные сложности [13]. Это обусловлено несколькими обстоятельствами.
Во-первых, уровень важности показателей не всегда равнозначный, что как раз и обуславливает высокий уровень субъективности в принимаемых решениях. Во-вторых, механизмы оценки различных показателей могут иметь различные метрические системы, не позволяющие проводить их непосредственное сравнение.
Именно этот аспект, связанный с поиска объективных критериев в интересах формирования результирующей оценки по результатам проведенного контроля, является актуальными для повышения объективизации работы Федеральной службы по надзору в сфере защиты прав потребителей и благополучия человека, в том числе и с привлечением технологий искусственного интеллекта, и имеющими ярко выраженный прикладной характер. В рамках рассмотренной проблематики предлагаются результаты исследования возможности применения обобщенной модели Раша–Фергюссона для оценки различных аспектов контроля, использующих разнородные метрики.
1. Материалы, модели, эксперименты, методы и методики
Элементы современной теории тестирования (англ. – Item Response Theory) [14] находят самое активное применение в тех областях знаний, где необходимо осуществить моделирование и параметризацию результатов тестирования.
Сама теория базируется на парадигме, согласно которой между модельной предсказуемостью ответов и общим качеством знаний существует тесная взаимосвязь. При этом в интересах минимизации субъективизма в принятии окончательного решения [15], теория IRT исходит из необходимости отдельной оценки каждого вопроса с учетом его сложности по отношению к другим вопросам теста.
Такой подход коренным образом отличает методы IRT от классической модели оценивания, основанной на простом усреднении баллов, полученных за каждый ответ на вопрос. В результате становится возможным использовать параметры каждого тестового задания, для калибровки характеристической функции общей модели оценивая [16], т.е. открывается возможность прогнозирования получаемого ответа респондента, в зависимости от уровня его осведомленности об обсуждаемой проблеме или объекте исследования.
Ключевым моментом IRT является идея разделения параметров, которыми характеризуются тестируемые, от самих тестовых заданий. С таких позиций вероятность правильного ответа можно рассматривать как результат некоторого взаимодействия латентных параметров, характеризующих самого респондента и предоставленного ему задания [17]. При этом характер указанного взаимодействия будет зависеть от введенных допущений, которые, в свою очередь, определяют содержание описывающих их аналитической функции.
Современные способы оценивания IRT строятся на основе элементов конфирматорного (подтверждающего) факторного анализа, а также обобщенных линейных моделях смешанных эффектов, в том числе сетевых моделей статистической физики, частности, базирующиеся на поля Маркова и модели Изинга [14].
В результате такой подход позволяет дополнительно учитывать не только точность содержания ответа, но и время, выделяемое на подготовку, а также количество неудачных попыток решения, в условиях применения обучающих тестов. Но при этом открывается возможность получения комплексных нелинейных зависимостей между различными латентными переменными. Такой подход обеспечивает инвариантность итоговых оценок способности респондента, при использовании рейтеров, выставляющие баллы за открытые ответы, в частности, при защите проектов комиссиям.
Согласно [18], IRT является одной из наиболее прогрессивных и активно развивающихся областей знаний об оценочных показателях.
Вместе с тем, учитывая, что целью IRT является создание теоретической базы для анализа сложных явлений и процессов, не имеющих ярко выраженных количественных показателей, то открывается возможность ее применения не только в образовании, но и в других областях знаний, использующих для оценки методы персональных опросов.
В частности, в социологии, здравоохранении, психологии, искусстве, военном деле, экономике и т.д. [2, 10-11, 17-19]. То есть в тех сферах, где необходимо оценить полученный результат, характеризующийся с позиций квалиметрии, не имеющих физически измеряемых параметров.
В общем случае известные модели, широко используемые IRT, можно разделить на два класса: одномерные и многомерные модели [14].
Как правило, одномерные модели строятся на основе единственно доступного параметра (показателя). В образовании таковым является показатель, непосредственно характеризующий способности обучаемого (обозначим его как θ). В тоже время в многомерных моделях искомый результат будет определяться несколькими латентными переменными, характеризующих не только навыки респондентов, но и его готовность адекватно реагировать на тестовые вопросы. Как правило, такие модели характеризуют не только текущую компетентность респондента в области знаний, определяемых тестовыми вопросами, но и его внутренний потенциал, т.е. внутреннюю латентную компетентность, характеризующего его как специалиста в данном направлении.
Кроме того, модели IRT можно классифицировать с позиций определяемых ими баллов.
Простейшие модели основаны на дихотомическом подходе [20], предполагающем дуальный выбор «0» или «1», в зависимости от правильности принятого решения.
Такая модель соответствует вариантам теста, в котором ответы на каждый из вопросов предполагает только согласие, или не согласие.
Более интересными с практической точки зрения являются модели, ориентированные на политомические задания, в которых каждый ответ вносит свою лепту в конечный результат. В качестве примера можно рассматривать многочисленные модели, основанные на суммарных оценках, формируемых в соответствии со шкалой Ликерта [21]. Как правило, в таких моделях реализуются процедуры последовательного суммирования баллов для получения результирующего рейтинга.
Вместе с тем следует отметить, что, как правило, основой всех моделей IRT выступает логистическая функция вида
, (1)
где х – характеристический параметр функции.
Вид функции у(х) показан на рис. 1.
Рис. 1. Логистическая функция
Fig. 1. Logistic function
Изначально, логистическая функция использовалась в биологии для моделирования цикла развития организмов и биологических систем [22]. Но с середины прошлого века функция вида (1) нашла широкое применение в психологических и педагогических измерительных моделях.
Дальнейшим развитием моделей на основе логистической функции явилась однопараметрическая модель Г. Раша [11, 14], базируется на совместном учете потенциальных возможностях респондента θ, и сложности решения тестового задания β
. (2)
В модели Раша, представленной выражением (2), индекс i определяет количество используемых для тестирования вопросов. Поэтому в контексте, определяемом выражением (2), результирующая вероятность p(θ) обеспечивается раздельно для каждого i-го вопроса теста [15].
Поскольку результат (θ – βi) является конечным значением, то в классической модели Раша вероятность правильного ответа характеризуется логистической функцией.
Очевидно, что более обоснованными видятся оценки, получаемые на основе кумулятивной плотности вероятности нормального распределения, поскольку они базируются на интегральную функцию стандартного нормального распределения.
Для осуществления такого перехода достаточно в модели (2) использовать уточняющий коэффициент α = 1,702 под знаком экспоненциальной функции:
. (3)
Условие (3) получило название обобщенной модели Раша–Фергюссона [14].
Дополнительное введение множителя α = 1,702 в модель Раша позволяет перейти к расчету вероятностного показателя на основе интеграла нормального распределения:
. (4)
В качестве примера, на рис. 2 показаны совместные графики модели Раша РР (θ) (2) и Раша–Фергюссона РРФ (θ) (3) при β = 0.
Рис. 2. Характеристические функции модели Раша и Раша–Фергюссона
Fig. 2. Characteristic functions of the Rasch and Rasch–Fergusson models
Согласно обобщенной модели Раша–Фергюссона, ответ респондента на вопрос теста в равной степени определяется как уровнем его знаний θ, так и сложностью самого вопроса β [23]. Именно характер взаимодействия θ и β приводит к образованию совокупности данных, обладающих свойством «совместной аддитивности».
Таким образом, можно заключить, что применение и модели (2), и модели (3) позволяет отделить содержательную сложность вопросов теста (опросника), от уровня подготовленности респондентов, тем самым обеспечить их аналитическую независимость получаемого результата.
2. Результаты
Широкая область применимости моделей IRT, открывает возможность их приложения для оценивания результатов работы поднадзорных учреждений Федеральной службой по надзору в сфере защиты прав потребителей и благополучия человека.
В частности к поднадзорным относят реабилитационные учреждения, призванные обеспечить условия восстановления пациентов в соответствии с требованиями регламентирующих документов. Однако, поскольку не все нормы и требования лежат в плоскости измеряемых параметров, то на практике нередко используют методы экспертного контроля, путем выставления бальной системы со стороны респондентов.
В таких условиях важным моментом является исключение субъективизма, поэтому предлагается использовать модель Раша–Фергюссона [11]. Обоснованность применения данной модели основана на том, что она учитывает латентные параметры респондента.
В классическом варианте, задаваясь уровнем знания респондента можно получить вероятность его правильного ответа [24]. Так, на рис. 2 представлены характеристические функции модели Раша РР (θ) (2) и Раша–Фергюссона РРФ (θ) (3) при β = 0.
Отметим, что при уровне знаний респондента, параметр которого определяется параметром θ = 0, вероятность выбора ответа в дуальном варианте равна Р = 0,5. При этом вероятность Р = 0,9 будет обеспечена для модели Раша при θР = 2, а для модели Раша–Фергюссона при θРФ = 1,2.
В педагогике, параметр β определяет сложность вопроса, а θ – подготовленность обучаемого [25]. В то время как в медицине нет единого мнения по определению значений этих переменных, поэтому будем полагать, что латентная переменная θ характеризует уровень компетентности респондента, а параметр β определим как порог, определяющий уровень компетентности, необходимый для объективного ответа на вопрос [18-19, 22].
То есть, задаваясь параметром распределения равным β = 0, при обобщении его на большое количество опрашиваемым, модель Раша–Фергюссона позволяет прогнозировать, что на заданный вопрос, предполагающий средний уровень компетентности, 50% респондентов ответят положительно, а 50% – отрицательно.
Соответственно для параметра θ = –2,94, характеризующего сущность, т.е. содержательное наполнение вопроса, ответ на который не предполагает глубоких знаний об опрашиваемом объекте (предполагает самый низкий уровень компетентности), количество правильных ответов на него составит 95% от общего числа тестируемых, а неправильных – всего лишь 5%.
Соответственно, при значении θ = 2,94, т.е. при ответе на вопрос, ответ на который предполагает очень высокий уровень компетентности респондента, правильных ответов будет 5%, а неправильных – 95%.
Такой подход позволяет построить таблицу соответствия количества прогнозируемых правильных ответов U, выраженных в процентах, от значения уровня компетенции, необходимой для правильного ответа на вопрос θ.
В табл. 1 представлены результаты соответствия зависимости U и θ для модели Раша, определяемой выражением (2).
Таблица 1
Соответствие количества прогнозируемых правильных ответов
от уровня компетентности респондентов для модели Раша
Table 1
Correspondence to the number of predicted correct answers
on the level of competence of respondents for the Rasch model
|
U, % |
5 |
10 |
25 |
50 |
75 |
90 |
95 |
|
θ |
2.94 |
2.2 |
1.1 |
0 |
-1.1 |
-2.2 |
-2.94 |
Учитывая, что модель Раша–Фергюссона описывается выражением (3), то подставляя значения х, можно получить аналогичное соответствие, см. табл. 2
Таблица 2
Соответствие количества прогнозируемых правильных ответов
от уровня компетентности респондентов для модели Раша–Фергюссона
Table 2
Correspondence to the number of predicted correct answers
on the level of competence of respondents for the Rasch–Fergusson model
|
U, % |
5 |
10 |
25 |
50 |
75 |
90 |
95 |
|
θ |
1,75 |
1,29 |
0,65 |
0 |
-0,65 |
-1,29 |
-1,75 |
Имея таблицу соответствий уровня компетентности, можно априори определить, используя результаты опроса респондентов, уровень соответствия (достоверности) их ответов истинному положению дел.
Например, если на вопросы положительно отвечает 25% респондентов, то параметр, определяющий уровень указанного соответствия, характеризующего их компетентность равен θ = 0,65 для модели Раша–Фергюссона (θ = 1,1 для модели Раша).
Следует отметить, что данные табл. 1 и 2 соответствуют результатам, полученным при значении латентного параметра равного β = 0. Но поскольку от этого параметра зависит величина смещения характеристической функции по оси абсцисс, то к его выбору необходимо подходить, используя или обоснованные априорные данные, или путем привлечения компетентных специалистов, профессионально, разбирающихся в вопросе, вынесенном в тест.
Рассмотрим применение предлагаемого подхода на примере результатов контроля реабилитационного центра для детей с ограниченными возможностями. Проверка осуществлялась специалистами ФБУЗ «Центр гигиены и эпидемиологии в городе Санкт-Петербурге и Ленинградской области» на предмет выполнения требований по соблюдению условий создания микроклимата в помещениях центра [7, 8]. Опрос проводился между тремя категориями респондентов: преподаватели центра; дети с ограниченными возможностями и родители детей с ограниченными возможностями.
Форма ответа была представлена в размерности традиционной шкалы Лайкерта, содержащей пять позиций:
«считают абсолютно комфортным» – «полностью согласен»;
«больше да, чем нет» – «согласен»;
«нормальным» – «нейтральное отношение»;
«больше нет, чем да» – «не согласен»;
«абсолютно нет» – «полностью не согласен».
При этом каждому ответу в соответствие был поставлен численный рейтинг.
Ответы сведены в табл. 3.
Таблица 3
Ответы респондентов
Table 3
Respondents' answers
|
Содержание ответа/рейтинг |
Преподаватели центра |
Дети с ограниченными возможностями |
Родители детей с ограниченными возможностями |
|
«Полностью согласен» - 5 |
42,5% |
34,4% |
26,3% |
|
«Согласен» - 4 |
22,2% |
34,4% |
23,6% |
|
«Нейтральное отношение» - 3 |
24% |
20,6% |
42,1% |
|
«Не согласен» - 2 |
9,2% |
10,3% |
7,8% |
|
«Полностью не Согласен» - 1 |
1,8% |
0% |
0% |
Поскольку полученные ответы существенно разнятся как по категориям респондентов, так и по категориям ответа, то предложено было перейти в шкалу модели Раша–Фергюссона.
Единицей измерения в модели Раша–Фергюссона является логит, рассчитываемой в соответствии с формулой [14]
, (5)
где р – процент респондентов (вероятность), выбравших данную категорию ответа.
В качестве примера, на рис. 3 представлена функция поведения логита d(р), в пределах области ее допустимых значений, на которой отложено значение вероятности равное p = 0,8 и здесь же показано соответствующая оценка модели Раша–Фергюссона, выраженная в логитах d(0,8) = 1,386.
Рис. 3. Функция зависимости логита от вероятности ответа
Fig. 3. Function of dependence of logit on the probability of response
Далее, знание логита позволяет, используя его в качестве порогового значения, построить для соответствующей категории респондентов характеристическую функцию модели Раша–Фергюссона. И далее, путем сравнения уже характеристических функций осуществлять сравнения в шкалах указанной модели.
Для расчета значения результирующей вероятности ответа на вопрос по категориям табл. 3, воспользуемся формулой аддитивной свертки с весовыми коэффициентами
, (6)
где R – рейтинг ответа в соответствии с табл. 3; N – количество градаций ответа, i = 1, …, N; k – переменная, определяющая категорию респондента: k = 1 – преподаватели центра (ПЦ); k = 2 – дети с ограниченными возможностями (ДОВ); k = 3 – родители детей с ограниченными возможностями (РДОВ).
Затем расчеты, проведенные в соответствии с формулой (6), использовались в качестве параметра β, при построении характеристических функций для каждой категории респондента в соответствии с моделью Раша (рис. 4) и моделью Раша–Фергюссона (рис. 5).
На графиках рис. 4 и 5 введены следующие обозначения:
РРДОВ (θ) – характеристическая функция распределения результирующей вероятности ответа на вопрос родителями детей с ограниченными возможностями;
РДОВ (θ) – характеристическая функция распределения результирующей вероятности ответа на вопрос детьми с ограниченными возможностями;
РПЦ (θ) – характеристическая функция распределения результирующей вероятности ответа на вопрос преподавателями центра.
Рис. 4 Характеристические функции модели Раша для обрабатываемых категорий
Fig. 4 Characteristic functions of the Rasch model for processed categories
Рис. 5. Характеристические функции модели Раша–Фергюссона
для обрабатываемых категорий
Fig. 5. Characteristic functions of the Rasch–Fergusson model
for processed categories
Обсуждение/Заключение
Анализ результатов, представленных на рис. 4 и 5, показывает, что характеристические функции, соответствующие категориям ПЦ и ДОВ фактически совпадают, что позволяет сделать следующий вывод. Несмотря на различия ответов преподавателей центра и детей с ограниченными возможностями по градациям ответа, общий тренд характеристических функций их оценок в соответствии с моделями Раша и Раша–Фергюссона совпадают. В то время как обобщенное мнение родителей детей с ограниченными возможностями существенно отличается.
Для подтверждения установленной закономерности воспользуемся коэффициентом корреляции Пирсона, рассчитываемого согласно выражению:
. (7)
Здесь x и y – текущие значения сравниваемых категорий X и Y.
Полагая под сравниваемыми категориями X и Y содержание ответов респондентов, представленных в табл. 2, получим: KПЦ, ДОВ = 0,828; KРДОВ, ДОВ = 0,256.
Искомый результат показывает близость значений ответов преподавателей центра с ответами детей с ограниченными возможностями. В то время как расхождение ответов детей с их родителями превышает более чем в три раза.
В ходе исследования рассмотрены две модели: Раша и Раша–Фергюссона. Но авторы предпочтение отдают последней модели, поскольку ее характеристическая функция позволяет при рассмотрении даже небольших выборок оперировать вероятностными значениями.
Дальнейшие исследования авторы связывают с разработкой политомической модели Раша–Фергюссона в интересах обработки материалов тестирования, проводимых Федеральной службой по надзору в сфере защиты прав потребителей и благополучия человека. Предполагается, что такая модель позволяет сотрудникам Роспотребнадзора наиболее точно проводить оценку и устанавливать качество предоставляемых услуг организациями, тем самым совершенствовать госсанэпиднадзор.
1. Barkalov S.A., Kalinina N.Yu., Moiseev S.I., et al. The Model of Qualitative Selection of Personnel Based on Rasch Model Estimates of Latent Variables. Bulletin of the South Ural State University. Series: Computer Technologies, Automatic Control, Radio Electronics. 2018;18(1):83-95. DOIhttps://doi.org/10.14529/ctcr180110.
2. Dvornikova O.F., Dvornikov S.V., Khudyakov A.I. Probabilistic Model for Stress Condition Assessment. The Bulletin of Irkutsk State University. Series: Psychology. 2021;37:88-103. DOIhttps://doi.org/10.26516/2304-1226.2021.37.88.
3. Bui T.L.T. Quality Assessment of the Questionnaire for Measuring the Degree of Teaching and the Development of Creative Competence of Teachers Based on the Rasch-Model. Kant. 2019;4(33):216-220.
4. Kobelev V.S. Analysis of Estimates Adequacy of Qualitative Indicators Based on the Rasch Model of Latent Variables Assessment. Construction Management. 2018;3(12):72-78.
5. Dvornikova O.F., Samokhin V.F., Dvornikov S.V. Analyzing the First-Year Students’ Motivation in Choosing a Technical University During the Pandemic. Ergodesign. 2022;1(15):45-50. DOIhttps://doi.org/10.30987/2658-4026-2022-1-45-50.
6. On the Sanitary and Epidemiological Welfare of the Population. Federal Law, no. 52-FZ. 1999 Mar 30.
7. Hygienic Standards and Requirements for Ensuring Safety and (or) Harmlessness to Humans From Environmental Factors. Sanitary Regulations and Standards 1.2.3685-21.
8. Accessibility of Buildings and Structures for Persons With Reduced Mobility. Code 59.13330.2020. 2021 Jul 01.
9. On Approval of the Methodology for Assessing the Regional System of Rehabilitation and Habilitation of Disabled People, Including Disabled Children. Order, no 545. 2017 Jun 30.
10. Dvornikova O.F., Samokhin V.F., Dvornikov S.V. Probabilistic Assessment of Social Systems Efficiency in the Face of Negative Factors. Ergodesign. 2022;2(16):101-107. DOIhttps://doi.org/10.30987/2658-4026-2022-2-101-107.
11. Assanovich M.A. Comparative Evaluation of the Cut-Off Criteria of Depression Severity Developed on the Basis of Classical Test Theory and Rasch Model. Bulletin of the South Ural State University. Series: Psychology. 2017;10(1):26-34. DOIhttps://doi.org/10.14529/psy170103.
12. Dvornikova O.F., Dvornikov S.V., Privalov A.A. Model for Developing the Creativity Based on Psychological Training Results. Ergodesign. 2022;4(18):307-314. DOIhttps://doi.org/10.30987/2658-4026-2022-4-307-314.
13. Baranov D.V. The Procedure for Assigning Tasks in Distributed Teams Using the Rasch Model. Scientific and Technical Volga Region Bulletin. 2021;4:17-24.
14. Hambleton R.K., Swaminathan H. Item Response Theory: Principles and Application. Boston: Kluwer-Nijhoff; 1985. 332 p.
15. Maslak A.A., Letova L.V., Osipov S.A. Algorithm of the Optimization of Test Based on the Rasch Model. Part 1. Distance and Virtual Learning. 2014;10(88):121-131.
16. Eliseev I.N., Eliseev I.I. On the Suitability of the Bootstrap Method for Improving Estimates of Latent Parameters of the Main Rasch Model. Informatization of Education and Science. 2021;1(49):57-70.
17. Muratova L.A. The Analysis of the “Theory of Functions of the Complex Variable” Test With Attraction of Rasch and Birnbaum Models. Vestnik of Samara State Technical University. Series: Psychological and Pedagogical Sciences. 2019;1(41):111-126. DOIhttps://doi.org/10.17673/vsgtu-pps.2019.1.8.
18. Muslov S.A., Maslak A.A., Arutyunov S.D., et al. Item Characteristic Curves in the Rasch Model and Their Application for the Analysis of the Quality of Life in Medicine. Scientific Review. Biological Science. 2021;3:32-39. DOIhttps://doi.org/10.17513/srbs.1236.
19. Bykov A.V., Korenevsky N.A., Boytsov A.V., et al. Fuzzy Assessment Stepney Decompensation of Regional Hemodynamics of the Systemic Circulation Using the Model Georg Rasch. Proceedings of the Southwest State University. Series: Control, Computer Engineering, Information Science. Medical Instruments Engineering. 2019;9-3(32):141-159.
20. Alekseev M.V., Belov E.B., Kitaev N.P., et al. Piecewise Linear Approximation of the Item Characteristic Curve in Dichotomous Rasch Model. Informatization of Education and Science. 2019;3(43):79-88.
21. Malhotra N.K. Marketing Research. Ganieva AR, translator. 3rd ed. Moscow: Williams Publishing House; 2002. 960 p. ISBN 5-8459-0357-2.
22. Bezruchko N.V., Rubtsov G.K., Borisova E.Yu. Medical Biochemistry. Penza: Publishing House of Penza State University; 2013. 75 p. ISBN 978-5-94170-634-1.
23. Barkalov S.A., Moiseev S.I., Trebuntseva L.V. AQLQ Integral Assessment Model Based on Latent Variables. Project Management in Construction. 2019;4(17):91-96.
24. Kardanova E.Yu. Advantages of Modern Theory of Testing in Comparison With the Classical Theory of Testing. Testing Issues in Education. 2004;10:94-106.
25. Andrich D., Marias A.A. Course in Rasch Measurement Theory Measuring in the Educational, Social and Health Sciences. Springer. 2019. 482 p. ISBN 978-981-13-7496-8.
