Санкт-Петербург, г. Санкт-Петербург и Ленинградская область, Россия
Военная академия связи им. Маршала Советского Союза С.М. Буденного (кафедра радиосвязи, профессор)
Saint-Petersburg, Россия
В статье представлены результаты исследования, направленные на возможность применения модели Раша-Фергюссона для оценки результатов анализа работы реабилитационных учреждений Федеральной службой по надзору в сфере защиты прав потребителей и благополучия человека, по результатам тестирования различных групп респондентов. Рассмотрены особенности применимости методов современной теории тестирования для оценки результатов опроса респондентов, формируемых в соответствии со шкалой Ликерта, не использующей физически измеряемые параметры. По результатам рассмотрения свойств логистических функций, однопараметрической модели Раша и обобщенной модели Раша–Фергюссона, сделан выбор последней, ввиду возможности обоснованного обобщения результатов, полученных на ее основе. Демонстрируются характеристические функции рассматриваемых моделей и приводятся примеры их практического использования. Представляются результаты обработки данных тестирования различных категорий респондентов по оценке работы реабилитационного центра, на основе исследуемых моделей. Дана оригинальная интерпретация латентных переменных, с учетом рассматриваемого объекта исследования. Предложен подход к оценке близости суждений различных категорий респондентов с использованием коэффициентов корреляции Пирсона, подтвердивших выводы, полученные на основе применения моделей Раша и Раша–Фергюссона. Показана целесообразность применения моделей современной теории тестирования для оценки качества предоставляемых услуг реабилитационными учреждениями, что позволяет рассматривать адаптированные в ходе исследования модели в качестве одного из инструментов контроля, используемых в работе Федеральной службой по надзору в сфере защиты прав потребителей и благополучия человека.
обработка результатов опроса респондентов, работа госсанэпиднадзора, реабилитация, модель Раша-Фергюссона, санитария, современная теория тестирования
Введение
Одной из проблем реализации мероприятий любого контроля является вынесение объективных выводов по его результатам [1-3]. Наличие проверяющего как субъекта, однозначно приводит к возникновению субъективизма как непосредственно на стадии самой проверки, так и при подготовке заключений [4, 5]. Именно поэтому разрабатываются регламентирующие документы, определяющие показатели, используемые в качестве инструмента проверки, и критерии, в соответствии с которыми должны приниматься те или иные решения [6-8].
Однако даже в этом случае нельзя исключать возможность вынесения субъективных оценок со стороны контролирующих органов на том, или ином этапе проводимых мероприятий проверки. Поэтому на практике создаются дополнительные структуры, контролирующие порядок проведения контроля и объективность принимаемых ревизионными комиссиями решений [9].
Вместе с тем активное развитие технологий искусственного интеллекта и автоматизация процедур сбора информации о контролируемых объектах в надзорных учреждениях, отрывают новые возможности по повышению объективизации [10]. При этом следует понимать, что искусственный интеллект работает строго в рамках, вложенных в него алгоритмов. Следовательно, необходима не просто разработка нового методического обеспечения, но и формализация его до уровня возможной реализации в последующем обучении систем искусственного интеллекта, используемых в надзорных мероприятиях.
Методическое обеспечение такого уровня должно предусматривать возможность использования набора измеряемых показателей [11, 12], характеризующих контролируемый объект в поднадзорном учреждении и систему принятия решения, включающие критерии оценки по отдельным показателям, и обобщающие их алгоритмы, для формирования соответствующих выводов. И если частные оценки могут быть получены согласно нормативным требованиям [7], то при вынесении итогового решения могут возникать определенные сложности [13]. Это обусловлено несколькими обстоятельствами.
Во-первых, уровень важности показателей не всегда равнозначный, что как раз и обуславливает высокий уровень субъективности в принимаемых решениях. Во-вторых, механизмы оценки различных показателей могут иметь различные метрические системы, не позволяющие проводить их непосредственное сравнение.
Именно этот аспект, связанный с поиска объективных критериев в интересах формирования результирующей оценки по результатам проведенного контроля, является актуальными для повышения объективизации работы Федеральной службы по надзору в сфере защиты прав потребителей и благополучия человека, в том числе и с привлечением технологий искусственного интеллекта, и имеющими ярко выраженный прикладной характер. В рамках рассмотренной проблематики предлагаются результаты исследования возможности применения обобщенной модели Раша–Фергюссона для оценки различных аспектов контроля, использующих разнородные метрики.
1. Материалы, модели, эксперименты, методы и методики
Элементы современной теории тестирования (англ. – Item Response Theory) [14] находят самое активное применение в тех областях знаний, где необходимо осуществить моделирование и параметризацию результатов тестирования.
Сама теория базируется на парадигме, согласно которой между модельной предсказуемостью ответов и общим качеством знаний существует тесная взаимосвязь. При этом в интересах минимизации субъективизма в принятии окончательного решения [15], теория IRT исходит из необходимости отдельной оценки каждого вопроса с учетом его сложности по отношению к другим вопросам теста.
Такой подход коренным образом отличает методы IRT от классической модели оценивания, основанной на простом усреднении баллов, полученных за каждый ответ на вопрос. В результате становится возможным использовать параметры каждого тестового задания, для калибровки характеристической функции общей модели оценивая [16], т.е. открывается возможность прогнозирования получаемого ответа респондента, в зависимости от уровня его осведомленности об обсуждаемой проблеме или объекте исследования.
Ключевым моментом IRT является идея разделения параметров, которыми характеризуются тестируемые, от самих тестовых заданий. С таких позиций вероятность правильного ответа можно рассматривать как результат некоторого взаимодействия латентных параметров, характеризующих самого респондента и предоставленного ему задания [17]. При этом характер указанного взаимодействия будет зависеть от введенных допущений, которые, в свою очередь, определяют содержание описывающих их аналитической функции.
Современные способы оценивания IRT строятся на основе элементов конфирматорного (подтверждающего) факторного анализа, а также обобщенных линейных моделях смешанных эффектов, в том числе сетевых моделей статистической физики, частности, базирующиеся на поля Маркова и модели Изинга [14].
В результате такой подход позволяет дополнительно учитывать не только точность содержания ответа, но и время, выделяемое на подготовку, а также количество неудачных попыток решения, в условиях применения обучающих тестов. Но при этом открывается возможность получения комплексных нелинейных зависимостей между различными латентными переменными. Такой подход обеспечивает инвариантность итоговых оценок способности респондента, при использовании рейтеров, выставляющие баллы за открытые ответы, в частности, при защите проектов комиссиям.
Согласно [18], IRT является одной из наиболее прогрессивных и активно развивающихся областей знаний об оценочных показателях.
Вместе с тем, учитывая, что целью IRT является создание теоретической базы для анализа сложных явлений и процессов, не имеющих ярко выраженных количественных показателей, то открывается возможность ее применения не только в образовании, но и в других областях знаний, использующих для оценки методы персональных опросов.
В частности, в социологии, здравоохранении, психологии, искусстве, военном деле, экономике и т.д. [2, 10-11, 17-19]. То есть в тех сферах, где необходимо оценить полученный результат, характеризующийся с позиций квалиметрии, не имеющих физически измеряемых параметров.
В общем случае известные модели, широко используемые IRT, можно разделить на два класса: одномерные и многомерные модели [14].
Как правило, одномерные модели строятся на основе единственно доступного параметра (показателя). В образовании таковым является показатель, непосредственно характеризующий способности обучаемого (обозначим его как θ). В тоже время в многомерных моделях искомый результат будет определяться несколькими латентными переменными, характеризующих не только навыки респондентов, но и его готовность адекватно реагировать на тестовые вопросы. Как правило, такие модели характеризуют не только текущую компетентность респондента в области знаний, определяемых тестовыми вопросами, но и его внутренний потенциал, т.е. внутреннюю латентную компетентность, характеризующего его как специалиста в данном направлении.
Кроме того, модели IRT можно классифицировать с позиций определяемых ими баллов.
Простейшие модели основаны на дихотомическом подходе [20], предполагающем дуальный выбор «0» или «1», в зависимости от правильности принятого решения.
Такая модель соответствует вариантам теста, в котором ответы на каждый из вопросов предполагает только согласие, или не согласие.
Более интересными с практической точки зрения являются модели, ориентированные на политомические задания, в которых каждый ответ вносит свою лепту в конечный результат. В качестве примера можно рассматривать многочисленные модели, основанные на суммарных оценках, формируемых в соответствии со шкалой Ликерта [21]. Как правило, в таких моделях реализуются процедуры последовательного суммирования баллов для получения результирующего рейтинга.
Вместе с тем следует отметить, что, как правило, основой всех моделей IRT выступает логистическая функция вида
, (1)
где х – характеристический параметр функции.
Вид функции у(х) показан на рис. 1.
Рис. 1. Логистическая функция
Fig. 1. Logistic function
Изначально, логистическая функция использовалась в биологии для моделирования цикла развития организмов и биологических систем [22]. Но с середины прошлого века функция вида (1) нашла широкое применение в психологических и педагогических измерительных моделях.
Дальнейшим развитием моделей на основе логистической функции явилась однопараметрическая модель Г. Раша [11, 14], базируется на совместном учете потенциальных возможностях респондента θ, и сложности решения тестового задания β
. (2)
В модели Раша, представленной выражением (2), индекс i определяет количество используемых для тестирования вопросов. Поэтому в контексте, определяемом выражением (2), результирующая вероятность p(θ) обеспечивается раздельно для каждого i-го вопроса теста [15].
Поскольку результат (θ – βi) является конечным значением, то в классической модели Раша вероятность правильного ответа характеризуется логистической функцией.
Очевидно, что более обоснованными видятся оценки, получаемые на основе кумулятивной плотности вероятности нормального распределения, поскольку они базируются на интегральную функцию стандартного нормального распределения.
Для осуществления такого перехода достаточно в модели (2) использовать уточняющий коэффициент α = 1,702 под знаком экспоненциальной функции:
. (3)
Условие (3) получило название обобщенной модели Раша–Фергюссона [14].
Дополнительное введение множителя α = 1,702 в модель Раша позволяет перейти к расчету вероятностного показателя на основе интеграла нормального распределения:
. (4)
В качестве примера, на рис. 2 показаны совместные графики модели Раша РР (θ) (2) и Раша–Фергюссона РРФ (θ) (3) при β = 0.
Рис. 2. Характеристические функции модели Раша и Раша–Фергюссона
Fig. 2. Characteristic functions of the Rasch and Rasch–Fergusson models
Согласно обобщенной модели Раша–Фергюссона, ответ респондента на вопрос теста в равной степени определяется как уровнем его знаний θ, так и сложностью самого вопроса β [23]. Именно характер взаимодействия θ и β приводит к образованию совокупности данных, обладающих свойством «совместной аддитивности».
Таким образом, можно заключить, что применение и модели (2), и модели (3) позволяет отделить содержательную сложность вопросов теста (опросника), от уровня подготовленности респондентов, тем самым обеспечить их аналитическую независимость получаемого результата.
2. Результаты
Широкая область применимости моделей IRT, открывает возможность их приложения для оценивания результатов работы поднадзорных учреждений Федеральной службой по надзору в сфере защиты прав потребителей и благополучия человека.
В частности к поднадзорным относят реабилитационные учреждения, призванные обеспечить условия восстановления пациентов в соответствии с требованиями регламентирующих документов. Однако, поскольку не все нормы и требования лежат в плоскости измеряемых параметров, то на практике нередко используют методы экспертного контроля, путем выставления бальной системы со стороны респондентов.
В таких условиях важным моментом является исключение субъективизма, поэтому предлагается использовать модель Раша–Фергюссона [11]. Обоснованность применения данной модели основана на том, что она учитывает латентные параметры респондента.
В классическом варианте, задаваясь уровнем знания респондента можно получить вероятность его правильного ответа [24]. Так, на рис. 2 представлены характеристические функции модели Раша РР (θ) (2) и Раша–Фергюссона РРФ (θ) (3) при β = 0.
Отметим, что при уровне знаний респондента, параметр которого определяется параметром θ = 0, вероятность выбора ответа в дуальном варианте равна Р = 0,5. При этом вероятность Р = 0,9 будет обеспечена для модели Раша при θР = 2, а для модели Раша–Фергюссона при θРФ = 1,2.
В педагогике, параметр β определяет сложность вопроса, а θ – подготовленность обучаемого [25]. В то время как в медицине нет единого мнения по определению значений этих переменных, поэтому будем полагать, что латентная переменная θ характеризует уровень компетентности респондента, а параметр β определим как порог, определяющий уровень компетентности, необходимый для объективного ответа на вопрос [18-19, 22].
То есть, задаваясь параметром распределения равным β = 0, при обобщении его на большое количество опрашиваемым, модель Раша–Фергюссона позволяет прогнозировать, что на заданный вопрос, предполагающий средний уровень компетентности, 50% респондентов ответят положительно, а 50% – отрицательно.
Соответственно для параметра θ = –2,94, характеризующего сущность, т.е. содержательное наполнение вопроса, ответ на который не предполагает глубоких знаний об опрашиваемом объекте (предполагает самый низкий уровень компетентности), количество правильных ответов на него составит 95% от общего числа тестируемых, а неправильных – всего лишь 5%.
Соответственно, при значении θ = 2,94, т.е. при ответе на вопрос, ответ на который предполагает очень высокий уровень компетентности респондента, правильных ответов будет 5%, а неправильных – 95%.
Такой подход позволяет построить таблицу соответствия количества прогнозируемых правильных ответов U, выраженных в процентах, от значения уровня компетенции, необходимой для правильного ответа на вопрос θ.
В табл. 1 представлены результаты соответствия зависимости U и θ для модели Раша, определяемой выражением (2).
Таблица 1
Соответствие количества прогнозируемых правильных ответов
от уровня компетентности респондентов для модели Раша
Table 1
Correspondence to the number of predicted correct answers
on the level of competence of respondents for the Rasch model
|
U, % |
5 |
10 |
25 |
50 |
75 |
90 |
95 |
|
θ |
2.94 |
2.2 |
1.1 |
0 |
-1.1 |
-2.2 |
-2.94 |
Учитывая, что модель Раша–Фергюссона описывается выражением (3), то подставляя значения х, можно получить аналогичное соответствие, см. табл. 2
Таблица 2
Соответствие количества прогнозируемых правильных ответов
от уровня компетентности респондентов для модели Раша–Фергюссона
Table 2
Correspondence to the number of predicted correct answers
on the level of competence of respondents for the Rasch–Fergusson model
|
U, % |
5 |
10 |
25 |
50 |
75 |
90 |
95 |
|
θ |
1,75 |
1,29 |
0,65 |
0 |
-0,65 |
-1,29 |
-1,75 |
Имея таблицу соответствий уровня компетентности, можно априори определить, используя результаты опроса респондентов, уровень соответствия (достоверности) их ответов истинному положению дел.
Например, если на вопросы положительно отвечает 25% респондентов, то параметр, определяющий уровень указанного соответствия, характеризующего их компетентность равен θ = 0,65 для модели Раша–Фергюссона (θ = 1,1 для модели Раша).
Следует отметить, что данные табл. 1 и 2 соответствуют результатам, полученным при значении латентного параметра равного β = 0. Но поскольку от этого параметра зависит величина смещения характеристической функции по оси абсцисс, то к его выбору необходимо подходить, используя или обоснованные априорные данные, или путем привлечения компетентных специалистов, профессионально, разбирающихся в вопросе, вынесенном в тест.
Рассмотрим применение предлагаемого подхода на примере результатов контроля реабилитационного центра для детей с ограниченными возможностями. Проверка осуществлялась специалистами ФБУЗ «Центр гигиены и эпидемиологии в городе Санкт-Петербурге и Ленинградской области» на предмет выполнения требований по соблюдению условий создания микроклимата в помещениях центра [7, 8]. Опрос проводился между тремя категориями респондентов: преподаватели центра; дети с ограниченными возможностями и родители детей с ограниченными возможностями.
Форма ответа была представлена в размерности традиционной шкалы Лайкерта, содержащей пять позиций:
«считают абсолютно комфортным» – «полностью согласен»;
«больше да, чем нет» – «согласен»;
«нормальным» – «нейтральное отношение»;
«больше нет, чем да» – «не согласен»;
«абсолютно нет» – «полностью не согласен».
При этом каждому ответу в соответствие был поставлен численный рейтинг.
Ответы сведены в табл. 3.
Таблица 3
Ответы респондентов
Table 3
Respondents' answers
|
Содержание ответа/рейтинг |
Преподаватели центра |
Дети с ограниченными возможностями |
Родители детей с ограниченными возможностями |
|
«Полностью согласен» - 5 |
42,5% |
34,4% |
26,3% |
|
«Согласен» - 4 |
22,2% |
34,4% |
23,6% |
|
«Нейтральное отношение» - 3 |
24% |
20,6% |
42,1% |
|
«Не согласен» - 2 |
9,2% |
10,3% |
7,8% |
|
«Полностью не Согласен» - 1 |
1,8% |
0% |
0% |
Поскольку полученные ответы существенно разнятся как по категориям респондентов, так и по категориям ответа, то предложено было перейти в шкалу модели Раша–Фергюссона.
Единицей измерения в модели Раша–Фергюссона является логит, рассчитываемой в соответствии с формулой [14]
, (5)
где р – процент респондентов (вероятность), выбравших данную категорию ответа.
В качестве примера, на рис. 3 представлена функция поведения логита d(р), в пределах области ее допустимых значений, на которой отложено значение вероятности равное p = 0,8 и здесь же показано соответствующая оценка модели Раша–Фергюссона, выраженная в логитах d(0,8) = 1,386.
Рис. 3. Функция зависимости логита от вероятности ответа
Fig. 3. Function of dependence of logit on the probability of response
Далее, знание логита позволяет, используя его в качестве порогового значения, построить для соответствующей категории респондентов характеристическую функцию модели Раша–Фергюссона. И далее, путем сравнения уже характеристических функций осуществлять сравнения в шкалах указанной модели.
Для расчета значения результирующей вероятности ответа на вопрос по категориям табл. 3, воспользуемся формулой аддитивной свертки с весовыми коэффициентами
, (6)
где R – рейтинг ответа в соответствии с табл. 3; N – количество градаций ответа, i = 1, …, N; k – переменная, определяющая категорию респондента: k = 1 – преподаватели центра (ПЦ); k = 2 – дети с ограниченными возможностями (ДОВ); k = 3 – родители детей с ограниченными возможностями (РДОВ).
Затем расчеты, проведенные в соответствии с формулой (6), использовались в качестве параметра β, при построении характеристических функций для каждой категории респондента в соответствии с моделью Раша (рис. 4) и моделью Раша–Фергюссона (рис. 5).
На графиках рис. 4 и 5 введены следующие обозначения:
РРДОВ (θ) – характеристическая функция распределения результирующей вероятности ответа на вопрос родителями детей с ограниченными возможностями;
РДОВ (θ) – характеристическая функция распределения результирующей вероятности ответа на вопрос детьми с ограниченными возможностями;
РПЦ (θ) – характеристическая функция распределения результирующей вероятности ответа на вопрос преподавателями центра.
Рис. 4 Характеристические функции модели Раша для обрабатываемых категорий
Fig. 4 Characteristic functions of the Rasch model for processed categories
Рис. 5. Характеристические функции модели Раша–Фергюссона
для обрабатываемых категорий
Fig. 5. Characteristic functions of the Rasch–Fergusson model
for processed categories
Обсуждение/Заключение
Анализ результатов, представленных на рис. 4 и 5, показывает, что характеристические функции, соответствующие категориям ПЦ и ДОВ фактически совпадают, что позволяет сделать следующий вывод. Несмотря на различия ответов преподавателей центра и детей с ограниченными возможностями по градациям ответа, общий тренд характеристических функций их оценок в соответствии с моделями Раша и Раша–Фергюссона совпадают. В то время как обобщенное мнение родителей детей с ограниченными возможностями существенно отличается.
Для подтверждения установленной закономерности воспользуемся коэффициентом корреляции Пирсона, рассчитываемого согласно выражению:
. (7)
Здесь x и y – текущие значения сравниваемых категорий X и Y.
Полагая под сравниваемыми категориями X и Y содержание ответов респондентов, представленных в табл. 2, получим: KПЦ, ДОВ = 0,828; KРДОВ, ДОВ = 0,256.
Искомый результат показывает близость значений ответов преподавателей центра с ответами детей с ограниченными возможностями. В то время как расхождение ответов детей с их родителями превышает более чем в три раза.
В ходе исследования рассмотрены две модели: Раша и Раша–Фергюссона. Но авторы предпочтение отдают последней модели, поскольку ее характеристическая функция позволяет при рассмотрении даже небольших выборок оперировать вероятностными значениями.
Дальнейшие исследования авторы связывают с разработкой политомической модели Раша–Фергюссона в интересах обработки материалов тестирования, проводимых Федеральной службой по надзору в сфере защиты прав потребителей и благополучия человека. Предполагается, что такая модель позволяет сотрудникам Роспотребнадзора наиболее точно проводить оценку и устанавливать качество предоставляемых услуг организациями, тем самым совершенствовать госсанэпиднадзор.
1. Баркалов С.А., Калинина Н.Ю. Моисеев С.И. и др. Модель качественного отбора кадров, основанная на модели Раша оценки латентных переменных // Вестник Южно-Уральского государственного университета. Серия: Компьютерные технологии, управление, радиоэлектроника. 2018. Т. 18, № 1. С. 83-95. DOIhttps://doi.org/10.14529/ctcr180110. EDN YOSISB.
2. Дворникова О.Ф., Дворников С.В., Худяков А.И. Вероятностная модель оценки стрессовых состояний // Известия Иркутского государственного университета. Серия: Психология. 2021. Т. 37. С. 88-103. DOIhttps://doi.org/10.26516/2304-1226.2021.37.88. EDN HYMUXB.
3. Буй Т.Л.Т. Оценка качества опросника для измерения степени преподавания развития творческой компетенции преподавателей на основе модели Раша // Kant. 2019. № 4(33). С. 216-220. EDN QXETXS.
4. Кобелев В.С. Анализ адекватности оценок качественных показателей на основе модели Раша оценки латентных переменных // Управление строительством. 2018. № 3(12). С. 72-78. EDN STJYAE.
5. Дворникова О.Ф., Самохин В.Ф., Дворников С.В. Анализ мотивации выбора технического вуза первокурсниками в период пандемии // Эргодизайн. 2022. № 1(15). С. 45-50. DOIhttps://doi.org/10.30987/2658-4026-2022-1-45-50. EDN YINJPB.
6. Федеральный закон от 30 марта 1999 г. № 52-ФЗ «О санитарно-эпидемиологическом благополучии населения».
7. СанПиН 1.2.3685-21 "Гигиенические нормативы и требования к обеспечению безопасности и (или) безвредности для человека факторов среды обитания".
8. СП 59.13330.2020 Доступность зданий и сооружений для маломобильных групп населения.
9. Приказ от 30 июня 2017 г. N 545 «Об утверждении методики оценки региональной системы реабилитации и абилитации инвалидов, в том числе детей-инвалидов».
10. Дворникова О.Ф., Самохин В.Ф., Дворников С.В. Вероятностная оценка эффективности функционирования социальных систем в условиях негативных факторов // Эргодизайн. 2022. № 2(16). С. 101-107. DOIhttps://doi.org/10.30987/2658-4026-2022-2-101-107. EDN JQDMVH.
11. Ассанович М.А. Сравнительная оценка пороговых критериев выраженности депрессии, разработанных на основе классической теории тестов и модели Раша // Вестник Южно-Уральского государственного университета. Серия: Психология. 2017. Т. 10, № 1. С. 26-34. DOIhttps://doi.org/10.14529/psy170103. EDN YIEFVH.
12. Дворникова О.Ф., Дворников С.В., Привалов А.А. Модель развития креативности по результатам психологических тренингов // Эргодизайн. 2022. № 4(18). С. 307-314. DOIhttps://doi.org/10.30987/2658-4026-2022-4-307-314. EDN ERULJC.
13. Баранов Д.В. Процедура назначения заданий в распределенных командах с использованием модели Раша // Научно-технический вестник Поволжья. 2021. № 4. С. 17-24. EDN ODRRRW.
14. Hambleton R.K., Swaminathan H. Item response theory: Principles and application. Boston: Kluwer-Nijhoff, 1985. 332 p. ISBN 978-0-89838-065-1.
15. Маслак А.А., Летова Л.В., Осипов С.А. Алгоритм оптимизации теста на основе модели Раша (часть 1) // Дистанционное и виртуальное обучение. 2014. № 10(88). С. 121-131. EDN SNJQMV.
16. Елисеев И.Н., Елисеев И.И. О пригодности бутстреп-метода для улучшения оценок латентных параметров основной модели Раша // Информатизация образования и науки. 2021. № 1(49). С. 57-70. EDN CTYQDK.
17. Муратова Л.А. Анализ теста "теория функций комплексной переменной" с привлечением моделей Раша и Бирнбаума // Вестник Самарского государственного технического университета. Серия: Психолого-педагогические науки. 2019. № 1(41). С. 111-126. DOIhttps://doi.org/10.17673/vsgtu-pps.2019.1.8. EDN MSWESJ.
18. Муслов С.А., Маслак А.А., Арутюнов С.Д. и др. Кривые распределения категорий в модели Раша и их применение для анализа качества жизни в медицине // Научное обозрение. Биологические науки. 2021. № 3. С. 32-39. DOIhttps://doi.org/10.17513/srbs.1236. EDN VOYOIB.
19. Быков А.В., Кореневский Н.А., Бойцов А.В. и др. Нечёткая оценка степени декомпенсации региональной гемодинамики большого круга кровообращения с использованием модели Георга Раша // Известия Юго-Западного государственного университета. Серия: Управление, вычислительная техника, информатика. Медицинское приборостроение. 2019. Т. 9, № 3(32). С. 141-159. EDN MGPETA.
20. Алексеев М.В., Белов Е.Б., Китаев Н.П. и др. Линейно-ломанная аппроксимация характеристических кривых в дихотомической модели Раша // Информатизация образования и науки. 2019. № 3(43). С. 79-88. EDN JYVEZK.
21. Малхотра Н.К. Маркетинговые исследования. Практическое руководство. Пер. с англ. 3-е изд. М.: Издательский дом «Вильямс», 2002. 960 с. ISBN 5-8459-0357-2.
22. Безручко Н.В., Рубцов Г.К., Борисова Е.Ю. Медицинская биохимия: учебное пособие. М-во образования и науки РФ. Пенза : Изд-во ПГУ, 2013. 75 с. ISBN 978-5-94170-634-1.
23. Баркалов С.А., Моисеев С.И., Требунцева Л.В. Модель интегральной оценки AQLQ, основанная на латентных переменных // Проектное управление в строительстве. 2019. № 4 (17). С. 91–96. EDN WVMBZD.
24. Карданова Е.Ю. Преимущества современной теории тестирования по сравнению с классической теорией тестирования // Вопросы тестирования в образовании. 2004. № 10. С. 94–106.
25. Andrich D., Marias A. A Course in Rasch Measurement Theory Measuring in the Educational, Social and Health Sciences. 2019. Springer. 482 p. ISBN 978-981-13-7496-8.
