Санкт-Петербург, г. Санкт-Петербург и Ленинградская область, Россия
Россия
Россия
Рассматривается задача выполнения условий последовательного агрегирования иерархически взаимосвязанных нечетких показателей состояния объекта исследования. Определяются необходимые условия соотношения нечетко определенных агрегируемых показателей эффективности вышележащего и нижележащего уровней иерархии сложно структурируемого объекта (ССО). Показано, что сформулированные в статье условия согласования агрегируемых параметров вышележащего и нижележащих уровней являются обобщением ранее полученных авторами результатов с учетом четких оценок параметров на случай их нечеткого измерения. На основе применения принципа обобщения Л. Заде разработаны методики агрегирования параметров и оценки степени четкости согласования их отношений предпочтения в интегральном показателе состояния объекта исследования. Приведен пример агрегирования иерархически взаимосвязанных нечетких показателей эффективности ССО, подтверждающий справедливость сделанных в статье выводов.
агрегирование, иерархия, образ и прообраз объекта, размытые множества, принцип обобщения, взаимное доминирование, отношения предпочтения, согласование отношений предпочтения
Введение
Описание характеристик эффективности функционирования сложно структурируемых объектов, например, объектов эксплуатации, свидетельствующих о состоянии его работоспособности, даже в их усеченном представлении, нередко содержит очень большое количество иерархически взаимосвязанных частных показателей [1, 2]. Во многом, их количество и структура определяются сложностью самих объектов эксплуатации (ОЭ), а также особыми требованиями, предъявляемыми к ним с точки зрения решения целевых задач применения объекта в текущей обстановке. Чаще всего такие требования могут быть связаны с сокращением времени подготовки объекта к функционированию, изменением условий эксплуатации и т.п.
Иерархический характер взаимосвязи параметров объекта эксплуатации предполагает решение задач их последовательного агрегирования в соответствии со структурой их иерархической взаимосвязи. Агрегирование параметров ОЭ позволяет на каждом шаге такого последовательного анализа со всё большей четкостью давать оценку его состояния, основываясь на значениях показателей нижележащего уровня иерархии. Важной особенностью последовательного агрегирования иерархически связанных показателей любого ОЭ является необходимость согласования отношений предпочтения оценок параметров состояния ОЭ на всех уровнях иерархии. В этом отношении показатели вышележащего уровня иерархии не должны противоречить оценкам на нижележащем уровне иерархии. Это условие вытекает из самой логики организации подобного анализа иерархически связанных между собой данных, а именно: переход на новый, более высокий уровень анализа должен позволять повысить достоверность и точность оценок состояния объекта, уменьшить размерность пространства учитываемых признаков и снизить неопределённость принимаемых решений на основе последовательной конкретизации состояния объекта исследования. Появляющееся в этом процессе противоречие между стремлением к снижению неопределённости принимаемых решений на вышележащем уровне анализа и естественной неопределённостью данных на нижележащем уровне, как раз, и решается посредством такого выбора методов агрегирования и отбора состава агрегируемых данных, при которых взаимные отношения агрегированных оценок вышележащего уровня не будут противоречить отношениям между исходными данными нижележащего уровня иерархии, т.е. согласованы с ними. Применительно к оценкам технических систем, параметры которых оцениваются четко, такие подходы известны [3, 4, 5, 6]. Однако их применение существенно ограничено в отношении оценок характеристик объектов, параметры которых измеряются нечетко и нечеткой является сама процедура агрегирования в силу иерархического характера их взаимных связей.
1. Агрегирование частных оценок состояния ОЭ в обобщенный показатель
Будем полагать, что модель оценки текущего состояния ОЭ имеет иерархическую структуру, а показатели её иерархически связаны между собой и образуют критериальное пространство [1,2]. Рассмотрим процесс агрегирования показателей ОЭ первого уровня. Обозначим через показатели первого уровня, а соответствующие им частные показатели нижележащего уровня, через
. Тогда:
где – число параметров оценки состояния ОЭ, относящихся к первому уровню;
;
– число параметров, относящихся к нижележащему нулевому уровню;
– функциональные преобразования агрегирования, являющихся отображением параметров нижележащего уровня;
.
В общем виде процесс агрегирования иерархически связанных показателей ОЭ с учетом нечеткости их оценок может быть представлен следующей цепочкой преобразований:
|
|
(1) |
где ,
,
;
|
|
(2) |
– функция принадлежности
предпочтения частного показателя x(k) при исходных характеристиках, описываемых вектором ; (nk) – число показателей ОЭ на k-м уровне иерархии;
– нечеткий образ
агрегируемых параметрах k-го уровня ОЭ; n – число показателей на данном уровне их иерархической взаимосвязи;
– нечеткий образ
в агрегируемых параметрах первого уровня ОЭ.
Отображение определяет структуру преобразований исходных данных о параметрах ОЭ, нижележащего k-го уровня иерархии показателей ОЭ.
При этом увеличение числа m уровней агрегирования интегрального показателя требует последовательной конкретизации отображений состояний ОЭ на каждом этапе агрегирования его показателей. Это требует учета более тонкой структуры модели состояния ОЭ. В этих условиях мы сталкиваемся не только с усложнением самой модели, но и с ростом ошибок из-за нечеткости исходных данных. Определение условий компромисса в этой ситуации лежит в плоскости определения условий согласования нечетких отношений предпочтения во множестве полученных значений частных оценок состояния объекта эксплуатации на нижнем и вышестоящем уровнях агрегирования оценок состояния ОЭ.
2. Согласование агрегируемых оценок состояния объекта эксплуатации с учетом
их нечеткого представления
Рассмотрим множество показателей (
) – го уровня оценок состояния ОЭ
и агрегируемые показатели k-го уровня: . Преобразование
обеспечивает формирование образа показателей нижележащего уровня иерархии x в агрегируемых показателях
вышележащего уровня. Он позволяет ввести определённую метрику отношений исходных и агрегируемых параметров характеристик состояния объекта, обеспечивая согласованность их оценок. В частности с помощью
на
можно определить отношение
, таким образом: для
будет справедливо х
тогда и только тогда, когда
,
и найдется
, для которого
. Определение этих отношений позволяет оценить возможность целевого предназначения объекта и принять наиболее оптимальное решение по его дальнейшему использованию. Очевидно, что для
и
отношение
должно выполняться с четкостью превышающую заданную величину, т.е.
. Определим порядок выполнения данного требования в условиях наличия нечеткой информации, как об исходных данных, так и о способах её агрегирования.
Если полагать х и у нечеткими, то их отображения и
следует рассматривать как нечеткие подмножества
и
. В этом случае, отношение
, следует описывать функцией принадлежности, значение которой будет определять степень доминирования образа показателя
над образом
. Здесь
и
есть образы нечетких множеств x и y в
и
(т.е.
) при нечетких отображениях
и
. Применяя принцип обобщения [5], определим образ
нечеткого множества X в
при нечетком отображении
функцией принадлежности вида:
|
|
(3) |
где μ(х) – функция принадлежности агрегируемых нечетко определяемых показателей; ,
;
– функция принадлежности нечеткого отображения х в
;
нечеткий образ отображения показателя x в вышележащем (k+1)-м уровне агрегируемого показателя;
– множество всех показателей нижележащего уровня
, являющихся прообразами показателей вышестоящего уровня
. Аналогично для
получим:
|
|
(4) |
На практике на вышестоящем уровне иерархии агрегированию может подлежать несколько параметров, т.е. , где
– декартово произведение соответствующих множеств параметров агрегирования оценок состояний ОЭ. Тогда, в соответствии с принципом обобщения, образ
может быть определен выражением вида:
|
|
(5) |
где – функция принадлежности, определяющая возможность появления группировок параметров
в процедурах агрегирования параметров исследуемого объекта
.
Аналогично может быть представлена и функция принадлежности нечеткого образа показателя
. Как видно, выражения (3)-(5) носят достаточно общий характер, поэтому далее будем рассматривать выражения (3)-(4), как основу дальнейшего анализа.
Нетрудно проверить, что в случае, когда обычное отображение [5,9]
, то
. Если
, то
, а также
.
Рассмотрим множество агрегируемых параметров оценки состояния объекта эксплуатации, заданных векторным критерием
, определяющих состояние работоспособности объекта и являющихся результатом субъективного анализа значений агрегируемых параметров на k-м уровне агрегирования в количественных или качественных шкалах.
С помощью на
введем отношение
, выполняемое с четкостью
, формулируемое следующим образом: для любых х и
полагаем
тогда и только тогда, когда
, и при этом найдется такое множество
, что для каждого
. Здесь, как и ранее,
– требуемое значение степени выполнения отношений R в агрегируемом интегральном показателе объекта анализа. В этом случае справедливо следующее определение:
определение 1. Отношение и агрегирование
интегрального показателя нечетких исходных данных объекта эксплуатации называется согласованным, если
,
со степенью четкости
для
найдется показатель нижележащего k-го уровня
, доминирующий показатель х со степенью
, т.е. отвечающий условию
.
Таким образом, данное определение позволяет учесть иерархический характер взаимосвязи исходных параметров и нечеткость их оценок в интегральном показателе объекта анализа. С этой точки зрения данное определение отражает указанную выше сущность процессов агрегирования параметров для объектов любой физической природы. Примем во внимание множественный характер промежуточных классификаций на (k-м) уровне иерархии. Каждый такой класс агрегируемых параметров является отражением отдельной, относительно самостоятельной характеристики исследуемого объекта анализа. В этом случае, следует выделять локальный и глобальный уровни согласования отношений предпочтения на (k-м) уровне иерархии агрегируемых параметров. В первом случае согласование отношений предпочтения производится в отношении одного класса классификации характеристик объекта, а во втором – в отношении всех классов k-го уровня со степенью четкости . Обозначим через
степень доминирования нечеткого образа
над образом
ԛ-го класса классификации на k-м уровне агрегирования показателей исследуемого объекта. В данном случае
. Тогда, учитывая выражения (3) – (5), получим:
|
|
(6) |
|
где |
(7) |
|
|
в противном случае; |
(8) |
– функция, определяющая субъективную меру оценки превосходства агрегированного параметра
над параметром
на данном (k-м) уровне иерархии;
.
Данное выражение уточняет результаты исследований автора, полученных ранее
в работе [3].
Здесь отражает мнение эксперта по отношению предпочтительности значения интегрального параметра
перед значением параметра
с точки зрения их отражения целевого назначения объекта. Степень четкости
измеряется для каждого класса агрегируемых показателей. Далее функции принадлежностей
и
ԛ-го класса k-го уровня сами рассматриваются как исходные данные для оценки параметров интегрального показателя вышестоящего (k+1)-го уровня агрегирования.
Определение 1 утверждает, что на каждом последующем уровне агрегирования ИП знание об определенном свойстве объекта должно быть более конкретным (четким). Определение значений функций агрегированных параметров
и
составляет предмет деятельности специалиста оцениваемого состояние ОЭ. Это становится особенно важным при необходимости учёта новых показателей состояния ОЭ, полученных, например, в результате наблюдения за состоянием объекта эксплуатации. Выявленные при этом нарушения условий согласования отношений предпочтения агрегируемых параметров свидетельствуют о необходимости изменения планов оценки состояния объекта, необходимости учета влияния других неучтенных факторов и т.п.
Из определения 1 следует два полярно противоположных вывода, а именно:
а) при (т.е., например, переменные
,
несравнимы между собой или оценены в различных шкалах) четкость степени реализации отношения R равна
.
б) при (все параметры измеряются четко) и
, то
. Это условие будет соответствовать аналогичному определению, данному в работе [4].
Таким образом, чем ниже требования к значению степени , тем будет шире будет область исходных параметров, при которых агрегированные интегральные показатели модели будут согласованы с отношениями предпочтения частных показателей, а нечеткое отношение агрегируемых параметров моделей на
-м уровне при условии их согласования должно включать в себя отношение
на k-м уровне агрегирования, т.е.
. Это подтверждает выдвинутое раннее утверждение о том, что с увеличением уровня агрегирования параметров исследуемого объекта четкость согласования их отношений предпочтения должна увеличиваться, обеспечивая, тем самым, более четкое восприятие взаимосвязи изучаемых явлений или параметров ОЭ и степени их влияния на итоговый результат оценки целевого соответствия изучаемого объекта анализа. Согласование отношений предпочтения предусматривает определённую структурированность процессов анализа и свёртки иерархически связанных параметров изучаемых объектов эксплуатации в интересах оценки возможности их дальнейшего целевого применения.
Это условие необходимое, но недостаточное для принятия окончательного решения о возможности применения рассмотренной выше методики последовательного агрегирования иерархически связанных параметров сложно структурируемых объектов. Необходимо, чтобы отношения R в процедурах агрегирования f были бы не только согласованы (в соответствии с выше обозначенным определением), но и для любых k отображение было бы изотонным, т.е. для любых
из отношений предпочтения агрегируемых параметров k-го уровня x и y, равных
со степенью не меньше
следует
со степенью не меньше
т.е.:
|
|
(9) |
При этом согласованность агрегирования и отношений предпочтения вычисляется для всех пар значений агрегируемого показателя. Очевидно, что, как и в предыдущем случае, при четком измерении параметров объекта исследования и четких отношениях предпочтения, т.е. . Это условие эквивалентно аналогичному определению, данному в работах [4, 5], что позволяет в рассматриваемой предметной области осуществлять обоснованный выбор средств диагностики параметров ОЭ, ориентируясь при этом на определенную степень их взаимного соответствия.
Рассмотрим пример согласования агрегирования и отношений предпочтения условных параметров на примере оценки профессионального соответствия кандидатов. На основании априорных данных о взаимосвязи функционально важных для предполагаемой профессиональной деятельности качеств кандидата и анализа средств их оценки исследователем был определён план последовательного анализа ПС кандидата, исходя из возможных исходов диагностики его качеств и дальнейшего их последовательного агрегирования. Структура функциональных связей параметров ПС кандидата с учетом этого анализа представлена на рис.1.
В разработанном плане диагностики ПС кандидата исследователь на нечетко предполагаемые данные об его исходных характеристиках и результатов их последовательного агрегирования, исходя из собственного опыта и знаний. Необходимо оценить степень согласованности отношений предпочтения выявляемых параметров в разработанном плане их оценки и на основании этого анализа выработать предложения по его утверждению или коррекции на основе новых обобщающих данных.
|
9 |
|
8 |
|
6 |
|
7 |
|
1 |
|
2 |
|
3 |
|
4 |
|
5 |
Рис.1. Структурная схема иерархической взаимосвязи параметров исследуемого объекта
Fig.1. Hierarchical relationship’s structural diagram of the object under study’s parameters
Будем полагать известными нечеткие значения параметров . В качестве методов получения данных о значениях параметров и далее частных показателей рассматриваются применяемые в настоящее время методы диагностики, тестирования, экспериментальные и экспертные методы оценки, методы оценки качества деятельности в эргономических патентах [10, 11, 12]. Параметры
образуют нулевой уровень анализа, а параметры
– первый. Параметры
определяют значения частного показателя
. Другой частный показатель
определяют параметры
(см. рис.1). Далее значения параметров
совместно с параметром
используются для определения интегрального показателя
. В данном случае параметр
измеряется четко, а параметры
и
нечётко и представлены в виде интервалов их возможных значений с определением функций принадлежностей, а именно:
|
|
(10) |
Функции , в данном случае, отражают степень уверенности в том, что значения параметров определяют их истинные значения. В рассматриваемом примере они принимают по два дискретных значения с различными величинами функций принадлежности (таблица 1).
Примечание: – функция принадлежности, определяющая возможность появления группировок параметров
в процедурах агрегирования параметров исследуемого объекта.
Функции предпочтения параметров и
представлены в таблицах 2, 3. Отношения предпочтения, определяемые функцией
, определяются исследователем на основании анализа значений частных показателей
и
, а также состава определяющих их параметров
и степени соответствия их численных значений целям агрегирования. Будем считать, что отношение предпочтения при агрегировании интегральных показателей должно выполняться со степенью четкости
.
Таблица 1.
Таблица значений агрегируемых параметров и
, функции принадлежности
нечеткого отношения предпочтения отображения х над образом
Table 1.
Table of variable parameters and
values, membership functions
of the preference’s fuzzy relation of the mapping x over the image
|
Численные значения параметров х1 х2 х3 |
0,8; 0,9; 0,6 γ(х1 х2 х3)= 0,8 |
0,8; 0,9; 0,8 γ(х1 х2 х3)=0,8 |
0,8; 0,6; 0,6 γ(х1 х2 х3)=0,9 |
0,8; 0,5; 0,8 γ(х1 х2 х3)=0,7 |
|
х6 |
0,5 |
0,7 |
0,5; 0,7 |
0,5; 0,55 |
|
|
0,8 |
0,9 |
0,8; 0,5 |
0,8; 0,75 |
|
х2 х3 х4 х5 |
0,9; 0,6 0,8; 0,8 γ(х2,х3, х4, х5)=0,75 |
0,9; 0,8 0,8; 0,8 γ(х2, х3, х4,х5)=0,7 |
0,6; 0,8 0,6; 0,8 γ(х2, х3, х4, х5)=0,6 |
0,6; 0,8 0,8; 0,8 γ(х2, х3, х4, х5)=0,8 |
|
x7 |
0,5 |
0,8 |
0,5; 0,4 |
0,6 |
|
|
1 |
1 |
0,6; 0,5 |
1 |
Таблица 2.
Таблица нечетких степеней доминирования значений
агрегированного параметра x6.
Table 2.
Fuzzy degrees’ table of dominance’s values of the aggregated parameter x6.
|
Численные значения параметра х6 |
х6=0,5 |
х6=0,55 |
х6=0,7 |
|
х6=0,5 |
- |
0,1 |
0 |
|
х6=0,55 |
0,6 |
- |
0 |
|
х6=0,7 |
0,8 |
0,7 |
- |
Таблица 3.
Таблица нечетких степеней доминирования значений агрегированного параметра x7.
Table 3.
Fuzzy degrees’ table of dominance’s values of the aggregated parameter x7.
|
Численные значения параметра х7 |
0,4 |
0,5 |
0,6 |
0,8 |
|
0,4 |
- |
0,1 |
0 |
0 |
|
0,5 |
0,4 |
- |
0,2 |
0 |
|
0,6 |
0,55 |
0,5 |
- |
0,1 |
|
0,8 |
0,8 |
0,65 |
0,7 |
- |
Пользуясь выражениями (3)-(5) и данными таблицы 1, определим образы нечетких множеств предполагаемых значений агрегированных параметров первого уровня. Интегральный показатель на уровне
может иметь место при следующих комбинациях параметров
, а именно
. Аналогично для ,
. Используя данные (9) и принимая во внимание данные таблицы 1 об исходных значениях и функциях принадлежности параметров нулевого уровня
, по формуле (5) определим нечеткие образы множеств предполагаемых значений агрегированного параметра
:
. Далее аналогично получим: ;
. Пользуясь формулами (7),(8) и данными таблицы 2 определим степени взаимного доминирования нечетких образов результатов агрегирования параметра
:
;
. Аналогично получим:
;
;
;
. По формуле (6) определяем значение четкости реализации отношений предпочтения на (k=1)-м уровне агрегирования параметров, т.е.
.
Выполним аналогичный анализ для параметра . Нечеткие образы предполагаемых значений параметра
в соответствии с формулой (5) и исходными данными таблицы 1 и (9) будут равны:
аналогично ;
;
. Степени взаимного доминирования нечетких образов параметра
будут равны:
;
;
;
;
;
;
;
;
;
.
Тогда . Так как
и
, требования к четкости определения отношений предпочтения агрегируемых параметров на первом уровне агрегирования выполнены. Принимая во внимание данные таблиц 2, 3, нетрудно определить, что частные показатели
и
вполне согласованы с отношениями предпочтения параметров нулевого уровня. Это необходимое, но недостаточное условие для полного согласования отношений предпочтения.
Далее аналогичным образом осуществляется проверка согласования агрегирования и отношений предпочтения на втором уровне, т.е. уровне итогового признака профессионального соответствия специалиста. Значения нечетких образов параметров
и
,
являющихся исходными для второго уровня агрегирования информации определены в ходе выше выполненного расчета. Будем считать, что итоговые значения анализа состояния объекта сводятся к выявлению трёх классов, а именно: «соответствует» (y9➊)
, «относительно соответствует» (y9➋) и «не соответствует» (y9➌). Взаимосвязь нечетких параметров первого уровня и классификационных характеристик объекта второго уровня представлена
в таблице 4.
Значения взаимных функций предпочтения агрегированных параметров
представлены в таблице 5.
Таблица 4.
Таблица значений агрегируемых параметров и
, функции принадлежности
нечеткого отношения предпочтения отображения
над образом
Table 4.
Table of variable parameters and
values, membership functions
of the preference’s fuzzy relation of the mapping
over the image
|
Численные значения и функции принадлежности группировок параметров второго уровня: |
|
|
|
|
|
Функция принадлежности, определяющая возможность появления группировок параметров |
|
|
|
|
|
Диагностируемые состояния объекта исследования |
y9➊ |
y9➋ |
y9➊ |
y9➌ |
|
Функции принадлежностей нечеткого отображения X в |
|
|
|
|
Результаты расчета нечетких образов предполагаемых значений параметра в соответствии с формулой (5) и исходными данными таблиц 4, 5 и на основании рассмотренного выше алгоритма представлены ниже, а именно:
y9➊
аналогично получим:
y9➋
=0,6;
y9➌
=0,7. Степени взаимного доминирования нечетких образов параметра профессионального соответствия
будут равны:
y9➊
;y9➊
=0,9;
y9➊
;y9➊
=0,2;
y9➋
;y9➋
=0,5;
y9➋
;y9➋
=0,5;
y9➌
;y9➌
=0,8;
y9➌
;y9➌
=0,4. Полученные данные позволяют оценить чёткость оценок классификаций в данном случае профессиональных соответствий кандидатов:
(y9➊)=0,9;
(y9➋)=0,5;
(y9➌)=0,8. Как видно, для первого и третьего уровней ПС уровни чёткости оценок соответствуют требуемым значениям
. Кроме этого, они согласованы {
(y9➊),
(y9➌)}>
. Этого нельзя сказать про второй, промежуточный уровень классификации. Он ни по чёткости, ни по согласованности отношений предпочтения не отвечает требованиям, что связано, в первую очередь, с неоднозначностью отношений предпочтений экспертов
(см. таблицы 5,6), а это, в свою очередь, связано с недостатком знаний и представлений экспертов о классификационных отличиях изучаемого объекта.
Заключение
Анализ и оценка эффективности современных сложных технических, социальных, психологических и иных объектов всегда предполагает необходимость учета иерархической взаимосвязи их параметров и нечёткости их оценок. Возникающие при этом задачи связаны с необходимостью согласования отношений предпочтений состояний объектов исследования на разных уровнях иерархии соотнесения результатов их анализа и оценки с результатами последовательного агрегирования их параметров на основе применяемых методик.
Таблица 5.
Значения взаимных функций предпочтения агрегированных параметров
Table 5.
Values of mutual preference functions of aggregated parameters
|
|
y9➊ |
y9➋ |
y9➌ |
y9➊ |
y9➋ |
y9➌ |
|
y9➊ |
- |
0 |
0 |
0,9 |
0 |
0 |
|
y9➋ |
- |
0 |
0 |
0,6 |
0 |
|
|
y9➌ |
0 |
0,8 |
- |
0 |
0 |
0.8 |
|
y9➊ |
0,2 |
0 |
0 |
- |
0 |
0 |
|
y9➋ |
0 |
0 |
0,5 |
0 |
- |
0 |
|
y9➌ |
0 |
0 |
0,4 |
0 |
0 |
- |
Увеличение уровня агрегирования всегда связано с необходимостью дальнейшей конкретизации образов преобразования исходной информации на вышестоящих уровнях агрегирования интегральной оценки объекта анализа (в данном случае профессионального соответствия кандидата). В свою очередь, конкретизация образа состояния объекта предполагает более глубокий анализ взаимного влияния его параметров. От того насколько точно образ преобразований объекта будет отражать реальный характер их взаимовлияния, зависит степень четкости оценки исследователя о его состоянии.
Углубление анализа приводит к усложнению структуры образа, который отражает, с одной стороны, желание исследователя учесть более полно функциональные связи и характеристики частных показателей, а с другой стороны требует, простоты его реализации.
Разрешение двух этих противоречивых тенденций реально осуществляется в некоторой системе нечетких множеств, отражающих степень четкости суждения исследователя о характере взаимодействия параметров. В этом смысле изложенная выше методика определения рационального уровня агрегирования обладает определенной общностью по отношению к процессам познания явлений разнообразной физической природы.
1. Багрецов С.А., Львов В.М., Наумов В.В., Оганян К.М. Диагностика социально психологических характеристик малых групп с внешним статусом. Серия «Учебники для Вузов. Специальная литература». СПб.: Издательство «Лань», Издательство Санкт-Петербургского университета МВД России, 1999. 640 с. ISBN 8-8114-0169-8.
2. Багрецов С.А., Оганян К.М., Пророк В.Я. Основы построения и организации адаптивных систем профессионального отбора. СПб.: Издательство «Лань», 2003. 329 с.
3. Багрецов С.А., Горелов И.П. Последовательная агрегация в оценке эффективности групповой деятельности операторов // Изв. Вузов. Приборостроение, 1995. Т.38. № 9-10. С. 56-58.
4. Краснощеков П.С., Морозов В.В., Федоров В.В. Декомпозиция в задачах проектирования // Изв. АН СССР. Техн. Кибернетика. 1979. №2. С. 7-18.
5. Краснощеков П.С., Морозов В.В., Попов Н.М. Оптимизация в автоматизированном проектировании. Изд.2-е, испр. М.: ЛЕНАНД, 2018. 328 с. ISBN 978-5-317-02318-8.
6. Микони С.В., Соколов Б.В., Юсупов Р.М. Квалиметрия моделей и полимодальных комплексов: монография. М.: РАН, 2018. 314 с. ISBN 978-5-907036-32-1.
7. Зайченко Ю.П. Нечеткие модели и методы в интеллектуальных системах. Учебное пособие для студентов высших учебных заведений. Калининград: «Издательский Дом «Слово», 2008. 344 с.
8. Орловский С.А. Проблемы принятия решений при нечеткой информации. М.: Наука. Главная редакция физико-математической литературы, 1981, 208 с.
9. Заде Л.А. Роль мягких вычислений и нечеткой логики в понимании, конструировании и развитии информационных интеллектуальных систем // Новости искусственного интеллекта, 2001. №2-3. С.7-11. EDN LHAVBC.
10. Липаев В.В. Тестирование компонентов и комплексов программ: учебник. М.: « Синтег», 2010. 392 с. ISBN 978-5-89638-115-0.
11. Шашлюк Ю.А., Багрецов С.А., Добрынин В.Н. Управление безопасностью эксплуатации железнодорожных транспортных систем: монография. М.: ВНИИгеосистем, 2018. 390 с. ISBN 978-5-8481-0225-3.
12. Spasennikov V., Androsov K., Golubeva G. Ergonomic factors in patenting computer systems for personnel's selection and training // CEUR Workshop Proceedings : 30, Saint Petersburg, 22-25 сентября 2020 года. Saint Petersburg, 2020. P. 1. EDN MRWCZX.
