Введение Сегодня обработка и анализ большого количества разнородной цифровой информации неразрывно связаны и с такой областью, как медицина. В связи с этим существует необходимость разработки новых методов, учитывающих специфику медицинских данных, а именно вариабельность показателей, неполнота или неточность описания, малый объем выборок, ограниченное время на принятие решений и т.д. Как показывают исследования [2, 12] решение задачи диагностической классификации успешно осуществляется с помощью технологии машинного обученияМашинное обучение позволяет повысить точность диагностики, производительность, появляется возможность автоматизировать процесс обработки и анализа большого количества информации. Однако не всегда необходимо прибегать к сложным алгоритмам вроде сверточных нейронных сетей, которые лучше подходят для работы с изображениями. Для решения некоторых задач достаточно применять более легкие и быстрые архитектуры, которые при правильном подборе параметров способны показать хорошие результаты.  Материалы и методы для решения задачи В статье для решения задачи медицинской диагностики приведена разработанная рекуррентная нейронная сеть, посредством которой возможно учесть временную характеристику данных. Однако основной проблемой рекуррентных нейронных сетей является затухание локального градиента.Обучение глубоких и динамических нейронных сетей сопряжено со схожими проблемами. Это происходит из-за того, что динамическая сеть в процессе развертывания дополняется новыми слоями, количество которых зависит от длительности входного сигнала.Несмотря на наличие множества эвристик, направленных на упрощение процесса обучения, алгоритм обратного распространения менее эффективен при обучении сетей, у которых имеется несколько скрытых слоев. В работах [14, 15] математически показана сходимость алгоритма обратного распространения для любой сети при условии бесконечно малого изменения весов. На практике же эффект обучения не доходит до дальних слоев сети в связи с обращением градиентов в ноль.Модификация алгоритма обучения нейронной сети, заключавшаяся в изменении целевой функции на кросс-энтропию, позволила повысить точность тестирования по сравнению с нейросетевой моделью, где в качестве целевой функции выступает MSE. Известной проблемой использования сигмоидальных активационных функций при обучении является то, что при приближении выходных значений нейрона к единице частные производные стремятся к нулю. Отсюда может возникнуть парадокс, противоречащий биологической природе обучения: чем выше значение ошибки, тем меньшей будет коррекция веса.Для решения вышеописанной проблемы приведем следующую целевую функцию (1):                                                                          (1)где  – соответствующие желаемые отклики;  – выходное значение, где аргумент функции f – активационный потенциал нейрона, соответствующий i-му примеру из выборки;  – набор обучающих векторов. Два свойства данной функции позволяют рассматривать ее в качестве целевой:1) функция является строго положительной;2) при выходных значениях, близких к желаемым откликам сети, значение функции будет стремиться к нулю.Этими же свойствами обладает и квадратическая целевая функция. Покажем, что использование (1) решает проблему замедления скорости обучения. Для этого найдем частную производную целевой функции по весу:                                                                                         (2)Проводя вычисления в (2), получим:                                                                         (3)В случае логистической активационной функции (3) примет вид:                                                                                                         (4)Таким образом, коррекция веса не зависит от значения производной активационной функции по коррекции веса, т.е. чем большей будет ошибка обучения, тем большей будет коррекция веса.В работе оптимизация параметров выполнялась с помощью метода Adadelta:                                                                                                                                                                                                        (5)где θ – настраиваемый параметр; g – производная целевой функции по отношению к настраиваемому параметру; RMS – корень суммы предыдущих значений g.Adadelta принадлежит к семейству адаптивных алгоритмов обучения (AdaGrad, AdaMax, Adam, RMSprop), базирующихся на понятии «момента» обучения, и определяющих коэффициент коррекции веса индивидуально для каждого весового коэффициента.  Описание исходных данных и подбор гиперпараметров Для более точной оценки влияния изменения гиперпараметров на величину ошибок на этапе проверки используется кросс-валидация. С целью проведения кросс-валидации на изначальной выборке, состоящей из N элементов, формируется N новых, путем выделения одной строки в качестве тестового набора, в то время как остальные N-1 представляют обучающую выборку. На каждой выборке производится обучение модели и вычисляется средняя ошибка по всем выборкам. Подбирая гиперпараметры нейронной сети и отслеживая данную ошибку, формируем наилучшую модель.Исходные деперсонализированные данные представляют из себя результаты МРТ головного мозга пациентов. Данные предоставлены отделением рентгенологии СибГМУ для выявления взаимосвязи между наличием сахарного диабета и отклонения в головном мозге пациента.Обучающая выборка включает 14 показателей 1320 пациентов, которые отнесены к разным группам с учетом типа сахарного диабета и когнитивных нарушений. Представим описание пациентов в исследуемых группах:1) пациенты с сахарным диабетом 1 типа с когнитивными нарушениями, 450 пациентов;2) пациенты с сахарным диабетом 1 типа без когнитивных нарушений, 200 пациентов;3) пациенты с сахарным диабетом 2 типа с когнитивными нарушениями, 420 пациентов;4) пациенты с сахарным диабетом 2 типа без когнитивных нарушений, 190 пациентов;5) контрольная группа, включающая пациентов, для которых показатели получены в пределах нормы, 60 пациентов.Гиперпараметры влияют на качество работы нейронной сети, но определяются до начала обучения и никак не изменяются в процессе. Гиперпараметры влияют друг на друга, поэтому подбор оптимальной их комбинации вручную достаточно сложный процесс.Keras Tuner – оптимизатор гиперпараметров, разработанный командой Google специально для keras в составе TensorFlow [1]. Данная библиотека распространяется бесплатно. Для более точной оценки влияния изменения гиперпараметров на величину ошибок на этапе проверки в работе использована кросс-валидация. Оптимизация гиперпараметров нейросетевой модели осуществлялась посредством подбора активационных функций, количества скрытых слоев, количества нейронов в скрытых слоях, активационных функций выходного слоя и размера батча. Нейросетевая модель для определения типа сахарного диабета Ансамбль – алгоритм, состоящий из нескольких алгоритмов машинного обучения. Процесс построения ансамбля называется ансамблированием.В данной работе ансамбль состоит из двух нейросетевых моделей, одна из которых отвечает за классификацию типа сахарного диабета, а вторая – за определение степени когнитивных нарушений. Обе модели на вход получают спектры, а на выходе дают два числа – тип сахарного диабета и степень когнитивных нарушений.На первом шаге подбор параметров осуществлялся на основе экспериментов. В качестве оптимизатора выбран алгоритм Adadelta. Функцией ошибок была выбрана бинарная перекрестная энтропия, т.к. она лучше других подходит для решения задач бинарной классификации.В табл. 1 приведены результаты подбора гиперпараметров нейронной сети с использованием кросс-валидации. Таблица 1Результаты подбора гиперпараметров модели, определяющей тип сахарного диабета, эмпирическим путёмTable 1Empirical hyperparameter fitting for a type of diabetes mellitus classification modelКоличество скрытых слоёвАктивационная функция скрытых слоевАктивационная функция выходКоличество нейронов в скрытых слояхРазмер батчаСредняя ошибка3ReLUReLU5, 5, 5301,993ReLUReLU5, 5, 5201,53ReLUReLU5, 5, 5152,143ReLUReLU5, 5, 5101,443ReLUReLU5, 5, 5352,743ReLUReLU5, 5, 5501,853ReLUReLU5, 5, 4101,463ReLUReLU5, 5, 3102,173ReLUReLU7, 5, 3101,793ReLUReLU7, 5, 4101,83ReLUReLU7, 4, 3102,323ReLUReLU7, 7, 7100,413ReLUReLU7, 4, 2101,783ReLUELU7, 7, 7101,313ReLUSeLU7, 7, 7101,633ReLUReLU7, 7, 7101,614ReLUELU7, 7, 7, 5101,433ELUELU7, 7, 7101,78 На основе проведенного анализа построена нейронная сеть, неизменными параметрами для создания которой являлись: 3 скрытых слоя по 7 нейронов каждый с активационной функцией ReLU, на выходном слое активационная функция – ELU и размером батча равном 10.Выбор оптимальных гиперпараметров осуществлялся с использованием библиотеки keras tuner. Одной из наилучших оказалась моделей, состоящая из 5 скрытых слоев, которые содержат 10, 4, 9, 6 и 10 нейронов; активационная функция выходного слоя – ELU; активационная функция скрытых слоев Tanh; размер батча 10. Сравнение полученных моделей В ходе работы были отобраны две нейросетевых модели для классификации типа сахарного диабета. После обучения обоих моделей проведена проверка на тестовой выборке. Для определения того, какая модель лучше справляется с поставленной задачей классификации построены матрицы ошибок.На рис. 1 представлена матрица ошибок для модели, гиперпараметры которой подобраны эмпирически.Рис. 1. Матрица ошибок модели с эмпирически подобранными гиперпараметрамиFig. 1. Confusion matrix of a model with empirically fitted hyperparameters На рис. 2 представлена матрица ошибок для модели, гиперпараметры которой подбирались с использованием библиотеки Кeras Тuner.Рис. 2. Матрица ошибок модели с гиперпараметрами, подобранными с использованием Keras TunerFig. 2. Confusion matrix of a model with hyperparamters fitted using Keras tuner Исходя из полученных результатов, можно сделать вывод о том, что с задачей классификации обе модели справляются одинаково успешно.В качестве другой метрики для сравнения были выбраны функции ошибок на этапе обучения и на этапе проверки. На рис. 3, а представлен график функций ошибок для модели, полученной с использованием кросс-валидации. На рис. 3, б представлен график функций ошибок для модели, полученной с использованием библиотеки Keras Tuner. а)                                                                                          б)Рис. 3. График ошибок по эпохам модели с:а – эмпирически подобранными гиперпараметрами; б – гиперпараметрами подобранными с помощью Keras TunerFig. 3. Plot of errors by epochs of a model with:a – empirically fitted hyperparameters; b – hyperparameters fitted using Keras Tuner Из рис. 3 видно, что обе модели не подвержены переобучению. Однако стоит отметить, что для достижения одного уровня точности, второй модели требуется меньшее число эпох. В результате для дальнейшего использования была выбрана модель, построенная с использованием библиотеки Keras Tuner. Таблица 2Результаты подбора гиперпараметров модели, определяющей степень когнитивных нарушений, эмпирическим путёмTable 2Empirical hyperparameter fitting for the degree of cognitive impairment classification modelКоличество скрытых слоёвАктивационная функция скрытых слоевАктивационная функция выходКоличество нейронов в скрытых слояхРазмер батчаСредняя ошибка3relusoftmax5,5,5200,833relusoftmax5,5,5300,863relusoftmax5,5,5350,913relusoftmax5,5,5400,913relusoftmax5,5,5150,843relusoftmax5,5,5100,763relusoftmax5,5,5450,943relusoftmax5,4,4100,803relusoftmax7,5,4100,803relusoftmax10,7,5100,693relusoftmax5,5,5100,723relusoftmax7,7,7100,643relusigmoid7,7,7100,693relusoftmax7,7,7100,653selusoftmax7,7,7100,593elusoftmax7,7,7100,623sigmoidsoftmax7,7,7100,903tanhsoftmax7,7,7100,654selusoftmax7,7,7,7100,524selusoftmax7,7,7,5100,555selusoftmax10,7,7,7,5100,515selusoftmax7,7,7,7,7100,555selusoftmax7,7,7,7,5100,53 В результате построена нейронная сеть, неизменными параметрами для создания которой являлись: 5 скрытых слоев, содержащих 10, 7, 7, 7 и 5 нейронов соответственно, с активационной функцией SELU для скрытых слоев и Softmax на выходе; размер батча был равен 10.Выбор оптимальных гиперпараметров осуществлялся с использованием библиотеки Keras Tuner. Одной из наилучших является модель, состоящая из 3 скрытых слоев, которые содержат 7, 14 и 12 нейронов, имеют активационную функцию выходного слоя – Softmax и для скрытых слоев – ELU и размер батча 10. Сравнение полученных моделей В результате работы получены две нейросетевых модели для классификации степени когнитивных нарушений. После обучения обоих моделей было проведена их проверка на тестовой выборке. Для определения того, какая модель лучше справляется с поставленной задачей классификации построены матрицы ошибок. На рис. 4 представлена матрица ошибок для модели, гиперпараметры которой подобраны эмпирически.Рис. 4. Матрица ошибок модели с эмпирически подобранными гиперпараметрамиFig. 4. Confusion matrix of a model with empirically fitted hyperparameters На рис. 5 представлена матрица ошибок для модели, гиперпараметры которой подбирались с использованием библиотеки keras tuner.Рис. 5. Матрица ошибок модели с гиперпараметрами, подобранными с использованием Keras TunerFig. 5. Confusion matrix of a model with hyperparamters fitted using Keras tuner Исходя из полученных результатов, можно сделать вывод, что с задачей классификации обе модели справляются одинаково успешно. В качестве другой метрики для сравнения были выбраны функции ошибок на этапе обучения и на этапе проверки. На рис. 6, а представлен график функций ошибок для модели, полученной с использованием кросс-валидации. На рис. 6, б представлен график функций ошибок для модели, гиперпараметры которой подбирались с использованием библиотеки keras tuner.  а)                                                                                          б)Рис. 6. График ошибок по эпохам модели с:а – эмпирически подобранными гиперпараметрами; б – гиперпараметрами подобранными с помощью Keras TunerFig. 6. Plot of errors by epochs of a model with:а – empirically fitted hyperparameters; b – hyperparameters fitted using Keras Tuner  Как видно из графиков ошибка на этапе проверки меньше у первой модели, что говорит о лучшем качестве. В результате для дальнейшего использования была выбрана модель, построенная на основе эмпирического анализа. Результат работы ансамбля В результате работы были отобраны лучшие модели для классификации типа сахарного диабета и определения степени когнитивных нарушений, которые легли в основу ансамбля. Для определения качества совместной работы двух ансамблированных нейросетей построены матрицы ошибок, которые представлены на рис. 7 и рис. 8.Рис. 7. Матрица ошибок при классификации типа сахарного диабета ансамблированной моделиFig. 7. Confusion matrix of the ensembled model for the type of diabetes mellitus classification Рис. 8. Матрица ошибок при определении степени когнитивных нарушений ансамблированной моделиFig. 8. Confusion matrix of the ensembled model for the degree of cognitive impairment classification Матрицы ошибок показывают, что ансамблированные нейронные сети работают с такой же точностью, как по отдельности. Однако позволяют решить сразу несколько задач. Заключение В результате проведено исследование, связанное с подбором гиперпараметров на основе эмпирического подхода и с использованием библиотеки Keras Tuner. Как итог была создана архитектура нейронной сети, включающая ансамбль из двух нейросетевых моделей и позволяющая осуществить классификацию по типу сахарного диабета и степени когнитивных нарушений с точностью 94 %, что было протестировано на тестовой выборке.Разработанная нейросетевая модель позволяет по результатам МРТ определить тип сахарного диабета больного и наблюдаемую у него степень когнитивных нарушений.