Россия
Россия
Статья посвящена анализу формирования динамических и статических структур нейронных сетей. Анализ применимости нейронных сетей в данной статье направлен на правильное использование на практике. Оценивается возможность использования аппарата нейронных сетей применительно к реализации её в MATLAB. В данной статье приводятся различные архитектуры нейронных сетей, порядок их обучения. Кроме того рассматриваются нейронные сети с задержкой, с распределённым запаздыванием, сеть NARX, слоисто-рекуррентная сеть. Оцениваются их достоинства и недостатки при использовании в различных сферах применения. Также оцениваются возможности оценки линейных и нелинейных процессов. Сравнивается время решения задач для обучения различных архитектур нейронных сетей. В статье также описываются особенности, как архитектур нейронных сетей, так и способов их обучения с целью получения минимальных ошибок прогнозирования.
Архитектура, нейронная сеть, динамическая нейронная сеть, статическая нейронная сеть, нейронная сеть с задержкой, нейронная сеть с распределённым запаздыванием, нейронная сеть NARX, слоисто-рекуррентная сеть.
I. Введение
В настоящее время развитие методических подходов для решения различного рода научных задач путём формирования архитектуры нейронных сетей расширяют предметные области их использования. Однако для правильного применения тех или иных архитектур нейронных сетей необходимо учитывать их особенности [1-14]. Поэтому целесообразно исследовать особенности архитектур нейронных сетей.
II. Сравнительный анализ архитектур нейронных сетей
Исходя из того, что нейронные сети подразделяются на динамические и статические, то целесообразно осуществить их сравнение друг с другом. Так статические сети или сети прямого распространения не имеют элементов обратной связи и не содержат никаких задержек. Кроме того, выход рассчитывается непосредственно от входа через связи обратного распространения (через обратную связь). В отличие от статических сетей у динамических сетях выход зависит не только от текущего входа в сеть, но также от текущих или предыдущих входов, выходов или состояний сети [15-28].
Также следует отметить, что динамические сети делятся на две категории: те, которые имеют только соединения со связями с обратным распространением (обратной связью), и те, которые имеют рекуррентные связи.
Отличительной особенностью между статическими сетями, динамическими сетями со связями прямого распространения и рекуррентными динамическими сетями, является то, как они реагируют на входную последовательность.
Кроме того, ответ динамической сети, длится дольше, чем входной импульс.
1. Костин, Н. С. Место модульных нейронных сетей в классификации искусственных нейронных сетей / Н. С. Костин // Интеллектуальный потенциал XXI века: ступени познания. - 2013. - № 19. - С. 91-95.
2. Эрдниева, Н. С. Использование искусственных нейронных сетей для прогнозирования показателей эффективности передачи сообщений мультипроцессорной архитектуры / Н. С. Эрдниева // Вестник Саратовского государственного технического университета. - 2013. - Т. 2, № 1 (70). - С. 167-177.
3. Иванов, С. А. Устойчивость рекурсивных нейронных сетей цилиндрической архитектуры с запаздывающими взаимодействиями / С. А. Иванов, Е. Н. Невзорова, С. А. Козлова // Инновации в науке. - 2013. - № 16-1. - С. 7-11.
4. Головко, Н. А. Оценка архитектуры искусственных нейронных сетей для моделирования процесса нагрева стальной полосы на агрегате непрерывного горячего цинкования / Н. А. Головко, О. С. Логунова // Вестник Национального технического университета Харьковский политехнический институт. Серия: Информатика и моделирование. - 2012. - № 62 (968). - С. 33-39.
5. Дмитриенко, В. Д. Новые архитектуры и алгоритмы обучения дискетных нейронных сетей адаптивной резонансной теории / В. Д. Дмитриенко, И. П. Хавина, А. Ю. Заковоротный // Научные ведомости Белгородского государственного университета. Сер. Экономика. Информатика. - 2009. - Т. 12, № 15 (1). - С. 88-96.
6. Дмитриенко, В. Д. Архитектуры и алгоритмы функционирования нейронных сетей Хемминга и Хебба, способных дообучаться и распознавать новую информацию / В. Д. Дмитриенко, А. Ю. Заковоротный // Радіоелектроніка, інформатика, управління. - 2014. - № 2 (31). - С. 100-109.
7. Истомина, Ю. А. Система автоматизации проектирования искусственных нейронных сетей послойной архитектуры / Ю. А. Истомина, В. В. Тынченко // Решетневские чтения. - 2012. - Т. 2, № 16. - С. 611-612.
8. Заковоротный, А. Ю. Новые архитектуры и алгоритмы обучения нейронных сетей адаптивной резонансной теории / А. Ю. Заковоротный // Научный результат. Информационные технологии. - 2016. - Т. 1, № 1. - С. 4-11.
9. Заковоротный, А. Ю. Новые архитектуры и алгоритмы обучения нейронных сетей адаптивной резонансной теории / А. Ю. Заковоротный // Научный результат. Информационные технологии. - 2016. - Т. 1, № 1. - С. 4-11.
10. Сельвесюк, Н. И. Объектно-ориентированное проектирование нейронной сети для автоматизации определения архитектуры вычислительной системы в задачах обеспечения информационной безопасности / Н. И. Сельвесюк, А. С. Островский, А. А. Гладких, Р. С. Аристов // Научный вестник Новосибирского государственного технического университета. - 2016. - № 1 (62). - С. 133-145.
11. Петренко, А. Н. О выборе архитектуры нейронной сети при решении некоторых задач математической дефектоскопии / А. Н. Петренко, А. Е. Кучеренко // Адаптивні системи автоматичного управління. - 2008. - № 12 (32). - С. 61-70.
12. Татьянкин, В. М. Алгоритм формирования оптимальной архитектуры многослойной нейронной сети / В. М. Татьянкин // Новое слово в науке: перспективы развития. - 2014. - № 2 (2). - С. 187-188.
13. Матвеева, Н. О. Реализация радиально-базисной нейронной сети на массивно-параллельной архитектуре графического процессора / Н. О. Матвеева // Научно-технический вестник Санкт-Петербургского государственного университета информационных технологий, механики и оптики. - 2011. - № 1 (71). - С. 54-58.
14. Маркин, М. И. Синтез архитектуры нейронной сети для прикладной задачи / М. И. Маркин, Р. Л. Смелянский // Известия ТРТУ. - 2000. - № 2(16). - С. 233-236.
15. Яньшин, С. Н. Совершенствование методологии планирования радиочастотного спектра на основе технологий математического моделирования / С. Н. Яньшин, В. В. Лавлинский, С. А. Змеев, Е. А. Рогозин, И. А. Новикова, М. В. Питолин, Н. В. Ципина, О. Ю. Макаров // Воронеж : ВГТУ, 2017. - 178 с.
16. Теоретические аспекты математического описания действий в робототехнических системах / В. В. Лавлинский, С. Н. Яньшин // Информационные технологии в управлении и моделировании мехатронных систем : материалы I Международной научно-практической конференции. - 2017. - С. 184-192.
17. Особенности математического метода для моделирования целенаправленных систем / В. В. Лавлинский, С. Н. Яньшин // Актуальные проблемы прикладной математики, информатики и механики : материалы Международной научно-технической конференции. -Воронеж : ВГУ, 2017. - С. 750-758.
18. Кочедыков, С. С. Представление знаний при решении слабоструктурированных задач на примере подсистемы информационной безопасности автоматизированной системы управления / С. С. Кочедыков, А. С. Кравченко, В. В. Лавлинский, О. В. Ланкин, Ю. В. Кулаков // Промышленные АСУ и контроллеры. - 2017. - № 10. - С. 17-25.
19. Лавлинский, В. В. Теоретические основы математического моделирования для описания целенаправленных систем / В. В. Лавлинский, Е. А. Рогозин, С. Н. Яньшин // Вестник Воронежского института МВД России. - 2017. - № 2. - С. 143-153.
20. Лавлинский, В. В. Теоретические основы математического моделирования действий для описания целенаправленных систем / В. В. Лавлинский, Е. А. Рогозин, С. Н. Яньшин // Вестник Воронежского института МВД России. - 2017. - № 4. - С. 144-152.
21. Лавлинский, В. В. Применение математического описания действий для целенаправленных систем на основе методов нейронных сетей / В. В. Лавлинский, С. Н. Яньшин // Моделирование систем и процессов. - 2017. - Т. 10, № 2. - С. 17-23.
22. Лавлинский, В. В. Формирование моделей и методов взаимодействия информационных процессов / В. В. Лавлинский, О. Г. Иванова // Прикладная физика и математика. - 2015. - № 4. - С. 49-61.
23. Лавлинский, В. В. Формирование моделей и методов взаимодействия информационных процессов / В. В. Лавлинский, О. Г. Иванова // Приборы и системы. Управление, контроль, диагностика. - 2014. - № 5. - С. 39-50.
24. Лавлинский, В. В. Теоретические предпосылки решения проблем формирования моделей и методов взаимодействия информационных процессов / В. В. Лавлинский // Моделирование систем и процессов. - 2013. - № 2. - С. 30-36.
25. Зубрицкий, П. Ю. Информационное обеспечение для оценки пороговых значений в распознавании релевантных свойств информационных объектов в условиях априорной неопределенности / П. Ю. Зубрицкий, В. В. Лавлинский // Вестник Воронежского государственного технического университета. - 2011. - Т. 7, № 6. - С. 209-214.
26. Сербулов, Ю. С. Мера информации в задачах выбора и распределения информационных ресурсов / Ю. С. Сербулов, О. Ю. Лавлинская, В. В. Лавлинский // Инженерная физика. - 2010. - № 4. - С. 7-8.
27. Лавлинский, В. В. Программная реализация моделей для синтеза виртуальной реальности АСТПП для условий нечеткого представления контролируемых параметров при проектировании систем / В. В. Лавлинский, Е. Е. Обручников // Вестник Воронежского института высоких технологий. - 2009. - № 5. - С. 184-187.
28. Лавлинский, В. В. Модель выявления закономерностей преодоления средств защиты информации / В. В. Лавлинский, В. В. Сысоев // Информационные технологии и вычислительные системы. - 2001. - № 4. - С. 78-81.
