Введение
Диагностика конструкции стали одним из главных приоритетов в современном управлении гражданскими объектами, поскольку они позволяют на ранней стадии выявлять дефекты конструкций (такие как трещины, отслоения, коррозия и воздушные пустоты) до того, как они превратятся в проблемы, угрожающие безопасности здания или требующие дорогостоящего ремонта.
И способы цифрового анализа изображений являются эффективным инструментом в системах мониторинга состояния конструкций, потому что они обеспечивают возможность проведения неразрушающих, автоматизированных, а также оперативных и экономичных проверок по сравнению с традиционными ручными методами, которые зависят от опыта специалистов и требуют времени.
Методы и техники, которые используются при анализе цифровых изображений, варьируются от традиционных алгоритмов (Оцу, Канни), основанных на преобразовании изображений в двоичные формы и поиске баланса между обнаружением краев и сглаживанием шума путем определения оптимального порога между фоном и дефектом [1,2], к более сложным алгоритмам, таким как искусственные нейронные сети (ИНС) и алгоритмы глубокого обучения [3,4].
И эти более эффективные дают высокую результативность в обнаружении дефектов, их локализации с высокой степенью точности, их классификации по типам и даже измерении их количественных параметров (длина, ширина и площадь) с точностью, выше 90% [6,7]. Поэтому технология анализа изображений делает возможным получение количественных показателей, прямой связи с решениями по обслуживанию и ремонту, в результате чего она становится неотъемлемой частью системы управления жизненным циклом инженерных сооружений. С этой точки зрения крайне важно разработать направления, отражающие эффективность данной технологии в диагностике.
Материалы и методы
Цель данной работы заключается в определении, анализе и формулировании набора критериев, которые можно использовать для оценки эффективности модели анализа цифровых изображений при выявлении дефектов в сооружениях на основе анализа более 35 статей, опубликованных в период с 2016 по 2025 год.
Этот анализ обеспечит единую систему оценки эффективности, что будет способствовать принятию решений и повышению эффективности управления проектами.
Критерии оценки эффективности использования технологии анализа изображений:
На основании обширного литературного обзора, а также глубокого анализа имеющихся исследований, с учётом разнообразия алгоритмов и систем, применяемых в технологиях анализа цифровых изображений, нам удалось разделить критерии оценки на четыре категории:
1. Первая категория: Технические Критерии: эти критерии касаются качества работы алгоритмов обработки изображений и способности компьютерной системы обнаруживать дефекты. В этот раздел входят следующие критерии:
1.1. Аккуратность: данный критерий является одним из основополагающих и наиболее часто используемых показателей при оценке эффективности систем цифрового анализа, предназначенных для обнаружения дефектов, таких как трещины, отслоения и другие. Он определяется как отношение числа пикселей или изображений, которые были правильно классифицированы будь то точно обнаруженные дефекты (истинные положительные результаты) или исправные области, идентифицированные как фон (истинные отрицательные результаты), к общему числу классифицированных пикселей или образцов.[8]. И хорошо известно, что при использовании алгоритмов глубокого обучения результаты данного критерия отличаются в зависимости от типа применяемого алгоритма и характера предварительной обработки изображений, а также от объема и разнообразия обучающего набора данных, и в рамках исследования [4], где использовалась заранее обученная сеть глубокого обучения (VGG16), была продемонстрирована точность диагностики в диапазоне от 99,53 % до 99,43 % уже после 20 циклов обучения, тогда как применение более простых методов (таких как пороговая обработка по Отцу) давало точность обнаружения на уровне 82,8 % [4], и это снижение уровня точности объясняется потерей некоторой мелко детальной информации при бинарном преобразовании, что привело к игнорированию мелких трещин (на рисунке 1 показана разница в точности обнаружения дефектов в зависимости от типа алгоритма, используемого для обработки).
Кроме того, в исследовании Ali et al. [9] отмечается, что значение данного показателя меняется в пределах самих глубоких сетей: так, модель YOLOv5m достигла точности тестирования 97,7 %, в то время как более простая модель (Custom CNN) показала точность 93,4 % [9].
Рис. 1. Разница в точности обнаружения дефектов в зависимости от типа алгоритма, используемого для обработки [4]. Слева: определение трещины с помощью Otsu’s thresholding, справа: определение трещины помощью модели VGG16
Несмотря на важность этого критерия и его очевидную ясность при оценке, использование его в качестве единственного показателя оценки в диагностических ситуациях является весьма проблематичным ввиду специфики данных, характерных для данной области. В сфере дорожного строительства, дорожного покрытия и бетонных конструкций участки с дефектами (такие как мелкие трещины и выкрашивание поверхности) составляют очень небольшую долю (1 %) от общей площади изображения, тогда как исправная поверхность занимает наибольшую площадь. Это приводит к серьезному дисбалансу в распределении категорий (истинные положительные, истинные отрицательные), при котором система может получить точность, превышающую 90 %, классифицировав все пиксели как не имеющие дефектов, однако диагноз для исследуемого сооружения будет неверным. В этом контексте Дорафшан [8] и Таузовски с соавторами [6] пояснили, что показатель точности сам по себе не отражает способность системы различать критические участки; напротив, он может создавать ложное впечатление высокой эффективности, тогда как фактическая эффективность обнаружения дефектов оказывается очень низкой [6,8].
1.2. Точность и полнота (чувствительность): Оба критерия являются критическими показателями, выходящими за рамки традиционных критериев (таких как точность), особенно в условиях с сильно несбалансированным распределением категорий. Критерий точности отражает способность системы избегать классификации нормальных территорий как дефектов (т. е. снижение ложноположительных результатов), а критерий полноты отражает способность обнаруживать все истинные дефекты, не пропуская ни одного (т. е. снижение ложноотрицательных результатов). Эти два фактора имеют огромное влияние на оценку системы анализа цифровых изображений, поскольку безопасность объекта зависит от способности определить все потенциальные недочеты, независимо от их характера, даже если это происходит за счет небольшого увеличения количества ложных срабатываний [8].
Как показали исследования, эти двух критерия в высшей степени дополняют друг друга, а достижение баланса между ними служит точным и эффективным индикатором эффективности технологии анализа цифровых изображений, так, например, в исследовании [5] было показано, что модель (YOLOv5m) достигла положительной точности 97,7 %, в то время как показатель чувствительности составил 96,7 % при обнаружении трещин в мостах, согласно данным обучения. С другой стороны, когда система была внедрена на двух разных мостах первый из которых расположен в городе Сваби, а второй в городе Вах в Пакистане, результаты составили соответственно: для первого моста (город Сваби) 83,2 % по показателю положительной точности и 89,9 % по показателю чувствительности; для второго моста (город Вах) показатель положительной точности составил 89,4%, а показатель чувствительности 89,9 %. Точность распознавания трещин понизилась под влиянием изменений условий рабочей среды по сравнению с условиями в лаборатории [5]. На рисунке 2 представлена точность выявления трещин.
Рис. 2. Результаты обнаружения трещин на мосту (wah) с использованием (a) yolov5s,(b) yolov5m и (c) yolov5l
Авторы Шахин и его коллеги объяснили в своём испытании, что применение гауссовых фильтров перед подачей изображений в модели глубокого обучения увеличило как позитивную точность, так и полноту обнаружения до 99,87 % и 99,92 %, что показывает точность обнаружения без игнорирования мелких дефектов [10].
С другой стороны, использование специализированных функций на этапе обработки играло важную роль в увеличении уровня чувствительности, в результате чего немного уменьшалась точность положительных результатов, что вполне логично, особенно в тех случаях, когда пропуск дефекта представляет большую опасность, чем ложная тревога [6]
И важно отметить, что взаимосвязь между этими двумя факторами является интерактивной, поскольку повышение чувствительности модели к обнаружению проблем может привести к увеличению числа ложных срабатываний, и наоборот, поэтому всегда рекомендуется учитывать оба показателя вместе [4]. Ян и др. [11] также подтвердили, что модели, основанные на полностью связанных нейронных сетях (FCN), дают отличные результаты при определении порога воспроизведения даже в случаях сложных и пересекающихся трещин благодаря своей способности к плотному прогнозированию [11].
Помимо вышесказанного, мы обнаружили, что способность достигать высокого показателя воспроизведения не ограничивается одним лишь процессом обнаружения, но распространяется и на точное количественное определение дефектов; например, воздушные пустоты (такие как площадь и максимальный диаметр зерен) связаны с прочностью бетона на сжатие, что дополнительно повышает ценность показателя воспроизведения также и в качестве инженерного индикатора [12].
1.3. Третий критерий: Индекс F1 (относится к показателю, учитывающему баланс между положительной точностью и полнотой): является результатом взаимодополняющих и взаимодействующих отношений между двумя ранее указанными критериями и определяется как среднее значение этих двух показателей. Его важность заключается в достижении точного баланса между минимизацией ложных срабатываний и предотвращением пропуска реальных дефектов при использовании методов анализа изображений для контроля конструкций, особенно в случаях, когда такие проблемы, как микротрещины, незначительны по сравнению с исправным фоном (явление, известное как дисбаланс распределения классов). На этот показатель (F1-score) размер фона не оказывает существенного влияния; он скорее ориентирован на качество обнаружения критически важных с инженерной точки зрения областей. Исследования показали, что данный показатель является более надежным, чем показатель точности, при оценке диагностических систем.
Значение этого измерения зависит также от типа методов и алгоритмов, используется для обработки, что наглядно демонстрируется в исследовании [4], в котором отмечается, что модели, преобразующие изображения в оттенки серого вместо применения порога Оцу, дают F1-показатель, выше 99,5 %, и при использовании порога Оцу это значение снижается до 95%.
Кроме того, этот фактор играет решающую и значимую роль при работе с несколькими типами дефектов в рамках одной системы. Гибридная система, сочетающая визуальные и тепловизионные изображения, достигла показателя F1-score, превышающего 93 % для обнаружения трещин и 86,9 % для обнаружения утечек влаги, тем самым показывая свою способность адаптироваться к различной природе и оптическим характеристикам дефектов [13].
2. Вторая категория: Функциональные критерии: они позволяют оценить способность системы предоставлять результаты, имеющие инженерное значение и способствующие принятию решений относительно текущего состояния объекта, тем самым содействуя процессам принятия решений, связанных с ремонтом и реконструкцией. К критериям данной категории относятся:
2.1. Извлечение количественных характеристик: одной из основных проблем, возникающих при широком применении технологий анализа цифровых изображений, представляет собой ограниченная возможность извлечения физических и механических свойств конструкции только из изображения. Именно отсюда следует важность данного критерия для определения того, в какой степени используемая системная модель способна количественно оценивать дефекты, присутствующие в исследуемой области, путем извлечения геометрических показателей, отражающих характер дефекта, степень его серьезности и потенциальное влияние на безопасность здания. В наиболее исследований рассматривались такие показатели, как длина, ширина, пролет, ориентация и морфологическая форма дефекта, которые считаются важными факторами при принятии решений о техническом обслуживании, оценке состояния конструкции и даже прогнозировании будущего износа исследуемого элемента и этот момент был особо отмечен в данном исследовании [14]. В нём была доказана важность количественных признаков для слежения за временным развитием ухудшения состояния трещин; посредством анализа цифровых изображений здания были извлечены так называемые базовые элементы (общая длина трещины, средняя ширина, количество точек пересечения и средняя длина отрезка между точками пересечения). В результате применения данной модели удалось прогнозировать и проанализировать поведение трещин в течение шестилетнего периода, а также определить оптимальные сроки проведения ремонтных работ, что привело к очень важному результату: трансформации визуальных данных в операционные показатели [14].
Wei [12] в своём исследовании пояснил, что рассматриваемая модель позволяет измерить соотношение объёма воздушных пустот к площади поверхности бетона исследуемого объекта, что дало системе возможность прямо определять прочность бетона на сжатие. Этот подход не только помог выявить проблемы, но и определить некоторые механические свойства бетона, что открывает путь к неразрушающей оценке механических свойств на основе анализа только изображения поверхности [12].
2.2. Классификация типологии дефектов: Способность системы отличать различные виды проблем и точно определять их характер и тип (продольные трещины, поперечные трещины, «аллигаторы» трещины, отслоение поверхности, коррозия, воздушные пустоты, проникновение влаги и коррозия арматуры)( Рисунок 3) один из важнейших факторов при оценке эффективности технологии анализа изображений, учитывая различия в конструкции и требуемом обслуживании для каждого типа. Это служит показателем возможностей системы и её способности поддерживать процесс принятия инженерных решений. В некоторых статьях рассматриваются различные методы, используемые для достижения этой цели. Например, [15] в своём работе не только использовали модель YOLOv8 для оценки текущего состояния жилого здания, расположенного в Торонто (Канада), но и смогли классифицировать типы трещин на трещины с низким, средним и высоким уровнем риска на основе их размеров, что позволило инженерам расставить приоритеты при проведении ремонтных работ [15]. В рамках того самого подхода Таузовски и Гупта [6,16] рассказали в своих материалах о системах, основанных на семантической сегментации и интегрированных с искусственными нейронными сетями и алгоритмом DeepLabV3, в целях различения отслоения бетона и обнажения арматурных стержней, двух дефектов, сильно отличающихся по степени серьезности и по способам устранения [6,16].
В научной статье [3,18] было также подтверждено, что методы, как трансформация Хоуга, так и трансформация Радона, оказываются весьма эффективными инструментами для классификации трещин по их направлению и углу, что помогло найти причину их возникновения (разрушение колонны, разрушение балки), что показывает, как этот метод позволяет связать дефект с конструктивным поведением элемента. В результате классификация дефектов становится не только критерием эффективности, но и оперативным показателем, который напрямую связывает визуальные данные с инженерными управленческими решениями и определяет оптимальные сроки устранения дефектов [14,19].
Кроме того, возможность классифицировать воздушные пустоты в зависимости от их размера и распределения позволяет напрямую соотносить их с прочностью бетона на сжатие, переводя таким путем эту классификацию из визуальной задачи в количественный механический показатель [12,20,21].
Рис. 3. Классификация типологии дефектов (а) Поперечная трещина. (б) Продольная трещина. (в) Трещина типа «аллигатор». (г) Отсутствие трещин
Следует отметить, что графический анализ, основанный на топологических свойствах, особенно при классификации трещин в зданиях и сооружениях, дает возможность различать простые и сложные трещины [23,22]. С другой стороны, комбинация искусственных нейронных сетей (ИНС) и анализа главных компонент исследуемого объекта, даже при наличии высокого уровня шума, значительно повышает способность метода анализа изображений классифицировать типы дефектов [24, 25], а в сочетании с методами глубокого обучения способность методологии анализа изображений различать поверхностные и структурные дефекты существенно повышается, что способствует достижению решающего шага на пути к интегрированной интеллектуальной диагностике [26-27].
3. Третья категория: Операционные критерии: В настоящем разделе мы обратимся к наиболее главному фактору, влияющему на оценку эффективности методов анализа изображений при их использовании для контроля качества конструктивных элементов. Здесь рассматриваются практические аспекты, определяющие возможность внедрения данной технологии в реальных проектах.
3.1. Срок обработки: один из основных факторов, который считается решающим показателем эффективности процесса анализа цифровых изображений; под ним понимается время, необходимое для анализа одного изображения или набора изображений с целью точного постановки диагноза. Он определяет пригодность системы для использования в полевых условиях, особенно в масштабных проектах или в условиях ограниченных ресурсов [28].
Однако некоторые алгоритмы обработки изображений, приносящие высокую точность в обнаружении и классификации проблем, но из-за долгого процесса обработки не подойдут для полей или в ситуациях, которые требуют немедленного ответа. Поэтому эффективность системы анализа цифровых изображений для диагностики объектов также включает вычислительную эффективность, что отмечается в таких показателях, как время обработки [29].
И так же, как и всех других факторы, данный фактор также зависит от типа и сложности используемых алгоритмов обработки; когда используются простые алгоритмы (Оцу, Кани, конвертация в оттенки серого), процесс обработки изображения длится совсем недолго; тем не менее, недостатком здесь является снижение степени точности диагностики и сложность обработки при наличии сложного фона или мелких дефектов [1, 3, 30]. Между тем при использовании алгоритмов средней сложности достигаются более удовлетворительные результаты с точки зрения времени обработки и точности [6].
Вопреки на то что использование более передовых алгоритмов давало довольно хорошие результаты, их длительное время обработки делало их менее желательными, поскольку они требуют больших ресурсов [1,8,31].
Из исследований ясно, что интеграция данных из нескольких источников (визуальных и тепловизионных изображений) также приводит к увеличению времени обработки данных, хотя и повышает точность результатов, и мы можем вынести заключение, что основное внимание следует направить на разработку модели обработки изображений, в которой будет достигнут баланс между точностью и скоростью обработки с учётом типа и масштаба проекта [32].
Рисунок 4 иллюстрирует разницу во времени, необходимом для обработки изображения, в зависимости от типа используемых алгоритмов.
Рис. 4. Разница во времени обработки изображения в зависимости от типа алгоритма [1,6,8,13,30,32,25]
4. Четвертая категория: Гибкость и устойчивость: Эта категория характеризует способность технологии обеспечивать стабильную работоспособность в различных условиях рабочей среды. К этой категории относятся следующие факторы:
4.1. Работа в условиях теней или неравномерного осветления: Обеспечение стабильности в меняющихся условиях освещения является одной из главных проблем, с которыми сталкиваются системы анализа цифровых изображений в полевых условиях. В отличие от контролируемых лабораторных условий, полевые обследования сооружений проводятся в неидеальных световых условиях, включая тени, создаваемые соседними сооружениями, освещение от близлежащих поверхностей, солнечные блики и другие факторы. В таких ситуациях часто возникают ошибочные интерпретации затененных участков как дефектов, в то время как критические дефекты, такие как трещины, остаются незамеченными из-за низкой контрастности, поэтому этот показатель имеет огромное значение для оценки эффективности работы систем обработки цифровых изображений [33]
Во многих статьях говорится, что наличие теней является одним из факторов, вводящих в заблуждение системы обнаружения, что приводит к заметному увеличению числа ложных предупреждений, особенно при использовании обычных алгоритмов (таких как Canny или Otsu), которые в основном опираются на локальный контраст изучаемой области [8,30,34]. Также было написано, что когда тестируются на изображениях с плотными тенями, эффективность большинства моделей машинного обучения сильно падает, а точность снижается до 65 %, даже если на исходном тестовом наборе они показывали точность более 95 % [30, 34].
И в целях решения этого вопроса и минимизации эффектов теней и потери информации исследователи концентрировались на нескольких аспектах:
1. Оснащение систем инструментами для оптимизации освещения и контрастности изображений, например, использование дронов, оснащенных осветительными устройствами, для сбора изображений с различных углов, или объединение различных типов информации из нескольких источников датчиков [6,13,31,35].
2. Использование методов увеличения объема данных на этапе обучения нейронных сетей и алгоритмов глубокого обучения [4,8].
3. Замена части одного изображения частью другого изображения [6,35]( На рисунке 5 показано влияние теней на определение трещин [1]).
Рис. 5. Влияние теней на определение трещин
4.2. Устойчивость к окружающей среде: под факторами окружающей среды в данном случае понимаются: интенсивность освещения, климатические изменения (дождь и пыль) и сложность поверхности бетонных или асфальтовых элементов, которые прямо влияют на качество изображения и, как следствие, на точность диагностики и классификации исследуемого элемента. А системы, которые опираются только на обработку изображений, не учитывая эти факторы, часто дают сбой при применении в реальных полевых проектах, где условия намного менее поддаются контролю, чем в лабораторных условиях [34]. Впрочем, несмотря на то что были найдены некоторые надежные решения проблемы теней и их вариаций, на них в высокой степени влияли ветер и вибрации, что приводило к неверным диагностическим результатам [8, 35, 35].
И ввиду множества разработанных методов, направленных на минимизацию этих эффектов, алгоритмы предварительной обработки данных были одним из наиболее эффективных подходов к уменьшению числа ложных срабатываний, вызванных изменениями окружающей среды [25, 36].
Хоанг пришел к выводу, что благодаря использованию методов адаптивного порогового разделения (усовершенствованный метод Оцу) точность диагностики элементов повышается на 35 % по сравнению с традиционными фиксированными порогами. Более того, использование последовательных фильтров и методов сегментации, основанных на фундаментальных элементах, позволило добиться значительного прогресса в решении проблемы различения изменений, вызванных окружающей средой, и фактических структурных дефектов [22, 32, 35].
Что касается сферы глубокого обучения, то здесь усилия были направлены на повышение устойчивости к влиянию внешних факторов за счет расширения и диверсификации обучающих наборов данных, в которые были включены изображения, снятые в различных условиях, включая разные уровни освещенности, разнообразные погодные условия и поверхности с высокой геометрической сложностью [4, 26, 43]. Также ключевую роль в повышении эффективности процесса анализа изображений сыграла методика генерации синтетических версий исходных изображений путем изменения яркости, освещения, поворота и добавления шума [8, 6, 36].
Сходным образом, в работе [37] указывается, что интеграция методов анализа цифровых изображений с методами неразрушающего зондирования, такими как георадар, позволяет скомпенсировать недостатки, вызванные воздействием факторов окружающей среды [30-35].
Результаты
Исходя из того, что было изложено выше, мы приходим к следующим выводам:
1. В ходе оценки состояния зданий использование только одного критерия (точности) может быть причиной неверных заключений о состоянии, даже если значение этого показателя высокое, и, как следствие, к принятию ненадежных инженерных решений.
2. Главная цель внедрения технологии анализа изображений в диагностику зданий заключается в получении точных количественных показателей и классификации дефектов, что напрямую связано с принятием решений о техническом обслуживании и ремонте.
3. Срок обработки и объём модели двух важных факторов, влияющих на применимость данной технологии в реальном мире, особенно в проектах с ограниченными ресурсами и в крупномасштабных проектах.
4. Эффективность любого системы, основанной на анализе цифровых изображений, сильно зависит от условий её внедрения (типа объекта, условий рабочей среды и требований к точности). Поэтому выбор наиболее подходящей технологии должен определяться оперативными потребностями, а не только теоретическими показателями производительности.
Заключение
Настоящее исследование предоставило базовую основу для создания стандартной системы, которая может использоваться для сравнения различных моделей, применяемых в анализе изображений, а также для разработки передовых систем, отвечающих реальным потребностям. А эффективность технологии анализа цифровых изображений оценивается не по сложности алгоритма, а по его способности обеспечивать интеллектуальную, количественную и прикладную оценку в разнообразных и изменчивых условиях. С учетом этой тенденции исследователи рекомендуют работать над более подробной оценкой факторов, оказывающих влияние на эффективность анализа изображений для диагностики, в частности в рамках факторов, связанных с операционными критериями, гибкостью и устойчивостью.
