CONDUCTING THE CALIBRATION OF A NON-METRIC CAMERA IN THE UNMANNED AERIAL VEHICLE DURING LAND MONITORING
Abstract and keywords
Abstract (English):
Recently, unmanned aerial vehicles (UAVs) have been widely used in our country and in the world. This is due to continuity, endurance, the ability to work under overload conditions and the exclusion of the human factor. In recent years, there has been a revolutionary leap in the development of UAVs, which made it possible to divide this market segment into completely different price categories. The increase in the use of UAVs has made this product really in demand and was able to introduce it into various areas of life. This also applies to geodetic measurements. Photogrammetry methods began to work closely with methods of easy-to-control unmanned aerial vehicles. But at the same time, the demand for filming equipment is growing, the pricing policy of which sometimes considerably exceeds the cost of the aircraft itself, which complicates photogrammetric work. This aspect has led to research on the possibility of using inexpensive non-professional cameras on UAVs for photogrammetry, due to obtaining accurate measurements. For such cameras, there is such a thing as calibration, which includes the definition of interior orientation elements. This article discusses the use of non-metric cameras on UAVs in order to reduce the cost of work to monitor agricultural land. The following materials were used as initial data in this work: test images from the UAV at the test site; software such as SAS.Planet, MatLAb, MdCockpit V2.6.2.6, PHOTOMOD. To perform this work, the following equipment was used: unmanned aerial vehicle; non-metric digital camera. To calibrate the camera, the terrain was surveyed using Zala 421-21.

Keywords:
unmanned aerial vehicles (UAVs), photogrammetry, monitoring, non-metric camera, calibration
Text
Publication text (PDF): Read Download

Введение. Мониторинг земель необходим не только в сельском хозяйстве, но и в кадастре. Для кадастровых целей он выступает как источник информации об использовании земель и его границах, а также результаты съёмки с БПЛА являются отличной основой для создания топографических карт и планов. Кроме того, по результатам съёмки с беспилотных летательных аппаратов можно составить 3D-модель или BIM-модель, что очень важно в градостроительстве [1, 2, 3].

На сегодняшний день используется два основных вида БПЛА – самолётного типа (дроны) и вертолётного типа. Они внедряются во многие сферы, начиная от военных нужд и заканчивая доставкой различных товаров, и это показывает высокую значимость и перспективу развития аппаратов.

Перспектива внедрения БПЛА в мониторинг земель имеет большой ряд преимуществ: быстрое улучшение имеющихся геодезических данных (карт, планов, сетей и т.п.); создание новых карт, планов, банков пространственных данных и трёхмерных моделей; ускорение процесса инвентаризации, а также постоянный контроль за    землями.

Любое замещение человеческой работы роботами всегда сопровождалось увеличением производительности труда. В данном контексте аппараты позволят увеличить не только производительность, но и мобильность, которая является крайне важной в условиях масштабов нашей страны. Современный мир открыт к новым технологиям в любых сферах, но важно не забывать о том, что нужно регламентировать их использование [4, 5, 6, 7].

Цель исследования заключается в изучении возможностей неметрической камеры для использования в беспилотных летательных аппаратах в рамках мониторинга сельскохозяйственных земель.

Условия, материалы и методы. В работе использовались следующие методы исследования: картографический анализ, визуальное дешифрирование и компьютерная классификация ДЗЗ, математико-статистический, геоинформационный,       методы пространственного и геостатистического анализа. В качестве исходных данных в данной работе использовались следующие материалы: тестовые снимки с БПЛА сделанные в Высокогорском районе Республики Татарстан на небольшом полигоне аэродрома Куркачи (координаты 55°57’ северной широты, 49°29’ восточной долготы); программные обеспечения такие, как SAS.Planet, MatLAb, MdCockpit V2.6.2.6, PHOTOMOD. Координаты опорных точек были определены с помощью ГНСС оборудования заранее в режиме RTK с точностью 1,5-2 см. Для выполнения данной работы использовалось следующее оборудование: беспилотный летательный аппарат БПЛА Zala 421-21; неметрическая цифровая камера Sony XNite DSC-W300; автономный беспилотный летательный аппарат БПЛА ТБ-29В вместе с камерой модели DST Control OTUS-U135 весом в 1,2 кг. Обработка снимков была произведена в программе MatLab (https://www.tutorialspoint.com/execute_matlab_online.php) с использованием стандартных формул фотограмметрии. Расчёт координат опорных точек в плоскости снимка производился  вручную в ПО Irfan View. При проведении оценки точности был использован метод наименьших квадратов.

Результаты и обсуждение. Мониторинг земель необходим не только в сельском хозяйстве, но и в кадастре. Для кадастровых целей он выступает как источник информации об использовании земель и его границах, а также результаты съёмки с БПЛА являются отличной основой для создания топографических карт и планов. Объектное пространство для калибровки камеры удобнее расположить на определённом полигоне, поскольку необходимо создание и поддержание опорных фотогриангуляционных пунктов. Связь снимков с системой координат пространства происходит на основе построения одиночной модели в результате проведения обратной фотограмметрической засечки.

Можно привести получение координат центра и радиуса для сооружений круглой формы фотограмметрическими методами. Решением данной задачи может стать фотографирование с нивелирной рейкой возле сооружения, что позволить масштабировать снимки. Расстояние от объекта до камеры можно измерить наземными методами – высокоточными или обычной рулеткой. Данный способ можно отнести к наземной калибровке камеры, что допускается даже при использовании БПЛА: параметры калибровки камеры остаются стабильными, поэтому откалиброванное устройство можно использовать и с технологией беспилотных полётов [8, 9, 10].

Была проведена калибровка неметрической камеры Sony XNite DSC-W300, установленной на беспилотный летательный аппарат БПЛА Zala 421-21 (рисунок 1) с помощью формул уравнений коллинеарности Лобанова А.Н. методом итераций. Важной характеристикой фотоаппарата является его небольшой вес  в 156 г, что позволяет использовать камеру с целью установки на БПЛА. Её габариты составляют 96х55х25 мм и эти параметры являются оптимальными. Sony XNite DSC-W300 обладает разрешением матрицы 4224x3168 пикселей, а также фокусным расстоянием 7,6-22,8 см и выдержкой от 4 до 1/2000 с. Разрешение камеры – 13,6 мегапикселей. При таких небольших габаритах объём встроенной памяти камеры составляет 21 Мб, но может быть легко расширен картой памяти с большим объёмом.

Рисунок 1. БПЛА Zala 421-21

 

В результате были получены значения координат главной точки снимка, фокусного расстояния и два коэффициента радиальной дисторсии.

Планирование полёта является важной частью процесса калибровки. БПЛА Sony XNite DSC-W300 при покупке оснащаются программным обеспечением MdCockpit V2.6.2.6. Данное ПО можно установить также на планшет, позволяющим производить расчёт и планирование полёта. Данное ПО основано на использовании модели поверхности Земли Google Earth, что позволяет задать маршрут полёта в виде поворотных точек в системе координат WGS-84 и реализовать его с помощью системы спутниковой навигации, установленной на аппарате.

При использовании данной программы необходимо учитывать разницу между высотами для территорий с большими перепадами, однако, в данной работе перепадов схожих с горными, не было.

Для калибровки камеры был определён маршрут, содержащий 12 путевых точек. Область фотографирования была выбрана таким образом, чтобы в ней находилось несколько опорных точек, а спланированная высота составляла 30 м над поверхностью земли.

При планировании полёта было учтено, что взлёт и посадка аппарата должны быть ручными, а полёт с процессом съёмки – автоматическими.

Спланированная площадь калибровки камеры составила 15х15 м, на которой были расположены географические точки (отметки) в общем количестве 67 точек. При калибровке фокусное расстояние было определено на бесконечность, а размер изображения составил 3648 на 2736 пикселей. Съемка производилась в Высокогорском районе республики Татарстан на небольшом полигоне аэродрома Куркачи на северо-востоке от города Казань. Данная площадка имеет координаты 55°57’ северной широты, 49°29’ восточной долготы (рисунок 2).

Рисунок 2. Общий вид полигона, используемого для калибровки камеры (высота – 78 м)

 

Координаты опорных точек были определены с помощью ГНСС оборудования заранее в режиме RTK с точностью 1,5-2 см.

Обработка снимков была произведена в программе MatLab с использованием стандартных формул фотограмметрии.

Расчёт координат опорных точек в плоскости снимка производился вручную в ПО Irfan View. Например, на снимке №6 содержатся следующие опорные точки в системе координат снимка, которые расположены на рисунке 3.

Расчёт координат опорных точек в плоскости снимка производился  вручную в ПО Irfan View.

Порядок действий при проведении калибровки был следующим. В первую очередь для каждого снимка были рассчитаны элементы внешнего ориентирования по опорным точкам и с учётом координат, полученных встроенной инерциальной системой беспилотного летательного аппарата.

Рисунок 3. Снимок №6 с изображёнными опорными точками

 

Затем с учётом элементов внешнего ориентирования были вычислены элементы внутреннего ориентирования итерационным методом по следующему принципу.

Каждый снимок был пронумерован, и вычисление проводилось для них поочерёдно. В первом прогоне для первого снимка элементы внутреннего ориентирования были приняты как 0 и вычислялись только коэффициенты дисторсии (коэффициент 𝑘1, так как 𝑘2 был также принят как 0).

Под итерационным вычислением коэффициентов подразумевается вычисление одного коэффициента приближённо относительно другого. В самой первой итерации мы задаём координаты главной точки снимка 0, коэффициенты дисторсии – 0. Затем присваиваем коэффициенту дисторсии 𝑘1 значение 0,000001 и начинаем итерационные расчёты коэффициентов, для снимков, с каждым разом обновляя значения как координат главной точки снимка и фокусного расстояния, так и самих коэффициентов. Далее производились вычисления координат главной точки снимка, фокусного расстояния и уточнение коэффициентов дисторсии. Каждый снимок содержал 15-20 опорных точек, каждая из которых участвовала в уточнении координат. Определение параметров калибровки камеры содержало 6 итераций.

При проведении оценки точности был использован метод наименьших квадратов.

В результате обработки данных были вычислены фокусное расстояние, координаты главной точки снимка, а также коэффициенты радиальной дисторсии

Полученные результаты были сравнены с результатами обработки снимков в ПО PHOTOMOD (табл. 1), что стало гарантом правильности выполненной программы. Расхождение было незначительным: порядка десятых долей мм для фокусного расстояния и координат главной точки снимка. Однако, коэффициенты дисторсии отличались. Это связано с тем, что при помощи данного программного обеспечения была учтена только радиальная дисторсия, а объектив камеры считался центрированным. На практике оказалось, что нецентрированная дисторсия также имеет место для данного объектива.

Таблица 1 - Результаты калибровки камеры с помощью программы MatLab и ПО PHOTOMOD

Параметр

Калибровка с помощью программы MatLab

Калибровка с помощью ПО PHOTOMOD

Фокусное расстояние

f = 8,094±0.04 мм

f = 8,221±0.034 мм

Главная точка снимка

х0= 3,77±0.073 мм

у0 = 2,62±0.096 мм

х0 = 3,715±0.009 мм

у0 = 2,552±0.061 мм

Радиальная дисторсия

К1 =0,00161±0.000082

К2 = -0.00015±0.0000053

К1 =0,002728±0.000049

К2 = -0.000307±0.000064

Нецентрированная дисторсия

 

Р1 = 0,00005155±0,000012

Р2 = -0.000214±0.000064

 

Различие коэффициентов дисторсии связано с тем, что формулы для расчёта в данной работе были упрощёнными для облегчения математических вычислений и не учитывали нецентрированную дисторсию. С другой стороны, можно отметить, что фокусное расстояние и координаты главной точки снимка совпадают с расчётами в программе с точностью до десятых или сотых долей мм.

Проводя сравнения для обоих БПЛА, делаем вывод, что для выполнения мониторинга для тестовой площадки размеров 50х50 км БПЛА ТБ-29В справится с этой задачей быстрее практически в 2 раза, нежели БПЛА Zala 421-21, однако стоимость работ будет больше на 10 тысяч рублей. Стоит заметить, что стоимость выполнения тестовой работы уже является стоимостью половины самого комплекта БПЛА, что является отличной самоокупаемостью для беспилотника.

Тем не менее, стоит принять во внимание, на сколько разнится стоимость комплектации для этих БПЛА, поэтому стоимость реализации проекта для БПЛА Zala 421-21 считается отличной, практически не уступающей дорогостоящему оборудованию. Данное исследование говорит о том, что на небольших территориях доступна съемка при помощи БПЛА Zala 421-21, что позволяет не тратить больших денег для качественного выполнения работ (рисунок 4). Проведённая работа дала возможность использовать неметрическую относительно недорогую камеру с целью фотограмметрических измерений, хоть и ограниченной точности.

. ТБ-29ВZala 421-21

Рисунок 4. Фотоплан  БПЛА ТБ-29В и БПЛА Zala 421-21 на тестируемой территории

 

Выводы. Анализируя оба беспилотных летательных аппарата для мониторинга сельскохозяйственных земель Татарстана (или же для любой большой территории), возможно выполнение работы только БПЛА ТБ-29В. Но поскольку БПЛА Zala 421-21 снимает на более низкой высоте это позволяет получать снимки более крупного масштаба на необходимую территорию, что удобно для спорных участков местности.

Таким образом, для мониторинга земельных ресурсов идеально использование обоих БПЛА в арсенале, БПЛА ТБ-29В будет обеспечивать съемку для большой территории, а БПЛА Zala 421-21 идеально подойдет для укрупнения съемки при необходимости. Также использование недорогого беспилотника позволит небольшим частным компаниям добавить в свой арсенал такой вид работ, как мониторинг, что увеличит спектр предоставляемых услуг.

References

1. Unmanned aircraft / V. S. Fetisov, L. M. Neugodnikova, V. V. Adamovsky et al. Ufa: FOTON, 2014. 217 p.

2. Bashilov A. M., Korolev V. A. Autonomous unmanned aerial vehicles in precise systems of agricultural production. Bulletin of Agrarian Science of the Don. 2018. No. 3 (43). pp. 76-82.

3. Neverova A. R. The use of unmanned aerial vehicles in the cadastre, land management and urban planning // Interexpo Geo-Siberia. 2017. No. 1 P. 265-268.

4. Garipov I. R., Suleimanov S. R. The use of aerial photography and space photography in land monitoring // Student science - agricultural production: materials of the 79th student (regional) scientific conference. Kazan: Kazan State Agrarian University. 2021. S. 53-58.

5. GIS-technology and data of earth remote sensing to identify and predict ravine erosion development / A. Sabirzyanov, M. Panasyuk, N. Trofimov, S. Sochneva // International Scientific-Practical Conference “Agriculture and Food Security: Technology, Innovation , Markets, Human Resources” (FIES 2020) : International Scientific-Practical Conference “Agriculture and Food Security: Technology, Innovation, Markets, Human Resources” (FIES 2020). Vol. 27. Kazan: EDP Sciences, 2020. P. 00113

6. Loginov N. A., Sabirzyanov A. M. Application of remote sensing for spot application of mineral fertilizers on spring wheat crops // Economics in a changing world: collection of scientific articles, Kazan, April 17-26, 2019. Kazan: Kazan (Volga Region) Federal University. 2019. S. 14-16.

7. Musina G. A., Ozhigin D. S., Ozhigina S. B. Environmental monitoring based on images obtained with the help of unmanned aerial vehicles // Interexpo Geo-Siberia. 2019. No. 1 P. 196-204.

8. Sementsov A. V., Nikitin V. N. Comparison of camera calibration results obtained using various techniques and distortion models // Interexpo Geo-Siberia. 2015. v. 4. No. 4. pp. 17-23.

9. Kushtin V. I., Dobrynin N. F., Pimina T. M. Influence of photogrammetric and internal refractions on the determination of linear elements of external orientation // Engineering Bulletin of the Don. 2018. No. 4 P. 1-9.

10. A. L. Bykov, V. L. Bykov, and L. V. Bykov, “Investigation of the method of image calibration on a flat test site,” Interexpo Geo-Siberia. 2012. No. 4. From 47-52.

Login or Create
* Forgot password?