FOSS4G Korea 2016에서 발표한 내용입니다.

1. Smart Camera UAV를 이용한
오픈 소스 기반의 자동촬영 및 UAV image 처리시스템 개발
박진우 (swat018@gmail.com)
Department of Spatial Information Engineering
The Pukyong National University
2016.09.01

2. INDEX 1. Introduction
2. Design of system
3. Implementation
4. Experimental
5. Result

3. Definition and types of UAV systems
1. Introduction
▣ size, payload, range, and operating mode are user defines before investing in a UAV
system. (S.Siebert et.el 2014)
• What is the size of the area to be surveyed?
• What is the flying altitude the UAV needs to operate?
• What camera system and what camera mount system(aka, gimbal) is needed?
• Are third party persons working in the area?
• Are other physical obstacles present?
• What take-off/landing space is available?
Type range Flexibility Weather payload Safety
Running
costs
Setup
time
Fixed wing
aircraft
Very
good
Poor Good Good Average Average Average
Helicopters Average Very
good
Good Very
good
Poor Average Good
Multicopters Poor Very
good
Good Average Average Very good Very
good

4. Background
Potential UAV application areas in surveying tasks
(Eisenbeiß, 2009; sehastian Siebert et.al, 2014)
1. Introduction

5. Communication using existing RF Modem
1. Introduction
기존의 RF 모뎀 방식을 이용한 무인항공기 통신 시스템
• RF 모뎀을 이용한 통신은 1~2 km 정도의 통신 범위를 가지며 잦은 혼선이
일어나므로 장시간 통신에는 적합하지 않음
• 신호 세기를 10 mW (전파법 시행령 제30조 제9항)로 제한하고 있는 경우,
장거리 통신에 적합한 무선통신 모듈 개발의 제약이 큼

6. UAV flight methodology
Preperation
Recording
Post -
Processing
Data
generation
Flight plannig
Waypoint file
UAV
system setup
Flight Process
Visible
(existing system)
Non-visible
(Developed Telemetry syem)
Geo-referenced coordinates
Geo-referenced photos
Direct referencing
Indirect referencing
Flight Track Data Photos
Point Cloud Ortho-photo DEM
(sehastian Siebert et.al, 2014)
1.Introduction

7. Objectives
1. Introduction
• Telemetry module: to be able to connect to GCS(ground control system)
without control server. (2014년 FOSS4G KOREA)
• Automatic shooting module: image capturing device for the UAV(drone)
in the area’s need image capturing. (2015년 FOSS4G Seoul, ASPRS, ISPRS)
• Processing module: image processing (ODM).
Android-based Smart Camera
for UAV photogrammetry

8. Smart camera-based UAV system
2. Design of system
Component Existing UAV system Smart Camera-based UAV system
Sensors Integrated sensors Built-in sensors
CCD or digital camera Digital camera
GPS GPS
Gyroscope Gyroscope
Accelerometer Accelerometer
Laser scanner -
Network External wireless device Built-in wireless device
Radio modem, 3G, Wi-Fi
3G, Wi-Fi, and Bluetooth
UAV frame Sensor and gimbal frame only low-cost vibration-reducing device
Processor Mini computer Built-in mobile processor
Operating system Linux or Windows Android OS
Sensor control SDK Various SDK Android SDK
Payload > 5 kg < 0.5 kg
Witayangkurn et al. (2011), Jinsoo Kim et al. (2013)
• Smart camera-based photogrammetric UAV system was developed
that exploits the continuous communication capabilities of 3G, 4G,
Bluetooth and acquires location and attitude data for a UAV via the
built-in sensors, without the need for other communication devices

9. Smart camera-based UAV system
2. Design of system
Smart Camera
INS

10. Telemetry module
2. Design of system
• Communication, GCS serve로 구성됨.
• Communication: smart camera와 Bluetooth HC-06 Bluetooth module이
설치된 UAV system의 연결.
• GCS server: LTE통신을 활용하여 IP address 할당 방식으로 UAV와
GCS(ground control system)를 연결.
APM / Pixhawk Bluetooth
UAV
Bluetooth
Module
MAVLINK
Handler
GCS
Server
GCS
GCS
3G/LTEBluetooth
Telemetry module
Smart Camera

11. Automatic shooting module
2. Design of system
 지상 소프트웨어는 정해진 시간에 주기적인 모니터링이 필요한 지역에 설치된 스
마트 기기에 내장된 카메라를 이용하여 영상과 센서 정보를 자동으로 획득하도록
설계.
 항공 소프트웨어는 영상 획득이 필요한 지역에서 무인항공기에 영상 획득장치로써
스마트 기기를 탑재하여 운용하도록 설계.
 안드로이드 기반의 스마트 기기(스마트 카메라, 스마트 폰 등)을 대상으로 설계.

12. Telemetry module
3. Implementation of system
통신모듈 시스템 구성
 LTE, Wifi 통신을 이용하여 TCP/UDP 의 연결 방식으로 GCS와 연결.

13. Telemetry module
3. Implementation of system

14. Automatic shooting module
3. Implementation of system
(a) (b)

15. Automatic shooting module
3. Implementation of system
 기존의 자동촬영 소프트웨어의 경우, 카메라 기종에 따른 버그 및 촬영될 당시의 환
경에 따라 사진이 흔들리는 경우가 발생.
기존의 자동촬영 시스템 수정
 Galaxy Camera와 Galaxy NX의 카메라 기종에 따른 버그 수정.
 Auto focusing 문제의 경우에는 안드로이드 개발 코드 상에서 카메라의 auto focus
함수를 호출할 때 Delay 함수를 사용하여 약 2200ms 정도의 delay를 줌.
 촬영될 당시의 환경에 따라 카메라의 ISO/Sutter speed의 조절이 가능하도록 수정.

16. GPS time synchronization module
3. Implementation of system

17. Category Specification
Model X8+
UAV Multicopter
Autopilot Pixhawk v2.4.5 / ArduCopter 3.2
GPS 3DR u-blox GPS with Compass
Ground Station
Radio
3DR Data Radio (433 MHz)
Motors SunnySKY V2216-12 KV800Ⅱ
Propellers 8 (APC Propelleer 11X4.7 SF(4), SFP(4))
Size and weight Size: 35cm X 51cm X 20cm, Weight: 2.56kg
Flight time 12 ∼ 15 minute
Take off/landing auto / manual
Payload 800g
UAV
4. Experimental

18. Category Specification
Model Galaxy NX
Dimensions 136.5 X 101.46 X 56 mm
Operation System Android OS v4.2 Jellybean
Memory Built-in Memory 16GB
Processor Quad Core 1.6GHz
Sensors Accelerometer, Digital Compass, Proximity, Light, Gyro
Connectivity LTE 4G, Wi-Fi. Bluetooth
Image Sensor
Type
20.3MP APS-C CMOS
Sensor Size 1/2.3 (in)
Sensor resolution 5472 X 348
Focal Length 18
Smart Camera
4. Experimental

19. 5. Result
연구개요
촬영계획
수립
UAV 촬영
지상 측량
LiDAR
지형 측량
Aerial
Triangulation
(검정 계수 유/무)
DEM
Generation
정확도
검증
수치지도 제작 및 갱신을 위한 무인항공 사진측량시스템 평가
무인항공사진측량은 정확도와 비용 관점에서 소규모 지형측량에 적합
Test-bed에서 촬영 및 지상 LiDAR 측량 후 DEM 비교 분석
DEM

20. 5. Result
DEM
연구 지역
연구지역 : 부산광역시 기장군 장안읍 도예촌
선정이유 : 식생, 인공지물, 다양한 경사를 포함한, 정확한 DEM 평가
Section A,B 지역의 영상기반 DEM을 추출하여 TLS DEM과 비교

21. 5. Result
DEM
Field Campaign
연구지역 전체를 촬영하기 위해 두 부분으로 나누어 촬영
종중복도, 횡중복도는 각각 80%, 60% 이며, 비행고도는 150m로 촬영

22. 5. Result
DEM
연구방법 (DEM 추출)
UAV영상, 내부표정요소, GCP Data를 이용하여
Aerial Triangulation 수행
중복 촬영된 약 60장의 영상을 이용하여 LiDAR
측량과 동일지역의 영상기반 DEM 추출
영상기반의 DEM 추출은 전방교회법을 이용

23. 5. Result
RTK
연구 개요
RTK (Real-Time Kinematic)기법은 고정점에 한 대의 수신기를 설치하고 다
른 수신기를 이용하여 미지점을 순회하며, 필요한 epoch를 관측하는 기법
이 방법은 Single GPS 관측법에 비해 단시간내에 많은 측점들의 3차원 좌
표를 정확하게 결정할 수 있는 경제 적인 측량 기법으로 활용
본 연구에서는 RTK-DGPS 를 구성하여 1~2cm 수준의 위치 정확도를 이용
한 무인항공모니터링 시스템의 성능을 평가하였음

24. 5. Result
RTK
연구 지역
RTK GPS 무인항공 모니터링 시스템 평가를 위한 연구지역은 경상남도
김해시 생림면에 위치한 낙동강 생태공원에서 수행.
실험지역은 4대강 사업에 따른 수변지역으로 홍수방재를 위한
둑이 설치되어 지형기복을 포함하여 DEM 평가에 적합한 지역임.
주변에 높은 인공 지형이 없으며, 대부분 논과 초지로 이루어져 있어
고정익 이착륙이 가능한 충분한 길의 평지를 포함.

25. 5. Result
RTK
RTK 고정익 무인항공 모니터링 시스템
RTK-GPS는 UAV와 GCS로 구성되며, RF모뎀을 이용하여 통신
실험에 앞서 원 및 직선을 그리는 사전 실험을 수행,
내부 소프트웨어를 통해 시험한 결과 약 5cm 오차로 측정 되었음.

26. 5. Result
RTK
RTK 고정익 무인항공 모니터링 시스템
Single motor로 구동되는 고정익 기체사용
스마트 카메라에 내장된 lens module 내
actuator는 진동에 매우 민감하게 반응하며,
획득된 영상에 일그러짐 현상 발생
gimbal과 같은 장치를 사용하지 않고, 고주파 진동의 영향을 줄일 수
있으며, 착륙시 손상을 입지 않도록 내부공간을 이용하여 스펀지를
이용한 방진장치를 제작

27. 5. Result
RTK
Field Campaign
Manufactural accuracy Field accuracy
Horizontal Vertical Horizontal Vertical
GPS
±(3+0.5
ppm)
±(5+0.5
ppm)
7 mm 20mm
LiDAR 4 mm / 150 m 2 mm 2 mm
Total ±(2 mm + 2 ppm) 1 mm 3 mm
정확도 평가를 위한 지상기준점(50점) 및
특정지역의 TLS-DEM 데이터를 획득하기
위해 지상측량 선행
지상기준점의 경우 Total Station 및 VRS-
GPS 측량을 통해 획득하였으며 LiDAR측
량의 경우 지상기준점을 이용하여 TIE
Point 결합 방식의 측량 수행

28. 5. Result
RTK
연구결과 (UAV Log)
On Board
1st Flight
(RTK)
2nd Flight
(Single GPS)
Flight Time(Min) About 2 Hour About 2 Hour
Image
Y.M.D 2016.03.10. 2015.03.10.
Start (H:M:S) 10:00:22 13:00:42
End (H:M:S) 12:05:35 15:04:33
Number Of Image 711 712
Number Of Strips 22 22
Interval 5 5
Flying Height(M) 150.98 ± 1.56 150.11 ± 0.87
Flying Speeds (M/S) 12 ± 0.351 12 ± 0.305
Shutter Speed (Sec) 1/400 1/400
ISO 200 400
비행시간은 1회 비행시 약 2시간, 영상촬영은 약 1시간이 소요.
RTK와 Single 각각 22 Strip을 구성, 1코스당 총 710장 내외로 촬영.

29. 5. Result
RTK
UAV Log 분석
RTK Single
RTK GPS를 통해 수신된 위치정보를 분석한 결과 전체적으로 유의수준
이내의 위치오차를 나타냈음.
특히, RTK-GPS의 경우 신호가 끊겨서 수신되는 것을 확인 할 수 있음.
이는 RTK-GPS가 지상국과 송신 및 데이터 처리에 약 200ms가 소요되
어 나타나는 현상으로 판단됨.

30. 5. Result
RTK
연구결과 (DEM)
TLS
DEM
RTK
GPS
Single
GPS
Residual
RTK Single
Min 15.157 15.148 15.069 0.010 0.088
Max 16.842 15.642 15.592 1.19 1.25
Mean 15.344 15.273 15.443 0.071 0.099
Std.Dev. 0.083 0.087 0.089 0.037 0.052
RTK GPS가 Single GPS보다
우수한 결과를 보였지만,
그 차이는 미미하였음.
RTK GPS의 경우 200ms의
처리시간에 따른 시간지연
오차 발생에 기인함.

31. 5. Result
RTK
RTK GPS를 사용할 경우 우수한 결과를 나타냈으나, 두 경우 모두 유의수
준 내에 만족하므로, 그 차이는 미미한 것으로 판단됨.
연구 결과 (정사영상)
RTK GPS를 사용할 경우 우수한 결과를 나타냈으나, 두 경우 모두 유
의수준 내에 만족하므로, 그 차이는 미미한 것으로 판단됨.

32. 6. After
Preperation
Recording
Post -
Processing
Data
generation
Flight plannig
Waypoint file
UAV
system setup
Flight Process
Visible
(existing system)
Non-visible
(Developed Telemetry syem)
Geo-referenced coordinates
Geo-referenced photos
Direct referencing
Indirect referencing
Flight Track Data Photos
Point Cloud Ortho-photo DEM
ODM
데이터 동기화
자동촬영 프로그램
통신모듈 시스템
지상관제 프로그램

33. THANK YOU
swat018@gmail.com
This work was supported by the BK21 Plus project of The Research management team of Earth
Environmental Hazard System at Pukyong National University