Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Deconvolutional Network를 이용한 무인항공기 영상 내 미등록 건축물 자동 탐지

353 views

Published on

OSGeo 2월 기술세미나 '공간정보와 머신러닝' 발표자료입니다.
국토지리정보원에서 공개하는 수치지도 및 정사영상으로 Deconvolutional Network를 학습시켜 주어진 영상으로부터 픽셀 단위로 건물을 탐지하도록 하고, 이를 기존 공간정보와 비교하여 미등록 건축물을 자동으로 추출하는 연구입니다.

Published in: Technology
  • Be the first to comment

  • Be the first to like this

Deconvolutional Network를 이용한 무인항공기 영상 내 미등록 건축물 자동 탐지

  1. 1. 1 Deconvolutional Network를 이용한 무인항공기 영상 내 미등록 건축물 자동 탐지 함상우, 오연곤, 최경아, 이임평 (서울시립대학교 센서 및 모델링 연구실) OSGeo 기술세미나: 공간정보와 머신러닝
  2. 2. 1. 연구 배경 및 목표 2. 연구 방법 3. 실험 결과 4. 결론 2 목차
  3. 3. 3 연구 배경 및 목표
  4. 4. ❖무질서한 도시 팽창과 환경 오염을 방지하기 위해 개발제한구역 제도 도입 (1971) ❖2000년대 이후 토지 소유주의 재산권 보호를 위해 개발제한구역 규제 완화 → 불법행위 증가 ▪ 무허가 건축물, 불법 형질변경, 불법 용도변경 등 4 개발제한구역 내 무허가 건축물 Illegal house(land use: forest) Illegal factory (category of land: farm)
  5. 5. ❖일부 지방자치단체에서 무허가 건축물 단속을 위해 UAV 도입 ❖UAV 영상 판독이 육안으로 이루어져 많은 비용과 시간 소요 ❖딥 러닝 기반 자동 모니터링 시스템 도입 필요 5 UAV 기반 모니터링
  6. 6. ❖Convolutional Neural Network (CNN) 등 딥 러닝 알고리즘을 활용하여 영상에 대한 Semantic Segmentation 가능 ❖Noh et al. (2015) 이 Deconvolutional Network에 의한 Semantic Segmentation 알고리즘 제안 6 딥 러닝을 이용한 항공사진 판독
  7. 7. ❖Deconvolutional Network와 기존에 구축된 공간정보를 이용하여… ❖UAV 영상으로부터 자동으로 미등록 건축물 탐지 7 연구 목표
  8. 8. 8 연구 방법
  9. 9. 9 연구 방법: 개요 학습 데이터 구축 Deconvolutional Network 학습 미등록 건축물 탐지
  10. 10. ❖국토지리정보원에서 구축한 기존 공간정보 활용 ❖입력 데이터: 항공정사영상 (4728*5724 픽셀, GSD=0.51 m) ▪ True Orthophoto가 아님! ❖레이블 데이터: 수치지도 ▪ Deconvolutional Network에 입력하기 위해 격자화 (Rasterization) ▪ 건물 레이어, 도로 레이어, 기타 레이어 ❖항공정사영상 및 수치지도를 224*224 픽셀의 패치로 분할 ❖Data Augmentation 수행 (Rotation 3회, Flip 3회, 총 7배 증강) 10 학습 데이터 구축
  11. 11. ❖Deconvolution 및 Unpooling 연산을 이용하여 VGG-16 (Krizhevsky et al., 2012) 을 대칭시킨 모양의 Deconvolutional Network 구축 ❖Adam Optimizer (Kingma & Ba, 2014)로 손실함수 L을 최소화하여 학습 진행 ▪ 손실함수 L: Prediction(Pijk)과 Label Data(yijk) 사이의 교차 엔트로피(Cross-Entropy)로 정의 11 Deconvolutional Network 학습 L = − ෍ 𝑖=1 224 ෍ 𝑗=1 224 ෍ 𝑘=1 3 𝑦𝑖𝑗𝑘 𝑙𝑛 P𝑖𝑗𝑘
  12. 12. ❖기존에 구축된 GIS 데이터와 Deconvolutional Network의 Semantic Segmentation 결과를 비교하여 미등록 건축물 추출 ❖Semantic Segmentation 결과에서 기존 GIS 데이터 차분 ❖차분시 발생하는 노이즈를 제거하기 위해 Morphology 연산 적용 (Opening) 12 미등록 건축물 탐지 - =
  13. 13. 13 실험 결과
  14. 14. ❖Tensorflow 1.3을 이용하여 Deconvolutional Network 구현 ❖항공정사영상 및 수치지도 패치 160,958쌍 학습 ❖Nvidia GTX 1080 Ti GPU를 이용하여 약 2일 11시간 학습 (15 epochs) ❖건물의 경우 Breakeven Point에서 약 71%의 정확도 기록 ▪ Recall = 𝑁 𝑇𝑃 𝑁 𝑇𝑃+𝑁 𝐹𝑁 , Precision = 𝑁 𝑇𝑃 𝑁 𝑇𝑃+𝑁 𝐹𝑃 14 Deconvolutional Network 학습
  15. 15. ❖일반적인 경우의 분할 ❖학습 데이터에 노이즈가 섞여있더라도 어느정도 강건한 성능을 보임 15 정사영상 분할 결과 Aerial Ortho-Image Ground Truth Prediction (Building)
  16. 16. ❖국토정보지리원 정사영상은 True Orthophoto가 아님 ❖수치지도는 건물의 바닥 부분 표현 ❖기복변위를 포함하고 있는 고층 건물의 경우 제대로 분할하지 못함 16 기복변위에 의한 오류 Aerial Ortho-Image Ground Truth Prediction (Building)
  17. 17. ❖건물 지붕에 테니스장, 주차장 등이 설치된 경우 분할 실패 17 모호한 형상에 의한 오류 Aerial Ortho-Image Ground Truth Prediction (Building)
  18. 18. ❖연구 대상 지역: 경기도 양평군 강상면 일대 233,156㎡ ▪ 초경량비행장치 전용 공역 ❖2015년도 해당 지역 수치지도를 ‘기존 GIS 데이터’로 가정 ❖사전 조사 결과 등록되지 않은 건축물 다수 존재 ❖DJI Mavic Pro, Pix4D Capture 18 미등록 건축물 탐지: 대상지역 선정 및 촬영 사전 조사 건축물 1 (미등록 펜션) 사전 조사 건축물 2 (공사중 상가) 사전 조사 건축물 3 (공장)
  19. 19. ❖Photoscan을 이용하여 항공삼각측량(Aerial Triangulation) 수행 ❖Registration ▪ 차분시 기존 건물은 깔끔하게 제거시켜야 함 ▪ 비교 대상인 ‘2015년도 수치지도’로부터 지상기준점 취득 19 UAV 영상 처리 수치지도+지리원 정사영상 수치지도 +오픈드론맵 (지상기준점 無)
  20. 20. 미등록 건축물 탐지 결과 (지리원 정사영상) Aerial Ortho-Image Prediction Prediction – Digital Map Aerial Ortho-Image Prediction Prediction – Digital Map
  21. 21. ❖Probability Map ❖Threshold (𝑃𝐵𝑢𝑖𝑙𝑑𝑖𝑛𝑔 > 0.8) ❖Subtraction & Opening ▪ Kernel Size: 7*7 21 미등록 건축물 탐지 결과 (UAV 영상)
  22. 22. ❖주로 눈이 쌓인 곳에 대해 민감하게 반응 (하필 촬영 당일에 눈이 와서…) ❖그 밖에 주차장, 적치물 등에 대해 건물로 오인 22 미등록 건축물 탐지 결과 (False Positive)
  23. 23. 23 결론
  24. 24. ❖딥 러닝을 이용한 항공영상 분할 및 미등록 건축물 탐지 시스템 개발 ❖국토지리정보원에서 제공하는 국가공간정보를 딥 러닝 학습용으로 활용 ▪ 정사영상 및 수치지도의 한계 존재 (True Orthophoto가 아니며 오차 존재) ▪ ‘Deep learning is data hungry’ ❖학습용 공간정보 데이터를 새로 구축하지 않고 기존에 구축된 공간정보를 딥 러닝 모델 학습용으로 사용할 수 있음 ❖간단한 연산(차분 및 Opening)과 기 구축된 공간정보를 이용하여 미등록 건축물 탐지 가능 ❖학습된 공간정보(지리원)와 다른 UAV 영상의 특성으로 인해 False Positive 발생 ▪ 특히 계절적인 요인 (눈이 쌓여 있을 때) ▪ 기존 공간정보와의 정합 ❖학습 데이터 구축 자동화 필요 ▪ 국토정보플랫폼에서 다운로드, 정사영상 테두리에 맞게 수치지도 Clip, 벡터 데이터이기 때문에 Rasterization, 원하는 레이어들 Merge하여 One-hot Encoding 생성… ▪ PyQGIS등 이용 24 결론
  25. 25. 25 감사합니다.

×