Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

스마트 시티의 빅데이터 분석론 - 최준영

18,072 views

Published on

한국데이터사이언스학회(koreadatascience.org) 2014 학술대회 발표자료
2014.11.7

세션 2-3

“스마트 시티의 빅데이터 분석론”
- 최준영 박사(한국토지주택공사)

  • Be the first to comment

스마트 시티의 빅데이터 분석론 - 최준영

  1. 1. 스마트시티의빅데이터분석론 유비쿼터스 도시를 넘어서 최준영 (Ph.D. in urban planning and GIS) 한국토지주택공사 2014. 11. 7 한국데이터사이언스학회 2014년 학술대회
  2. 2. Contents 1 도시문제와 ICT 2 유시티에서 스마트 시티로 3 스마트 시티의 빅데이터 4 빅데이터를 넘어 분석론으로
  3. 3. 1 도시문제와 ICT 2 유시티에서 스마트 시티로 3 스마트 시티의 빅데이터 4 빅데이터를 넘어 분석론으로
  4. 4. 도시화로 야기되는 도시 문제 토지/주택 교통 재난/범죄 환경오염 에너지 공동체 의식
  5. 5. 도시변화와 도시 공간구조 • 도시공간을 이해하기 위한 복합적 요인·접근법 필요 접근성 (Accessibility) 연결성 (Connectivity) 자동차화 ICT발전 • 교외화 • 도시공간구조변화, 도시권역모형 • 분산, 다핵화, 분산된 집중 • 도시 네트워크, 기업업무조직 의 공간적 분리 전통적 공간구조 • 중심도시로 집중 • 동심원, 다핵
  6. 6. 도시패러다임의 변화와 도시데이터 • 도시내에서 일상적인 활동을 통해 위치정보를 포함한 다양한 도시 데이터 생성(Digital exhaust) Ex) 차량이나 대중교통의 위치정보, 스마트 디바이스를 통한 정보, 환경과 관련된 각종 센서정보를 통한 위치정보 등 도시활동 과정에서 끊임없이 데이터가 생성되고 있음 *출처 : Deloitte(2012) 클라우드기반 공유 수질센서 기계학습 실내 내비 대중교통 공공공사 교통신호 가축센서 토양센서 위성영상 스마트 카 IPv6 교통 센서 도시에서 위치에 기반한 데이터의 생성
  7. 7. 도시패러다임의 변화와 도시데이터 후보지 (후보지분석 공간정보시스템) 도시재생 (도시재생 공간정보시스템) • 수치지형도 기반에 토지이용 등 지형요인과 국토이용상황을 중첩한 적지분석 • 도형정보와 대장을 결합한 통합정보를 기반 으로 토지이용에 조례, 인구이동 등 인구사 회적 정보를 중첩 분석할 뿐만 아니라 개발 분담금 시뮬레이션 등 보다 복잡한 분석을 위해 많은 데이터, 규칙기반(rule-base) 필요 도시개발과 데이터 수요(LH GIS-BANK) 도시외곽의 대규모 개발 기성시가지내 중소개발
  8. 8. 도시패러다임의 변화와 도시데이터 • LH GIS-BANK의 데이터베이스(SDW)는 토지·주택 관련된 약 600Gbyte의 데이터 보유 • SDW는 2~3개월 마다 2~3Gbyte, 1년 마다 수십 Gbyte의 데이터가 시 계열로 추가되는데, 대장관련 자료가 80%를 차지 토지이용계획확인원 (149Gbyte) 건축물대장 (128Gbyte) 토지대장 (63Gbyte) 연속지적도 (59Gbyte)토지특성 (58Gbyte) 지가정보 (GIS) (8Gbyte) 등고선 (7Gbyte) 실거래가 통계 (6.7Gbyte) 지가 정보 단위 도로 용도지역지구도 (25Gbyte) 속성(대장) 정보 공간 정보
  9. 9. 도시패러다임의 변화와 도시데이터 • 국토계획 분야에서는 위치참조 정보를 가지고 다른 정보와 융복합이 가능한 융복합 공간정보에 대한 활용가능성도 높아지고 있음 융복합공간정보 융복합 공간정보의 특징 국토계획과정의 활용분야 분석 설계 과정 3차원 데이터 ∙DEM이나 LiDAR 측량 등으로 생성 ∙경관 및 가시성 분석, 지형분석 ∙대안의 평가 및 설 계 ∙협업적 설계 지원 모바일 데이터 ∙스마트폰 등에서 전화통화량과 위치정보를 수집 ∙주간·보행인구 측정 ∙공공정책 수요분석 ∙계획결과 검 증 참여형 공간정보 ∙일반 대중의 참여로 구축 ∙지역적 취약성 분석 ∙설계 검토 ∙계획과정의 협력 및 의사 소통 오픈소스 데이터 ∙일반적으로 정부가 아닌 민간 인에 의해 생성되며 누구나 무 료로 사용가능 - ∙계획과정에서의 데 이터 보완 ∙계획과정의 참여 정형 빅데이터 ∙행정정보나 신용카드 처리 데 이터로부터 생성되는 정형화된 형태의 빅데이터 ∙도시 기능, 소규모 개 발 등 분석 ∙도시의 시공간 패턴 ∙정책 세분화 ∙계획과정의 투명성 비정형 빅데이터 ∙Four square, Twitter, Flickr, Facebook 같은 SNS에서 생성되 는 비정형 빅데이터 ∙사회적 트렌드 모니 터링 ∙계획 및 설계 조정 ∙갈등관리, 공공정책 의견수렴 지오센서 ∙센서 데이터와 센서 위치 및 주 변공간정보를 융복합 ∙온도, 바람과 같은 환 경정보를 축적하고 분석 ∙모니터링 결과의 CPTED 반영 - *출처 : 최준영(2013) 국토경쟁력 강화를 위한 융복합 공간정보의 활용
  10. 10. 2 유시티에서 스마트 시티로 1 도시문제와 ICT 3 스마트 시티의 빅데이터 4 빅데이터를 넘어 분석론으로
  11. 11. 새로운 도시 패러다임 첨단 IT와 건설기술을 도시공간에 융합해 기성도시의 한계 극복하는 새로운 형태의 도시개발
  12. 12. 새로운 도시의 요구, 유비쿼터스 도시 Resident City Management Others Need to Solve Problems of Current City Ancient Middle Aged City Modern City Current City Future City Need for High-End ICT Creation of Future City Global Level ICT Infrastructure Global Level ICT Industries Dense, Overpopulated Loss of City Identity, Declination Virtuous Circular City/Livable City Environment Friendly City/Self-Satisfactory City Traditional City
  13. 13. U-Eco City R&D의 유비쿼터스 도시 전략 비전 전략 추진전략 및 실행과제 1 첨단기술을 통해 삶의 질을 향상하고 도시의 경쟁력 강화 효과적인 도시관리 성장동력 육성 진보된 도시 서비스 U-City 정책 및 제도 2 U-City 킬러 R&D 기술 개발 3 산업진흥 체감할 수 있는 유-서비스 개발4
  14. 14. Disaster Detect Sensor Emergency Service Traffic Management Forest Fire Alarm Sensor Intelligent Sensor Environment Center CCTV Crime Prevention Pollution Detect Sensor Water Contamination Sensor USN Facility Management High- Speed Broadband Network Wireless Communica- tion 기본서비스 특화서비스 이동단말 서비스 Police Station Administration Office Fire Station Medical Center/ Hospital 교통효율관리 | 안전 | 종합시설물관리 | 재난/화재예방 학부모안심 | 자연학습 | 미술관/체험관 | 주치의 통합단말기 | 노트북 | 휴대폰 | PDA/UMPC U-Street | U-Park | 정보 문화관 | 체험관 유비쿼터스 기술 기반 공간 Data/Context Collection Information Process Fundamental Service Ubiquitous/Mobile Communication Device Service U-Device | Notebook | Mobile Communication | PDA Spatial Service U-Street | U-Park | Field Trip | Museum/Experience Center Transportation Efficiency Management | Safety | Total Facility Management | Disaster/Fire Prevention Personalized Service Parental Assurance | Personal Medical Service | Preferential Service Ubiquitous Service within the City USN (Ubiquitous Sensor Network) Urban Integrated Operations Center Environment Detect Sensor Underground Facility Detect SensorTraffic Aware Sensor 유비쿼터스 도시 서비스 UIOC
  15. 15. 유비쿼터스 도시 비전에 의한 가상 시나리오
  16. 16. 경쟁 개념 용어 특징 구성요소 U-Eco City (안재성, 2007) • ICT와 ESSD를 통한 도시 경쟁력 제고 • U-Service: 도시관리, 도시안전, 도시환경 • Eco Service: 생태네트워크, 물순환, 신재생 에너지, 청정 환경 Intelligent city • 도시 내에 ICT가 내재 • 혁신, 학습, 지식, 문제해결을 향상시키기 위해 ICT 사람을 결합시킴 Smarter City (IBM, 2010) • 도시가 장치화하여 데이터 수집을 촉진하고 도시운영의 다양한 측면 을 측정하여 기반시설 효율화 • 사회기반시설(물과 에너지, 환경, 교통수단), 구성 원(사회복지, 의료서비스, 교육), 계획 및 관리(공공 안전, 스마트 빌딩과 도시계획, 정부 및 행정기관) Smart City (Caraglieu et al., 2011) • 네 트 워 크 화 된 기 반 시 설 (Networked infrastructure)를 이 용해 기업이 주도하는 사회, 문화 도시를 개발 • 스마트 경제, 스마트 모빌리티, 스마트 환 경, 스마트 피플, 스마트 리빙, 스마트 거버 넌스로 구성 • 지능형 도시에서는 ICT기반으로 도시기반시설과 서비스가 지능화되고 있고 도시경쟁력 강화를 위해 ICT의 역할이 증대
  17. 17. 신도시의 유비쿼터스 도시 구축 사례 Integrated traffic info. Collection of traffic info. Installation and management of CCTV Provision of mass transit info. Sejong (Mulitifunctional administrative city) U-City communication duct Mobile internet Urban integrated operation center Installation of CCTV Youngjong (Incheon Free Economic Zone, IFEZ) Bus information terminal Crime monitoring Street light and park light U-City communication infra. Paju (New town)
  18. 18. • 도시관리 측면에서는 도시의 기능, 활동 등이 복잡해져 가면서 도시 관리에 효과적으로 활용하기 위한 데이터 활용 방법론이 요구 • ICT활용으로 CCTV, 검침 등 센서를 통한 데이터, 모바일 폰 데이터, 신 용카드 사용 등 도시 활동에 의한 데이터 등 도시 데이터(urban data)가 증가 실시간, 대량으로 생산되고 있음 • 세종, 영종, 파주의 U-City 시설물 위치도를 통해 시설물의 공간적 위치 및 제공되는 서비스를 살펴보면, CCTV 설치를 통한 동영상 정보의 수집, VMS, VDS, BIT를 통한 교통정보 수집 및 제공 등 다양한 단말이 이용되 고 있음 • 이와 같이 U-City에서 생성되는 이러한 대량의 정형․비정형 데이터들은 공간적인 수집 및 서비스 범위가 제각각이며, 적절한 활용방안을 가지 고 있지 못한 실정임 U-City 구축 사례
  19. 19. U-City를 통해본 시사점 공간 격차 _ 구도시는 제외된 신도시에 한정된 모델 • 대규모로 투자되는 ICT 기반시설 조성비용. 운영비용의 부담주체. 신도시도 지자체의 일부. ICT 기반 시설에 적합한 기부체납의 절차 데이터의 생산 _ 대규모로 생산 및 수집되는 데이터에 대한 적절한 활용 방법 • 유비쿼터스 도시 인프라에서 생산되는 CCTV 영상, 교통 데이터, 환경 모니터링 데이터 등 데이터가 생산. CCTV 영상은 별도의 분석 등 활용없이 일정기간 후가 되면 폐기 가능성 _ 첨단 인프라를 이용하여 연계수집된 데이터의 도시관리에 활용 가능성 • 유비쿼터스 도시 도시통합운영센터에 축적된 데이터에서 도시관리를 위해 유용한 데이터의 추출 및 분석, 가공을 통한 활용
  20. 20. 3 스마트 시티의 빅데이터 1 도시문제와 ICT 2 유시티에서 스마트 시티로 4 빅데이터를 넘어 분석론으로
  21. 21. 도시 데이터 혁명과 재발견 데이터의 이용 도시 데이터 혁명 • •U-City 건설, 스마트 장비, 네트워크의 성숙, 강력한 분석기법의 발달로 도 시 데이터가 폭발적을 증가하여 도시 데이터 혁명(urban data revolution) 으로 까지 불리고 있음. 이와 같이 폭증하는 도시 데이터를 기반으로 도시 문제 해결하고자 하는 요구가 증가 재발견 데이터의 가치 • 데이터 양이 '가치 추출이 가능할 만한 임계량(Critical Mass')에 도달해 가 치 추출 경쟁이 본격화되고 있어, 빅데이터(big data) 등에 대한 활용 성과 가 기업 미래 생존 좌우 핵심요소로 부상 • 특히 내부 재발견 데이터(Re-discovered data), 제3자 제공 데이터 등을 활 용해 조직혁신 및 신사업 발굴 등 경쟁력 강화에 활용을 고려하고 있음 도시경쟁력의 핵심요소 • 공공기관도 내부도 축적된 공공데이터, 각종 센서(장비) 발생 데이터 등 재 발견 데이터(Re-Discovered Data)에서 추출되는 데이터의 가치 잠재력은 매 우 크며, 이는 도시 경쟁력의 핵심요소로 부상하고 있음
  22. 22. 기존 정보시스템내에 존재하는 데이터 문서 센싱 및 모니터링 정보 소셜미디어 웹/블로그 • 외부에서 제공하는 정형화된 데이터 데이터 수익화 (Data Monetization) 예. 모바일폰 데이터, 신용카드 이용 참여형 공간정보(VGI) 예. 오픈 스트리트 맵 비정형 데이터 정형 데이터 전통적 데이터 재발견 데이터 제3자 제공 데이터 • 기존 정보시스템내에 존재하는 비정형데이터, 각종 시스템, 센서를 통해 대량으로 생산되나 이용되지 않는 데이터 소리/동영성/CCTV 뉴스 콜 데이터 행정정보, 기업내부정보, 3D, 실내공간정보, 수치지형도 지리 참조 데이터 지리 참조 데이터 유시티 스마트시티 도시 데이터 혁명과 재발견 데이터의 이용
  23. 23. 도시 분석론(Urban analytics)의 필요성 • 분석론 (Analytics)*은 데이터에 기초해서 다양한 분석방법을 통해 최적의 대 안에 도달하는 방법론 *출처 : http://www.urbandictionary.com/define.php?term=analytics • 도시 분석론(Urban Analytics)는 도시분석에 활용되는 공간정보, 행정정보 등 기존 데이터 뿐만 아니라 센서, SNS, 모바일폰 등 도시에서 생성되었으 나 많이 이용되지 않았던 대량의 정형 및 비정형 데이터 등 재발견 데이터 (Rediscovered data)를 이용해 도시를 상대적으로 값싸고 확장성있게 분석 하는 방법론 • 도시 공간구조, 도시활동패턴의 복잡성 증가, 도시의 데이터 증가, 미이용되 거나 저이용되는 데이터의 재발견에 따라, 도시 데이터를 이용해 전통적 도 시 분석방법에 비해 상대적으로 값싸고 빠르고 확장성있게 분석하는 방법 이 가능해짐
  24. 24. 도시 분석론(Urban analytics)의 필요성 • 분석론 (Analytics)*은 데이터에 기초해서 다양한 분석방법을 통해 최적의 대 안에 도달하는 방법론 *출처 : http://www.urbandictionary.com/define.php?term=analytics • 도시 분석론(Urban Analytics)는 도시분석에 활용되는 공간정보, 행정정보 등 기존 데이터 뿐만 아니라 센서, SNS, 모바일폰 등 도시에서 생성되었으 나 많이 이용되지 않았던 대량의 정형 및 비정형 데이터 등 재발견 데이터 (Rediscovered data)를 이용해 도시를 상대적으로 값싸고 확장성있게 분석 하는 방법론 • 도시 공간구조, 도시활동패턴의 복잡성 증가, 도시의 데이터 증가, 미이용되 거나 저이용되는 데이터의 재발견에 따라, 도시 데이터를 이용해 전통적 도 시 분석방법에 비해 상대적으로 값싸고 빠르고 확장성있게 분석하는 방법 이 가능해짐
  25. 25. 공간 빅데이터란 ㆍRoad ㆍParcel ㆍZoning ㆍDEM ㆍ3 dimensional ㆍFloating pop. ㆍCredit card ㆍDocuments ㆍLand transaction ㆍTraffic •Road/Building/Stream/Parcel/Zoning… •Flooded area, Susceptible coastal flood, Land slide… •DEM, Aerial photo, R.S., 3 dimensional data… Spatial data (Vector/Raster) •SNS, Blog, News… •Floating pop./Credit card… •Photos/Movies… Big Data (Private) •Document issuance of land regulation etc. •Land transaction/Rental housing contract… •Traffic/Transportation… •Geosensor, CCTV… Big Data (Public) Clickstream/Query word Joining Geocoding • • • • • • Geo- parsing Parcel Administrative bnd. POI Over 80% of Big Data is also geographically referenced! Source: Kim, D.J.(2014)”Geospatial Big Data for Gov. 3.0” • 부동산 실거래 시스템 데이터 : 월간 약 200만건, 5Gbyte • 스마트 교통카드 데이터(서울시) : 일간 약 1700만건, 2Gbyte • SK 텔레콤 지오비전 : 10만개 소지역, 1500개 업체의 정보  전국 데이터 9Tbyte(2013년), 유동인구 전국 월간 약 81Gbyte 도시 빅데이터의 크기는?(How big is big data?)
  26. 26. 공간 빅데이터란 Prompt/accurate/precise diagnosis  Customized/effective prescription Simul- ation Spatial analytics Visuali- zation Diagnosis Alternatives Implementation Evaluation ㆍRoad ㆍParcel ㆍZoning ㆍDEM ㆍ3 dimensional ㆍFloating pop. ㆍCredit card ㆍTraffic ㆍDocuments ㆍLand transaction • • • • • • Environment Physical & logical Behavior Planning Opinion Source: Kim, D.J.(2014)”Geospatial Big Data for Gov. 3.0”
  27. 27. 국토부 공간 빅데이터 체계 구축 … [Population] [Permits] [Registries] Big Data(MOSPA) Private [Credit card, Floating pop…] [Road] … [Building] [3D image] … NSDI Spatial Big Data(MOLIT) Public ㆍLand trans. / Document issuance ㆍLand reg. / Rental contract ㆍTraffic accident / Traffic volume ㆍTravelling etc. BD in public ㆍFloating pop. ㆍLand transaction ㆍRental contract ㆍDocuments ㆍTraffic ㆍCredit card Hadoop Spatial Hadoop ㆍSNS, Blog, Cafe... ㆍVGI BD in private Parcel map Administrative POI Joining Geocoding Geoparsing & Geocoding Fusion Source: Kim, D.J.(2014)”Geospatial Big Data for Gov. 3.0”
  28. 28. 민간 빅데이터와 데이터의 오너쉽 신용카드 및 전화통화데이터(CDR)에 의한 유동인구, 신용평가 등은 신용카드사, 통신사, 신용평가사의 주 요한 사업모델화하고 있음 * 진주 유등축제의 분석 사례(2013)
  29. 29. 부동산 거래자료를 이용한 부동산 시장분석 Distribution of individual housing sales and rental transaction based on the parcel and building Housing sales and rental transaction rate by administrative distirict Housing sales and rental transaction statistics by administrative district Discovering real estate transaction hot spot area using spatial analytics 색깔진한 지역 (아파트거래건 수 많은 지역) 해당 분야의 지식이 필요(domain knowledge) : 토지 및 주택에 대한 전세 및 매매 거래를 이용한 부동산 시장 모니터링 * 부동산실거래시스템 분석사례 (2014) *자료 : 18개 단지 25,000 여명
  30. 30. 스마트 카드를 이용한 버스 승하차 패턴분석 0 50 100 150 200 250 300 350 400 운행횟수 두신마을 동문아파트 백송고등학교.백송마을 덕이초등학교 농수산물도매시장 일산백병원 주엽역 일산경찰서 마두역 백석동 고양경찰서앞 덕양구청 달빛신안아파트 달빛동부아파트앞 신원당동신아파트 원당전철역 창릉교 부대앞 서오릉앞 시계입구가게앞검문소 선정중고등학교 구산사거리 구산역2번출구.예일여고 역촌오거리 은평구청앞 산골고개 홍제삼거리.인왕산한신휴플러스 안산초등학교 영천시장 종로1가 서울역YTN 영천시장 무악재역 홍제역 녹번역 녹번초등학교.서대문세무서별관 삼성타운 역촌중앙시장 선진운수종점 806전투경찰대우남아파트 용두초등학교입구 용두2리 용두사거리 원흥주유소 원당전철역 신원당동신아파트 달빛동부아파트앞 달빛신안아파트 화정전철역 고양경찰서앞 백석동 마두역 일산경찰서 주엽역 일산백병원 예비군훈련장 송산2통 송산3동 만자고개 성재공단입구 가좌동종점 인 원 수 ( 명 ) 시간대별 (차량수) 광역버스 9701번 04:00 ~ 06:00 (08대) 06:00 ~ 08:00 (13대) 08:00 ~ 10:00 (11대) 10:00 ~ 12:00 (11대) 12:00 ~ 14:00 (11대) 14:00 ~ 16:00 (11대) 16:00 ~ 18:00 (09대) 18:00 ~ 20:00 (10대) 20:00 ~ 22:00 (09대) 22:00 ~ 00:00 (09대) 0 200 400 600 800 1000 1200 1400 1600 구미동차고지 LG아파트 하얀마을.그랜드빌.벽산빌라 미금초등학교 까치마을대원사거리 정자3동주민센터 엘지아파트 중앙공원샛별마을 효자촌 연수원입구 백현마을2단지 낙생육교 서울백병원평화방송 조계사 삼성프라자 숭례문 중앙시네마백병원 낙생육교 백현마을3단지 새마을연수원입구 우성프라자앞 중앙공원푸른마을 한솔주공5단지 정든마을 대원사거리 미금초등학교 하얀마을.그랜드빌.벽산빌라 신한아파트 구미동차고지 인 원 수 ( 명 ) 시간대별 (차량수) 광역버스 9401번 04:00 ~ 06:00 (19대) 06:00 ~ 08:00 (34대) 08:00 ~ 10:00 (21대) 22:00 ~ 00:00 (13대) 10:00 ~ 12:00 (29대) 12:00 ~ 14:00 (30대) 14:00 ~ 16:00 (27대) 16:00 ~ 18:00 (21대) 18:00 ~ 20:00 (25대) 20:00 ~ 22:00 (25대) Space-time diagram of bus # 9407 Space-time diagram of bus # 9401 고속화 구간 Number of boarding and alighting passenger of bus # 9407 at each stop 스마트 카드 데이터를 이용한 버스 노선별 승하차 분석 및 노선계획 Number of boarding and alighting passenger of bus # 9401 at each stop
  31. 31. 스마트 카드를 이용한 대중교통통행수요 정류장 중심의 하차수 오전 08시30분 서울 중구->경기도 대중교통 이용 이동수 경기도 성남->서울 대중교통 이용 이동수 성남 분당->경기도 대중교통 이용 이동수 강남구->서울,경기도 대중교통 이용 이동수 중구->서울,경기도 대중교통 이용 이동수 가구통행실태기반의 추정OD에서 스마트 카드를 이용한 실OD 및 승하차 인원 산정
  32. 32. LH 공간 빅데이터 플랫폼 Spatial & Common Store SDE ETC.. Oracle Spatial Orange Fixer Geowave Spatial Hadoop System Geowave Client (User Client) Orange Upper Server Hadoop System Communication Daemon MapReduce Job Manager H-base based HDFS R/W Middleware Spatial Grid Indexing Manager Spatial Data read&Write Analysis Result viewData Managing OUS Communication Driver Orange Geoprocessing API OUS Data Scan&Writer API Spatial Data ETL GUI MR, Analyzer & ETL Modeler Data ConnectionUser Modeling Spatial MapReduce Job Hadoop Executing MapReduce Job MR Job Workflow Design / Create MR Job Managing Geowave Spatial-Hive Generic-Hive Metadata Manager Geowave Spatial UDF 1 2,7 3 1. RDBMS or Shape Data Connection 2. Data loading to Geowave Server 3. Data loading to HDFS 4. Spatial Analysis MR Workflow Design 4 5 6 5. Spatial Analysis MR execute request 6. Executing MR on hadoop 7. View results 기존 하드웨어(사무용 PC)를 활용하여 공간 하둡을 기반으로 한 공간 빅데이터 처리 인프라 구성
  33. 33. LH 공간 빅데이터 활용 Senior citizen households Low income group University student Someone who is just starting out in a career 행복주택 수요분석
  34. 34. LH 공간 빅데이터 활용 LH 고객 지도 개요(Introduction) • 청약자격에 따른 공공주택분양 청약신청 • 청약자료는 청약후 3개월 이후 폐기 • 공간분석 노하우와 빅데이터 분석기법을 활용하여 주택공급 분석 분석흐름(Analysis flow): LH 고객지도, LH C-map(Customer map) • 주택청약정보를 공간상에 POI로 생성하고 개인정보를 비개인화하여 다양한 형태의 정보와 융합하여 구축 • 잠재고객 자료로서 LH 주택청약 고객의 공간적 청약패 턴을 분석하여 주택정책 지원을 위한 공간의사결정 지 식 베이스로 구축 (문제식별) 주 택청약에 기 반한 주택공 급 진단 (정보수집) 청 약정보 수집 및 개인정보 비개인화 (융합DB 구 축) 공간정보 와 청약정보 의 융합 (자료 해석) 공간분석과 연계하여 다 양한 패턴의 C-map 생성 (패턴 분석) 공간통계 도 구 이용, 결과 계량적 해석 (결과 해석) 업무담당자, 연구자 공동 으로 결과 공 유 및 해석 ArcGIS사용ArcGIS, GeoDA, Crimestat사용 *자료 : 18개 단지 25,000 여명
  35. 35. 4 빅데이터를 넘어 분석론으로 1 도시문제와 ICT 2 유시티에서 스마트 시티로 3 스마트 시티의 빅데이터
  36. 36. 도시 빅데이터 분석론 Attribute Matadata Service Metadata JobProcess Metadata Service Catalog Spatial MetaData DB standard Data Integration Metadata RDBMS Spatial GIS Server Spatial Fusion DB Portal Service DB Service Mart DB Base Spatial Data Service Catalog DB Service DB Real estate GIS DB Traffic GIS DB Regional Development DB Base Spatial Data Spatial Fusion DB GIS DB ODBC/JDBC GIS Server(MapPrime) Server Connector Image Tile Manager Spatial Query HTTP MapPrime GIS Server API WMS I/F WFS I/F WCS I/FSpatial Analysis Library Process Monitoring Collection Process Loading Process Analysis Process Service Process Monitoring & Management Tool for Spatial Bigdata lifecycle / Integration Operation Framework Operation Server Real estate Rental Data Use zoning Info Building Management info Base Spatial Data Real estate Trade Info MOLIT School Location Public facility Location MOSPA Population Income Housing Info COSTA T Real estate news government website newspaper Web/SN S pCell Small area Population move amount Real estate Trade info Real estate Search info Private collector Collection Link Server (TeraStreamServer) Job Scheduler Hive(UDF Extention) Query executer Data/JOIN cleansing Manager Loader RDBMS HTTP SOAP NSDI Agent TEXT SHAPE TEXT SHAPE SHAPE Batch Process Design (TeraStream Designer) Workfkow Engine User Manager(Auth) E,T,C,L Component Shape To Geo(WKB) Metadata creator ESB TO HDFS, RDBMS Adapter TO HDFS, RDBMS Text TO HDFS, RDBMS Atypical info process Address mapping QA/QC User Manager(Auth) Tibero Spatial Writer Tibero Spatial Spatial Hadoop Shape To Geo(WKB) ESB TO HDFS, RDBMS Adapter TO HDFS, RDBMS Text TO HDFS, RDBMS Metadata Manageme nt Tera Stream Hadoop Geowave Spatial Hadoop (Namenode,Datanode) Spatial Fusion data Portal service DB Service Mart DB Service Catalog Base Spatial data Catalog service Service DB R Server Package(Datanode) Collection & loading process (JOB) Meta Data/ atypical Agent R Analyzer SP/ Maptool R Studio ODBC/JDBC Connector Rhive Package SP/Maptool (Package Extension) R Package Spatial Hadoop Spatial Query Spatial Data Gdal/Gstat Spatial Index Spatial Analysis Spatial seach/save Vector/Raster DBMS Spatial Hadoop & Spatial Data Connector Spatial Join Spatial library Spatial DB private DB Attribute DB 기타 Base Spatial data Atypical DB Collection DB Analysis fusion DB private DB Application DB Etc. Spatial fusion info Atypical DB Processing/ Fusion DB BI Server Dashboard Datamining Chart/Graph Statistics OS HTTP,TCP/IP Scenario create Visualization Map Visualization Spatial Analysis Manager (Geowave) Workfkow Engine Spatial ETL Web Atypical Analysis(WISE TEA) morpheme KMA Orange Indexer SF-1 Indexer Index distributer Dist ServerDB Bridge/Filter OS HTTP,TCP/IP Issue word WISE TEA morpheme KMA Orange Ranking WISE TEA HiveQL SH API (OGC’s Standard) HiveQL(Spatial HiveQL, OGC’s Standard, GeoJSON) Spatial Analysis Modeling Spatial MR CreaterSpatial Hadoop ManagementResult Management Spatial Hadoop management Metadata Management Spatial Package Hadoop Writer Hive Writer Fusion MR Processing MR R-MR Real estate MR Zone MR Transport ationMR Indexing Analyzer UDF(Spatial Function) UDF(R) HIVE Integration MEta Dashboard Design MonitoringMap Management I/F, API Definition I/F, API Definition I/F, API Definition ETL Batch ETL Batch DB Loading HIVE Loader ETL JOB Deploy ETL JOB Design HDFS Loading Regional time series tax and card use history Bus routes and operating units Estimation Regional transit destination travel time and alternative transportation Real estate trading trend analysis by search frequency Real estate trade and rental price Trading volume Time series analysis Issue zoom keywords analysis Portal operation Spatial Bigdata visualization Map view/control Local Search Common Analysis Spatial measure Account and Authority Alarm/Question search Using statistics User data management Catalog service ESB Related Data Management Related part & manager Related target & schedule Related state Related schedule log Data metadata management Analysis model metadata management Catalog code management User data management Spatial bigdata Utilize service Spatial MR Statistics MR R S H SETL Flamingo 수집 가공 분석 서비스
  37. 37. 수집 : 능동적 데이터 취득 이미지 출처(배경) : http://www.fastcompany.com/3036266/internet-of-things/flights-camera-action-faa- gives-hollywood-permission-to-fly-drones • 활용가능한 데이터의 종류 및 양 한정 하되 있음 Ex) CCTV의 해상도가 낮고 사각이 발생해서 유 의미한 자료를 취득 어려움 • 경제성의 범위내에서 구글 글래스 (Google glass)나 드론(Drone) 등을 이용하여 자료를 주기적으로 취득 도시정보의 센싱 (Sensing the urban big data) 3D, BIM, 위성 영상 분석의 이점 (Benefits of 3D, BIM, satellite imagery) Concept of BIM and GIS convergence Space Natural Asset Linear Structure Structure Building Facility / Built World Sub-Systems System Level Site Real Property Asset Country State / Province County Region Node Segment Room Space System Level Room Water / Sea Land / Parcel Underground Air / Space Overlay Overlay Components City Sub-Systems Components BIM GIS Converging Building Info. (Interoperability) *출처 : Introduction to BIM – GIS Integration(2010, Building Science Annual Meeting Doc.)
  38. 38. 수집 : 유스케이스와 사물인터넷 (Barnaghi, 2014) . . . Real World Data Smart City Framework Smart City Scenarios 이미지: http://www.fastcompany.com/3036266/internet-of-things/flights-camera-action-faa-gives-hollywood- permission-to-fly-drones 사물인터넷(IoT)과 결합하여 실질적인 도시 빅데이터의 수집체계 마련 분석 및 활용사례를 다양한 시나리오에 기반한 유스케이스로 개발하여 분석가에 체계적으로 제공
  39. 39. 가공, 분석, 서비스 : 플랫폼과 상호작용 “도시정보 빅데이터 플랫폼”과 분석자(analyst, data scientist)의 상호작용 도시정보 빅데이터 플랫폼 다양한 도시 문제에 대한 분석 요구 도시문제에 대한 해법 및 인사이트 도출
  40. 40. 가공 및 분석 : 스마트 시티 성숙도 출처 : Thorpe (2014), Indian Industry Think Tank Proposes Improved Government Guidelines on Smart Cities Resilience Model • 인도에서 만든 스마트시티 성숙도 모델(SCMM, Smart City Maturity Model) • 도시의 각 부문별로 기본적 도시 서비스(basic urban service)에서 높은 도시 복원력(high urban resilence)까지 4단계로 스마트 시티 성숙도를 측정하는 모델 * ISO의 커뮤니티의 지속가능 개발 지표 (ISO 37120:2014 Sustainable development of communities)* 인도의 스마트시티 성숙도 모델(SCMM) 살고 싶은 스마트 도시의 측정 (Quantifying the livable smart city?)
  41. 41. 파 리 LA 뉴 욕 Street networkBuilding height Seoul? 서비스 : 도시공간정보 시각화 서 울 Sense of place outskirt commercial residential 4대문 역세권 도로망 FlushingWall StreetBrooklyn 도시 패턴(Urban Pattern) 도시공간 시각화(Urban geovisualisation)
  42. 42. 시사점 도시분석은 하둡 인프라(Hadoop ecosystem)도 분석 역량(analytical capacity)도 아닌 데이터 확보의 문제 • 민간한 개인정보간 결합한 파생데이터 생성 가능성. 데이터의 익명화를 통한 문제해결 방안 • 도시관리와 같은 공공 분석을 위한 민간 데이터의 수급 문제 및 자유로이 쓸 수 있는 소유권 문제 데이터 주도(data-driven)의 증거기반(evidence- based)의 정책도구로 효과적 • 효과적인 분석 및 활용을 위해서는 다양한 경험적, 실증적 사례들이 축적될 필요가 있음 • 사용자 층 저변 확대를 위한 베스트 프랙티스나 킬러 어플리케이션 등 필요 궁극적 목적: 삶의 질, 도시 경쟁력 • 빅데이터 분석이 아니라 도시 빅데이터의 분석이 필요 • 데이터의 양보다는 데이터의 주기적 갱신 및 가치 Ex) 정책 트렌드를 보기 위한 데이터의 주기적 제공 및 갱신. 부동산 시장분석을 위해 포털에서 누구 어떤 매물정보를 보았 는지에 관한 로그기록이 훨씬 중요함
  43. 43. Thank you

×