Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

THE THINGS AROUND BIG DATA

703 views

Published on

THE THINGS AROUND BIG DATA - CLOUD COMPUTING, GOVERNMENT DATA, LINKED DATA

Published in: Technology
  • Be the first to comment

  • Be the first to like this

THE THINGS AROUND BIG DATA

  1. 1. THE THINGS AROUND BIG DATA - CLOUD COMPUTING, GOVERNMENT DATA, LINKED DATA 남궁현 nghyun@chungbuk.ac.kr nghyun@snu.ac.kr
  2. 2. Involved Projects 독립형 컴포넌트 기반 서비스 지향형 페타급 컴퓨팅 플랫폼 기술 개발 빅데이터 활용을 위한 지식자산 구축 및 실 시간 Linked Data 응용 기술개발 ExoBrain 컨소시엄 과제
  3. 3. Big Data
  4. 4. Buzz Word…?
  5. 5. What the Hell is BIG DATA?
  6. 6. 3Vs
  7. 7. And…. Cloud Computing Open Data Linked Data Government Data Hadoop NOSQL Echo-System
  8. 8. Definition?
  9. 9. Example
  10. 10. Ex.1 - Daum 대규모 Log분석
  11. 11. 16시간 1.5시간
  12. 12. Content Logs 단위뉴스별 실시간 분석 실시간 콘텐츠 피드백
  13. 13. Ex.2 - LinkedIn
  14. 14. Simple Graph Analyze
  15. 15. Scalable Cluster 16TB
  16. 16. Scalable Computing 환경 기존 시스템에서 처리가 힘든 크기의 데이터
  17. 17. Too Large Size Data 6,000,000,000 Files with 60TB Physical Size Of One Month
  18. 18. Machine?? Processing time ?? Storage space??
  19. 19. Scalable Computing Environment
  20. 20. Cloud Computing NOSQL DB MapReduce
  21. 21. Cloud?
  22. 22. Cloud Computing
  23. 23. Cloud Computing Job Result
  24. 24. Easy Scalability
  25. 25. MapReduce Framework(e.g. Hadoop) … Network-wired Hadoop Cluster
  26. 26. NoSQL(e.g. MongoDB, Cassandra)
  27. 27. Storing and Processing Cluster on Cloud Computing Storing Processing MongoDB Cluster … Hadoop Cluster …
  28. 28. Twits on MongoDB Cluster Key:@id+time Value: twitt message MongoDB Cluster @id+time Store … Query Access
  29. 29. MapReduce Cluster Input Map @id Reduce #tag #tag #tag @id #tag #tag Output
  30. 30. Big Data Handling Application /Analyze
  31. 31. NOSQL DB MapReduce
  32. 32. 국내에선..?
  33. 33. Recent Big Data Research in Korea Social Data Governmental Data Linked Data
  34. 34. Social Big Data Analyze
  35. 35. Social Big Data Analyze
  36. 36. Governmental Data
  37. 37. Governmental Data 공유자원포탈(http://data.go.kr) by 인터넷 정보화 진흥원 서울 열린 데이터 광장(http://data.seoul.go.kr) by 서울시 정정보화 사업단
  38. 38. Linked Data by Tim Berners Lee
  39. 39. Social Data Governmental Data Linked Data
  40. 40. Big Data Research = Find Forgotten Data
  41. 41. Data high- dimensional features Hash Code Decoding
  42. 42. 제 경우는요..
  43. 43. 빅데이터 활용을 위한 지식자산 구축 및 실시간 Linked Data 응용 기술 개발 (2012 ~ 2015, 3Years, 8,000 per Year) 데이터 변환/Sync RDF데이터 처리 주관기관, 데이터확보, Enrichment 사용자 응용서비스 데이터/플랫폼 제공
  44. 44. XML, OpenAPI RDF, Linked Data VS Data, API Web of Data
  45. 45. LOD 분할 인덱스 schema 공공DB RDF 공공DB 검색/접근/API TextData 공공DB 공공DB 공공DB 데이터/인프라 제공 Linked Data기반 응용서비스 공공데이터 플랫폼 LOD 데이터 자체서비스데이터 공공데이터 플랫폼 LOD Publish 개발자지원
  46. 46. IBM Watson ExoBrainProject
  47. 47. Graph Data Storage
  48. 48. Knowledge = Large Size Graph Data
  49. 49. Real-time Graph Data Processing
  50. 50. 감사합니다 nghyun@gmail.com @chungbuk.ac.kr

×