• Like
  • Save
Haklae talk-data-0128
Upcoming SlideShare
Loading in...5
×
 

Haklae talk-data-0128

on

  • 596 views

 

Statistics

Views

Total Views
596
Views on SlideShare
596
Embed Views
0

Actions

Likes
2
Downloads
5
Comments
0

0 Embeds 0

No embeds

Accessibility

Categories

Upload Details

Uploaded via as Microsoft PowerPoint

Usage Rights

© All Rights Reserved

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Processing…
Post Comment
Edit your comment

    Haklae talk-data-0128 Haklae talk-data-0128 Presentation Transcript

    • Big Data and Predictive AnalyticsData which is not understand has no value 김학래 , Open Knowledge Foundation Korea, 2013
    • QuickAgenda데이터를 사랑하는 사람들을 위한 튜토리얼 11 아름답게 만들기 22 하지만 피할 수 없는 .. 33 데이터 생태계 Facebook Google Refine Fusion Tables Gephi UciNet GapMinder 2
    • Introduction Inverted Pyramid of Data JournalismSource: http://onlinejournalismblog.com/2011/07/07/the-inverted-pyramid-of-data-journalism/ 3
    • QuickContent데이터를 사랑하는 사람들을 위한 튜토리얼 11 아름답게 만들기 22 하지만 피할 수 없는 .. 33 데이터 생태계 Facebook Google Refine Fusion Tables Gephi UciNet GapMinder 4
    • 목표 : 아름다운 그래프를 그립니 5
    • Gephi네트워크 데이터 편집myFnetwork_*.txt 파일을 node/edge 로 구분한 후 파일을 각각 저장 원본파일 11 “ Id, Label” “node.csv” 으로 저장 22 “Source, Target” “edge.csv” 으로 저장 6
    • Gephi파일 불어오기 11 Import Spreadsheet 클릭 22 node.csv 파일 선택 Nodes table 선택 (As table: 33 ) 44 edge.csv 파일 선택 Edges table 선택 (As table: 55 ) 66 “Next” 클릭 7
    • Gephi그래프 편집하기 11 Overview 클릭 ( 왼쪽 상단 ) 22 Hairball 보기 8
    • GephiLayout 변경 11 Layout 탭 : Force Atlas 선택 22 Run 클릭 33 Stop 클릭 44 Adjust by size 선택 55 Run  Stop 클릭 9
    • GephiRanking 변경 11 Ranking 탭 22 Degree 선택 Apply 클릭 (gradient 적용 33 됨) 10
    • Gephi노드 크기 변경 11 Ranking 탭에서 다이아몬드 선택 22 Min size: 5, Max size: 50 33 Apply 클릭 11
    • GephiLayout 에서 노드 크기 변경목표 : 네트워크 파일 열기 11 Adjust by size 선택 22 Run  Stop 클릭 12
    • Gephi통계 값 확인 11 Statistics 탭 : Avg. Path Length 13
    • Gephi그래프의 노드에 글자 보이기 Font size scaleShow Node Labels Edge weight scale Size mode Color mode (node size 선택 ) (Unique 선택 ) 14
    • Gephi군집화 (Modularity) 11 Statistics 탭 : Modularity 클릭 22 Modularity Setting: 모두 선택 Partition 탭 : Refresh Arrows 33 클릭 후 Modularity Class 선 택 15
    • Gephi그래프 색깔 변경 11 Ranking 탭 : Color 선택 후 적용 16
    • GephiPreview 및 그래프 Export 하기 11 Preview 탭 : Show Labels 선택 22 Refresh & Export 17
    • Gephi요약 : 이제 , 우리도 아름답게 데이터를 표현할 수 있습니다 . 데이터 시각화 준비 데이터 분석 아름다운 시각화 18
    • QuickContent데이터를 사랑하는 사람들을 위한 튜토리얼 11 아름답게 만들기 22 하지만 피할 수 없는 .. 33 데이터 생태계 Facebook Google Refine Fusion Tables Gephi UciNet GapMinder 19
    • 목표 : 데이터를 설계합니다 . 20
    • Introduction이것이 무엇인가요 ? 21
    • Introduction태그 (tag): 사람이 특정한 리소스에 부여하는 키워드 Eiffel ? Tower Paris Brain? 22
    • Introduction태그를 부여하는 것은 인간의 인지적 활동을 반영 What you You tag Eiffel think about those words it? Tower Paris Brain? 0.1 seconds 23
    • Introduction소셜 미디어와 나 Breslin, 2007 24
    • IntroductionSocial Object: 소셜 미디어 사이의 연결 고리 Breslin, 2007 25
    • IntroductionObject-centered Sociality: Social Object 중심의 네트워크 “Social network theory fails to recognise such real-world dynamics because its notion of sociality is limited to just people.” - Jyri Engestrom, 2005 26
    • 관심사 분석 실습관심사 키워드 - 원본조명대 김학래 이종완 한상우 전희주 이명진 이영환 류자현 윤영민 이민아linked data /linked open 소셜네트워크 분 Big Datadata 시맨틱웹 1. 여론조사 social learning 석 (SNA) 빅데이터 Analysis 집단지성 정보사회학 인포그래픽 사회조사방semantic web 링크드데이터 2. 인터넷전화 facebook 빅데이터 시맨틱웹 Semantic Web 지식형성 법 빅데이터dereferencing CRM( 고객관계관uri 오픈데이터 3. 콜센터 HTML 5 리) 링크드데이터 Open Data 소셜미디어 빅데이터 웹 3.0 Open Government 소셜네트워크public data 커뮤니티 4. LTE information science 보험 인공지능 Data 서비스 소셜미디어 시멘틱웹opengovernment 사회연결망 데이터사이언initiative 협업 5. 빅데이터분석 cool hunting 통계 고급분석 Market Analysis 플랫폼 분석 스open knowledgefoundation 인공지능 6. 유전 알고리즘 cool farming 마케팅 소셜네트워크 Web Mining 페이스북 공감 인문학digitallibrary 온톨로지 7. 인공지능 information literacy 마케팅 채널 시맨틱웹서비스 Data Mining 위키피디아 정치참여 철학socialsemanticdigital Artificiallibrary 빅데이터 8. 시뮬레이션 metadata 웹 Intelligence 의례 전자정부 사회학 9. 한 . 중 . 일 고sioc 사회 대사 knowledge management 분산컴퓨팅 Technology Trend 선물경제 미래학 정보사회 시나리오플rdf 스마트폰 10. 불교 ontology 플랫폼 Web Technology 상호작용 래닝 소셜미디어 미디어의 역 컨텐츠큐레이connectionism okf 11. 전략기획 linked data 건강식품 Informatics ethnography 사 션 informationlink and node 소셜네트워크 12. 컴퓨터음악 architecture 시맨틱검색 SNA 협력 소셜그래프modeling 웹 13. 양극화해소 semantic web 온톨로지 사회학 사회변동 SNS 마케팅추상 플랫폼 14. 여가 information ecology 추론 정보사회학 사회불평등 스타트업predictive 공동체analytics 소셜미디어 15. 뉴에이지음악 knowledge sourcing 소셜검색 집단행동 (community) 크라우드펀딩 27
    • 관심사 분석 실습관심사 키워드 - 수정본조명대 김학래 이종완 한상우 전희주 이명진 이영환 류자현 윤영민 이민아 소셜네트워크 분링크드데이터 시맨틱웹 1. 여론조사 사회적학습 석 (SNA) 빅데이터 빅데이터 분석 집단지성 정보사회학 인포그래픽시맨틱웹 링크드데이터 2. 인터넷전화 페이스북 빅데이터 시맨틱웹 시맨틱 웹 지식형성 사회조사방법 빅데이터dereferencing CRM( 고객관계관uri 오픈데이터 3. 콜센터 HTML 5 리) 링크드데이터 오픈 데이터 소셜미디어 빅데이터 웹 3.0 Open Government 소셜네트워크서공공데이터 커뮤니티 4. LTE 정보과학 보험 인공지능 Data 비스 소셜미디어 시멘틱웹open government 데이터사이initiative 협업 5. 빅데이터분석 cool hunting 통계 고급분석 시장분석 플랫폼 사회연결망분석 언스open knowledgefoundation 인공지능 6. 유전 알고리즘 cool farming 마케팅 소셜네트워크 웹마이닝 페이스북 공감 인문학 information디지털도서관 온톨로지 7. 인공지능 literacy 마케팅 채널 시맨틱웹서비스 데이터마이닝 위키피디아 정치참여 철학social semanticdigital library 빅데이터 8. 시뮬레이션 메타데이터 웹 인공지능 의례 전자정부 사회학 9. 한 . 중 . 일 고sioc 사회 대사 지식관리 분산컴퓨팅 기술트렌드 선물경제 미래학 정보사회rdf 스마트폰 10. 불교 온톨로지 플랫폼 웹기술 상호작용 시나리오플래닝 소셜미디어 컨텐츠큐레connectionism okf 11. 전략기획 링크드데이터 건강식품 Informatics ethnography 미디어의 역사 이션link and node 소셜네트워크 12. 컴퓨터음악 정보아키텍처 시맨틱검색 SNA 협력 소셜그래프modeling 웹 13. 양극화해소 시맨틱웹 온톨로지 사회학 사회변동 SNS 마케팅추상 플랫폼 14. 여가 information ecology 추론 정보사회학 사회불평등 스타트업 공동체 크라우드펀예측분석 소셜미디어 15. 뉴에이지음악 knowledge sourcing 소셜검색 집단행동 (community) 딩 28
    • 관심사 분석 실습관심사 키워드 매트릭스 1 Adjacency Matrix 11-mode / unimodal matrix 22 Affiliation Matrix2-mode / bimodal matrix 29
    • 관심사 분석 실습매트릭스 만들기 11 수집된 데이터를 개인별로 구분하여 붙여넣기 조명대 김학래 링크드데이터 1 시맨틱웹 1 22 개인별 키워드의 값에 1 입력 ( 키워드 사용 ) dereferencing uri 공공데이터 1 1 open government initiative 1 open knowledge foundation 1 22 모든 사용자의 키워드를 같은 방법으로 입력 디지털도서관 1 social semantic digital library 1 sioc 1 rdf 1 connectionism 1 link and node 1 modeling 1 추상 1 예측분석 1프로그래밍 언어를 사용하지 않고 빅데이터 1 small analysis더 좋은 방법이 있으면 꼭 알려주세요 ! 데이터사이언스 1 1 데이터통합 1 데이터시각화 1 시맨틱웹 1 링크드데이터 1 30
    • Google Refine매트릭스 파일 불어오기 11 Create Project: This Computer 31
    • Google Refine입력된 데이터 확인 11 Create Project 클릭 수리수리마하수리 32
    • Google Refine빈 항목에 0 입력 11 셀 편집 : 셀에 마우스 포커스 22 셀에 0 입력 , 컬럼마다 반복 수행 33 컬럼명 왼쪽 Dropbox 선택 Edit cells -> Fill Down 실행 33
    • Google Refine매트릭스 완성 11 Affiliation Matrix 완성 34
    • Google Refine키워드 정제하기 11 컬럼명 왼쪽 Dropbox 선택 Facet -> Text Facet 실행 35
    • Google Refine키워드 정제를 통한 매트릭스 변경 11 동일 키워드 탐색 (okf = open knowledge foundation) 22 키워드 변경 33 컬럼명 왼쪽 Dropbox 선택 키워드 “ open knowledge 44 foundation” 클릭 빈도는 2 로 변경됨 36
    • Google Refine값이 반영된 Row 는 Blank row 로 변환 55 첫번째 Row 의 0 을 1 로 수정 66 컬럼명 왼쪽 Dropbox 선택 Edit cells -> Blank down 실행 37
    • Google RefineBlank rows 삭제하기 77 Blank down 실행 후 1 개의 Row 에 1 값이 매핑됨 88 Blank node 는 하단에 축적됨 88 Blank node 삭제하기 All-> Edit rows->Remove all matching rows 38
    • Google Refine데이터 Export Export 메뉴 : Comma-separated 11 value 클릭 39
    • UcinetUcinet 실행하기 11 메인화면 40
    • UcinetUcinet 형식으로 데이터 변환하기 파일 열기 11 (interest-keyword-by-refine.xls) 22 Save As: Ucinet 4-6 dataset 선택 33 .##d & .##h 파일 생성됨 41
    • UcinetAffiliation Network 을 Adjacent Matrix 로 변환 11 데이터 변환 (2-mode to 1-mode) Data->Affiliations (2-mode to 1-mode) 선택 Interest-keyword-by-refine.##h 22 파일 선택 33 Mode 상자 : Rows ( 키워드 ) 44 Mode 상자 : Columns ( 사람 ) 42
    • NetDrawNetwork Visualisation - 사람 43
    • NetDrawNetwork Visualisation - 키워드 44
    • NetDraw Network Visualization - 2-Mode Network 45
    • 데이터 설계요약 : 이제 데이터를 설계하여 분석할 수 있습니다 . 데이터 수집 데이터 정제 분석 및 시각화 46
    • QuickContent데이터를 사랑하는 사람들을 위한 튜토리얼 11 아름답게 만들기 22 하지만 피할 수 없는 .. 33 데이터 생태계 Facebook Google Refine Fusion Tables Gephi UciNet GapMinder 47
    • Google Fusion Tables오픈 데이터와 구글 맵을 통한 시각화 https://www.google.com/fusiontables/DataSource? dsrcid=implicit&redirectPath=data&usp=apps_start&hl=en 11 파일 선택 (population-by-city.csv) 22 Next 선택 http://ko.wikipedia.org/wiki/ 설치순 _ 대 한민국의 _ 도시 _ 목록 48
    • Google Spreadsheet위키피디아에서 데이터 수집하기 11 Create New: Speadsheet http://ko.wikipedia.org/wiki/설치순_ 대한민국의 _ 도시 _ 22 위키피디아 : 국내 도시별 인구 목록 33 빈 셀에서 importhtml 실행 =ImportHtml("http://ko.wikipedia.org/wiki/%EC%84%A4%EC%B9%98%EC %88%9C_%EB%8C%80%ED%95%9C%EB%AF%BC%EA%B5%AD%EC%9D%98_%EB %8F%84%EC%8B%9C_%EB%AA%A9%EB%A1%9D"; "table";1) 44 빈 셀에서 importhtml 실행 https://docs.google.com/spreadsheet/ccc?key=0AoGswzvw-8nLdElWREM1Z3VESS1JcnVFN0daU1NES3c 49
    • Google Spreadsheet위키피디아에서 데이터 수집하기 11 메뉴에서 spreadsheet 선택 22 파일 선택 : population-by-city 33 외부 파일을 URL 로 검색 가능 ( 파일 읽기 허가 필요 ) 50
    • Google Fusion Tables오픈 데이터와 구글 맵을 통한 시각화 11 Import 테이블 확인 22 Next 선택 51
    • Google Fusion Tables오픈 데이터와 구글 맵을 통한 시각화 11 데이터 설명 추가 22 Next 선택 52
    • Google Fusion Tables오픈 데이터와 구글 맵을 통한 시각화 노란색 Location 으로 변환할 수 있는 컬럼 53
    • Google Fusion Tables오픈 데이터와 구글 맵을 통한 시각화 11 Geocode 변환 22 File-> Geocode 메뉴 선택 33 변환 컬럼 선택 : “ 도시명” 44 변환 시작 : “Start” 선택 -> Close 54
    • Google Fusion Tables오픈 데이터와 구글 맵을 통한 시각화 11 새 탭 추가 (+ 기호 선택 ) 33 맵 아이콘 선택 22 맵 스타일 변경 55
    • Google Fusion Tables오픈 데이터와 구글 맵을 통한 시각화 11 아이콘 선택 22 테이블에 있는 테이터 출력 56
    • 또다른 방법GapMinder GapMinder Motion Chart 57
    • 하고 싶은 말오픈 , 움직임 , 그리고 실천 Source: http://www.sott.net/image/image/s6/127394/full/AaronSwartz4.jpg 59
    • 하고 싶은 말이제 우리도 더 멋진 데이터 생태계를 만들 수 있습니다 http://thedatahub.kr http://kr.okfn.org 2 월 23 일 개최 60