Understanding Data

Understanding Data
한국과학기술정보연구원 (KISTI) 실장
과학기술연합대학원대학교 (UST) 교수
중앙공무원교육원 객원교수
정 한 민
Copyright 식품의약품안전처세미나 (2014.12) © 2014 Hanmin Jung

Let Me Introduce Myself :-)
Copyright 식품의약품안전처세미나 (2014.12) 2 © 2014 Hanmin Jung

Recent Social Activities
* 국가과학기술연구회 기술서비스사업 기술평가위원
* S/W 마에스트로 심사위원
* ITRC 과제기획위원회 IoT 분과 기획위원
* ICT미래기술연구소 기획위원회 위원
* 교육부 BK21 플러스 선정평가위원회 위원
* 안전행정부/한국정보화진흥원 정책 연구 (중앙-지자체 전자정부의 데이터 개방 플랫폼 연구) 전문가 위원회 위원
* 중앙공무원교육원 World Class COTI 필수교육 분과위원회 위원
* 연구개발특구지원본부 기술사업화위원회 위원
* 보건복지부 빅데이터 기술 전문가 패널
* 한국연구재단 융합연구우수성평가위원회 위원
* 기술표준원 빅데이터 표준-R&D 활성화분과 위원
* ITRC 과제기획위원회 빅데이터 분과, UI/UX 분과, IoT 분과 기획위원/기술간사
* 국가경쟁력강화위원회 ‘범부처 Giga KOREA 사업’ 전문가 위원회 위원
* 국가과학기술위원회 기술영향평가위원회 위원 (빅데이터 기술)
* 방송통신위원회 빅데이터 포럼 인력양성분과 위원장/자문위원/운영위원
* IBS 장비심의위원회, 지식경제부 중앙장비심의위원회 심의위원
* 한국과학창의재단 과학창의앰배서더
* 지식경제부 ‘SW+인문 포럼’ 멘토
* IT VC 전문성 강화 프로그램 전문강사
* ISO/IEC JTC1/SC32 전문위원회 위원, JTC 1/SC34 표준개발위원회 위원
* ISO 20022 TC68 Advisory Expert
* 지식경제부 ITRC 사업: 차세대컴퓨팅분과 – 빅데이터 과제기획위원회 – 기술간사
* 한국정보통신기술협회 정보통신표준화위원회 – 디지털콘텐츠/SW품질평가/메타데이타/사물지능통신
프로젝트 그룹 위원
* 교육과학기술부 차세대정보컴퓨팅분과 – 기획위원
* 국무총리실 정보지식인대회 출제/평가위원
* 문화체육관광부 공공문화정보 전문가 위원

Recent Academic Activities
* ICDIM2015 Organizing Chair
* NABD2015 Technical Program Committee Chair
* AINA2015 Keynote Speaker
* HCII2015 Parallel Session Organizer
* CWCN-S2015 Organizing Committee
* ACHI2015 Technical Program Committee
* ICIT2015 Program Technical Committee
* ITNG2015, ISI2015 Program Committee
* Information Processing & Management Reviewer
* SWCIB2014 at JIST2014 Organizer, Reviewer
* Journal of Computer Science Reviewer
* British Journal of Mathematics & Computer Science Reviewer
* DSAA2014 Session (Session: Statistical and Mathematical Tools for Data Mining) Program Committee
* ICDIM2014 International Program Committee, Keynote Speaker
* Journal of Information Science and Engineering Reviewer
* Review of Information Engineering and Applications Editor/Reviewer
* Open Journal of Communications and Software Reviewer
* InfoTech2014Session (Session 2-5: Artificial Intelligence System) Co-Chair
* APIC-IST2014 Workshop Chair
* ISWC2014 Research Track/Posters and Demos Track Program Committee
* UCAWSN2014 General Vice-Chair
* Journal of Internet and Information Systems Reviewer
* KONVENS2014 Program Committee, IPaMin2014 Workshop at KONVENS2014 Organizer
* KCST2014 Reviewer
* Journal of Middle East Applied Science and Technology Editor
* ASET2014 Steering and Technical Committee
* IMIS2014 Session (Session 11: Intelligent Technologies and Applications on Big Data) Chair
* AMC2014 Session Chair
* JIST2014 Poster and Demo Chair, Program Committee
* IRC2014, ICCNT2014 Organizing Committee
* BIH2014, AMT2014, IEEE SMC2014, JURISIN2014 Program Committee
* WILIS2014 Workshop at BigComp2014 Organizer
4

Technical Reports
* 고령화 사회에서 ICT 융합 기술의 역할 (Vol. 1670)
* 사물인터넷 실현을 위한 플랫폼 및 기술 동향 (Vol. 1665)
* 차세대 실시간 빅데이터 분산 시스템 동향 – 스파크와 스톰을 중심으로 - (Vol. 1661)
* 웨어러블 컴퓨팅 환경에서의 센서 역할 및 활용 방향 (vol. 1655)
* 차세대 웨어러블의 현재와 미래 그리고 이슈 (Vol. 1637)
* IT융합 기반 디지털 인체 모델 생성 및 활용 (Vol. 1616)
* 과학기술 빅데이터 동향 및 활용방안 (Vol. 1593)
* 모바일 비즈니스 인텔리전스 기술 동향 (Vol. 1573)
* 시맨틱 소셜 네트워크를 구성하는 온톨로지 어휘 기술 현황 (Vol. 1560)
* 정부 빅데이터 분석 기술 적용 동향 (Vol. 1556)
* 제품 및 기술 수명 주기 활용 동향 (Vol. 1550)
* 개체 식별 관점에서 바라본 링크드 데이터 동향 (Vol. 1524)
* 유망 기술 발굴 모델 및 서비스 동향 (Vol. 1521)
* 포지셔닝의 측면에서 살펴본 모바일 태블릿 컴퓨터 동향 (Vol. 1486)
* 테크놀로지 인텔리전스 동향 (Vol. 1477)
* 추론 기술 연구 동향 (Vol. 1446)
* 트리플 레파지토리 벤치마킹 (Vol. 1439)
* 차세대 IT 기기와 HCI 기술 동향 전망 (Vol. 1435)
* 시맨틱 검색 기술 동향 (Vol. 1431)
* 시맨틱 웹 국내 특허 동향 (Vol. 1420)
* 감성 분석과 브랜드 모니터링 기술 동향 (Vol. 1396)
* 시맨틱 웹이 경제 사회에 미치는 영향 (Vol. 1372)
* 웹 매핑 서비스 비교 분석 (Vol. 1352)
* 시맨틱 웹 2.0 기술 동향 (Vol. 1344)
* 국내 포털 검색 시장 및 특허 동향 (Vol. 1341)
* Open API 기술 동향 (Vol. 1296)
* 엔터프라이즈 검색 기술 동향 (Vol. 1276)
* 전자상거래 검색 기술 동향 (Vol. 1273)
* 시맨틱 웹 포털 기술 동향 (Vol. 1264)
5

Current Interests (Press)

Nature of Data
http://izquotes.com/quotes-pictures/quote-i-have-no-data-yet-it-is-a-capital-mistake-to-theorize-before-one-has-data-insensibly-one-begins-arthur-conan-doyle-305167.jpg

Global Search Engine Market Share
(2012)
http://www.relentlesstechnology.com/insights/search-engines.html

USA Search Engine Market Share (2012)

Canadian Search Engine Market Share
(2012)

Korean Search Engine Market Share
(2014)
http://cfile22.uf.tistory.com/image/2711614C542C975B050D8F

Sense of Proportion (Populations)
http://www.crtc.gc.ca/eng/publications/reports/PolicyMonitoring/2014/images/image161.jpg

Sense of Proportion (Download Speed)
https://lh3.ggpht.com/-3tCJWxFPch4/TYd-7Rrz0hI/AAAAAAAAD8k/w2tQj6uIuiM/s1600/e-canada-us-population-by-approximate-us-race-ethnicity-category-2006-pie.png

Sense of Proportion (Internet Speed)
https://d28wbuch0jlv7v.cloudfront.net/images/infografik/normal/chartoftheday_2783_Top_10_Countries_With_Fastest_Internet_n.jpg

Search Engine Market Share
Search Engine Market Share =
f(Population, Internet Speed, …)

Social Media
http://marketingland.com/wp-content/ml-loads/2014/07/social-media-explained-cats.png

Social Media - Tweeter
https://twitter.com/search?q=%23%ED%99%98%ED%92%8D%EA%B5%AC&src=typd

Sense of Proportion (Social Media)
2012년 총선 유권자의 미디어 이용 형태 보고서

Statistical Distortion
http://www.google.com/trends/

Statistical Distortion

Elsa Dress
http://3.bp.blogspot.com/-S0C0tA-tbRE/UtsqYxpdWrI/AAAAAAAABtE/JfN0AiCmtJM/s1600/RMH_9108.jpg

Let It Go
http://3.bp.blogspot.com/-S0C0tA-tbRE/UtsqYxpdWrI/AAAAAAAABtE/JfN0AiCmtJM/s1600/RMH_9108.jpg

Data Cleaning (Noise Filtering)

Socially Controversial Agenda
http://www.edaily.co.kr/news/public/pop_print.asp?newsid=01886006606248984

Data Curation
담배업계의 다른 관계자는 "인도와
러시아는 담배 가격이 한 갑에 2달러
수준으로 비슷하지만 흡연율은
러시아가 3배나 높다"며 "또 프랑스는
담뱃값이 한 갑에 8.3달러로
2.2달러인 한국보다 3.8배나 높지만
두 나라의 흡연율은 23%로
유사하다"고 밝혔다.
http://www.yonhapnews.co.kr/bulletin/2014/09/11/0200000000AKR201
40911114900030.HTML
가격정책인 담뱃값 인상의 효과와
관련해 2006년 유럽의 52개국 자료를
분석한 결과 담뱃값을 10% 인상하면
담배 소비는 5~7% 감소한다는 연구
결과가 있다. 특히 담뱃값 인상은
저소득층과 청소년의 흡연율을
낮추는 데 효과가 크다.
http://www.hani.co.kr/arti/society/health/579628.html

Implicit Fact
- Company A는 어느 기간 마다 주문하는가?
- Company A는 어느 품목에 상대적으로
많은 비용을 지불하는가?
- Company A는 무료 배송 이벤트에 민감하게
반응하는가?
- Company A는 평균 주문 금액이 어느 정도
되는가?
- Company A는 시즌과 품목 구입에 연관성을
보이는가?
- Company A는 결국 …
배송료에 민감하며, 가구 구입에는 돈을 아끼지
않는 구매자이다.
- Company A를 공략하기 위해서는 무료 배송
이벤트와 신규 입고 가구 정보에 초점을 맞추어
마케팅을 한다.
- 섹터 분석은 실패하기 쉽다.
(예) Diamond Card 부서와 Gold Card 부서가
자기 부서 관점에서 분석하면 동일인에게 서로
다른 상품의 브로셔를 보내면 해당 고객이
스팸 처리할 가능성이 커진다.
http://i.msdn.microsoft.com/dynimg/IC311178.jpg

Getting Insights from Data
Set Goals Control Data (for answering to users)

Data and Tools
http://inspireicons.com/wp-content/uploads/2014/09/Michael-schumacher-poster.jpg

Trends of Data
Web -> Social -> Thing
“The next Google or Facebook may well be
an Internet of Things company.”
by R. MacManus (ReadWriteWeb)

Social Data
http://www.youtube.com/user/TworldTV

Machine (Thing) Data
http://www.youtube.com/user/TworldTV

Coca-cola Amatil
http://www.youtube.com/watch?v=KRYRxYz3uFE

Device Flood
https://texasceomagazine.com/wp-content/uploads/Dept-Tech-Figure1.jpg

Things on IoT
http://www.marketsandmarketsblog.com/wp-content/uploads/2014/06/Internet-of-Things-Trillion-Dollar-Industry.png

Bottleneck in Data Ecosystem
http://quizzicaleyebrow.files.wordpress.com/2011/03/pict0044.jpg

Big Data Platform
http://marscommons.marsdd.com/wp-content/uploads/Digital-Intelligence-Architecture-copy.png

Data Gathering Process
154 Web Sites
URL
Crawlers Crawlers Crawlers
HTML Page
URL
News URLs
News
Collector
News
Parser&
Filter
URL
News Text &
Meta data
Preprocessed
Web News Data
n3
9
39

Data Inputs

Evolution on Analytics
https://www-304.ibm.com/connections/blogs/ibm_healthcare/resource/BLOGS_UPLOADED_IMAGES/AnalyticsJourney.png

KFRI

Big Data Platform

대전 E 초등학교 1주일 실제 급식과 비교
KFRI
1식당 만족도 16~30 퍼센트 포인트 향상, 칼로리 유지, 나트륨 함량 327~1939mg 감소
nhttp://article.joins.com/news/article/article.asp?total_id=15178002&cloc=olink|article|default
44

KFRI

KFRI
구 분 수집 건수 비 고 지재권
웹 뉴스 6,755,488 154개 웹 사이트 대상
2001년 이후의 게시물 실시간 수집 X
논문 (국외) 11,446,514 PubMed 입수, 2001~2014년 발간된 논문 대상 X
논문 (국내) 962,984 2001년~2013년 O
SNS (트위터) 287,824,713 2014년 1월부터 실시간 수집 X
재난데이터 3,605 침수, 수해상습지 정보
국토교통부 공개 X
환자데이터 3,900,000
건강보험심사평가원에서 유료 구입
입원환자, 전체환자, 고령환자, 소아청소년환자 표본
추출 데이터
O
식품 및 과학기술용어 37,400 식품나라(식품과학용어사전) 입수, KISTI 가공 X
합계 310,930,704 (2014.11.24)

NIPA

KISA

KRIBB

Technical Issue – Identity Conflict
n URI Aliases
n URIs that refer to the same real-world objects
n E.g. http://dbpedia.org/resource/Berlin (for Berlin in DBpedia)
n E.g. http://sws.geonames.org/2950159 (for Berlin in Geonames)
n Information providers can set owl:sameAs links to URI aliases
they know about
n Resolution of Data Conflicts in Data Fusion
n Choosing a value in situations where multiple sources provide
different values for the same property of an object
nChristian Bizer, Tom Heath, and Tim Berners-Lee, “Linked Data – The Story So Far”, 2009.
51

n Names
n 소녀시대, 소시,
少女時代, しょうじょじだい, 少時,
Sho Jo Ji Dai, So Nyeo Shi Dae, SoShi,
Girl’s Generation, SNSD, So Nyuh Shi Dae, …

n Resolved Data on Ontology

Government 3.0

Open Government Initiative

Data.gov

Data.gov.uk

N. Shadbolt @ Dinner

Data.gov.uk

Efficiency & Effectiveness
http://staffingstream.wpengine.netdna-cdn.com/wp-content/uploads/2014/05/481505493.jpg

Fill That Hole
http://www.fonant.com/sites/fonant.com/files/Untitled-9_0.png

Traffic Injury Map
http://www.road-injuries.info/map.html

Causes of Death UK
http://image.guardian.co.uk/sys-files/Guardian/documents/2011/10/28/Factfile_deaths_2_2011.pdf

Transparency & Public Trust
http://www.fluxfactory.org/wp-content/uploads/2012/09/imageidea2.jpg

Compare A-level Schools
http://data.gov.uk/apps/compare-level-schools

Shoothill GaugeMap
http://data.gov.uk/apps/shoothill-gaugemap-live-river-level-data-england-and-wales

Ratemyplace
http://data.gov.uk/apps/ratemyplace

Smoking-Tax Correlation
http://data-gov.tw.rpi.edu/w/images/b/ba/10026-smoking-tax-correlation.png

Public Participation & Collaboration
http://jmgoldson.com/wp-content/uploads/2012/01/DSC_0049.jpg

Crime Map UK
http://data.gov.uk/apps/crime-map-uk

Walkonomics
http://data.gov.uk/apps/walkonomics-how-walkable-your-street

Doorda.com
http://data.gov.uk/apps/doordacom

Neighbourhood Checker
http://data.gov.uk/apps/neighbourhood-checker

Find Properly
http://data.gov.uk/apps/find-properly

Goal of Open Government
http://4.bp.blogspot.com/-33XgfoVRwfg/UGnUiM5H8PI/AAAAAAAADao/aZ49g7mRRgE/s1600/evidence.jpg

“Data to Knowledge to Action”
n Updated Big Data Initiative (Nov. 2013)
n Deriving greater value for American consumers and grow the Nation’s
economy
n Facilitating powerful new approaches to discovery and decision-making
n “America is rich with institutions that are expert at generating data, …
merging pre-competitive resources, partnering on analytics, and sharing
lessons learned”
n Building virtual clinical trials: learning computer network for unlocking
and analyzing vast quantities
n Improving access to clinical trials: machine-readable ‘target health profile’
for improving patient access to information about clinical trials
n Bringing NASA data down to Earth: the power of the crowd for analyzing
massive data sets
n Applying data analytics to society’s problem-solvers: communication
technologies for improving the health of under-served and disconnected
communities
http://www.whitehouse.gov/sites/default/files/microsites/ostp/Data2Action%20Press%20Release.pdf
77

Where is it in Big Data Platform?

Government 3.0 of Korea
http://www.gov30.go.kr/gov30/index.do

Data.go.kr

Open.go.kr

Data.go.kr – Unusable Contents

Open.go.kr – Unusable Contents

Social Data Among Available Data
국립재난안전연구원, 소셜 미디어 & 재난 No. 8, 2014.9.

Balancing “The Carrot and The Stick”
http://michael-whitehead.com.au/wp-content/uploads/2011/08/emo-2211298661_fa63c612f2_o1.jpg

My Opinion on Open Government Data

Three Steps for Publishing Data Set
1. Assign URIs to the entities described by the data set and provide for
dereferencing these URIs over the HTTP protocol into RDF
representations
2. Set RDF links to other data sources on the Web, so that clients can
navigate the Web of Data as a whole by following RDF links
3. Provide metadata about published data, so that clients can assess the
quality of published data and choose between different means of
access
nChristian Bizer, Tom Heath, and Tim Berners-Lee, “Linked Data – The Story So Far”, 2009.
87

Understanding Technology
http://thewiredhomeschool.com/wp-content/uploads/2014/01/bill-gates-tech-quote.png

“A lot of times, people don’t know what they want until you show it to them.”
by Steve Jobs
“Many people won’t be convinced until they’ve seen it for themselves.”
by Jakob Nielsen
jhm@kisti.re.kr

Understanding Data

Recommended

Recommended

More Related Content

Similar to Understanding Data

Similar to Understanding Data (20)

More from Korea Institute of Science and Technology Information

More from Korea Institute of Science and Technology Information (9)

Understanding Data