SlideShare a Scribd company logo
1 of 44
Download to read offline
소셜데이터의 재구성
LG CNS SMA/CRM팀
남궁현 nghyun@lgcns.com
@gmail.com
데이터 재구성
데이터 분석
재구성분석
proactivepassive
분석
데이터
분석결과
/ 보고서
Data Analyst
재구성
데이터
분석
해석
시각화
가공데이터
인사이트
분석결과
/보고서
Cleansing
Data Modeling
Adaptation
Physical Architecture
Fast Processing
Data Handling
Data Analysis
Data&
Infrastructure
Insight&
Report
Network Analysis Content Analysis
Semi/Structured Data Un-structured Data
소셜 데이터
비정형 텍스트 데이터의 재구성
소셜 데이터의
Content Analysis를 위한
#SmartSMA #InsightReport
LG CNS SMA/CRM@ @
#과장
#분석파트장
#박사
#시맨틱웹
#온톨로지
#의료정보
#빅데이터
#공공데이터
#연구소
#소셜데이터
#텍스트 분석
#Linked Data
#Knowledge Base
nghyun@gmail.com
재구성
데이터 데이터분석
Relating un-structured Data to
Ontology / Structured Knowledge
Semantic Annotation
Ontology Enrichment
Ontology Population
In Semantic Web Area
2007 2011
Linked Data
Currently
Realization of Ontology Enriched
From http://linkeddata.org/
Rich Snippets Realization of Ontology Enriched
See https://developers.google.com/structured-data/
https://www.wikipedia.org/
http://www.yelp.com/ https://www.freebase.com/
Nearly Artificial Intelligence ≈ Answering Systems
Structured
Semi-Structured
Un-Structured
By Rich Snippets
Data Extraction, 자연어처리
저흰 주로
여기 있네요
Attachment
Attachment
Structured
Semi-Structured
Un-Structured
Not Here?
Why?
Approximately 90% of the world’s data is held in unstructured formats
90%
Structured Numerical or Coded
Information
10%
Unstructured or Semi-structured
Information
Possibilities ..
By http://www.oracle.com, 2012
No, Schema.org
http://schema.org/
No, Linked Data Cloud
From http://linkeddata.org/
Data Extraction 자연어처리
Scraping a.k.a. Focused Crawling
HTML Tag, DOM Handling
Instance Extraction
긍부정 분석
Topic Modeling (LDA)
Word Counting 모호성 해소
문서분류
What we do
Semi-Structured
Un-Structured
틀
From **전자 김치냉장고 마케팅분석 by LG CNS
From **전자 김치냉장고 마케팅분석 by LG CNS
From *** 녹즙 마케팅포인트분석 by LG CNS
From **카드 신규카드 마케팅 전략 by LG CNS
From (NIA-BC카드 빅데이터 시범사업) SixPocket 분석 by LG CNS
At SmartSMA ShowRoom - http://smartsma.co.kr
+
틀
데이터
Structured
Data
Un-Structured
Data
Know-How
LG CNS SMA/CRM@ @
Tools
데이터_crawling
ABcrawler by LG CNS
Available at: https://www.odpia.org
틀_Data Modeling
틀
BM 소셜데이터내부데이터 외부데이터
재구성_Defined Rules
SAS Content Categorizer
http://www.sas.com/
재구성_After Parser
Morpheme Anal. User Dic.
Patterned Str.
Text Prism by LG CNS
Available at: https://www.odpia.org
재구성_Machine Learning
WSD module by LG CNS & BilKE Lab(http://bike.sn.ac.kr)
시각화
가공데이터 인사이트
해석
분석_Where we create Values
www.odpia.org
Big Picture
Social Data
in Classifications
Indexed
Reputations
Tangible Tools
Data, and
Alliances
From 분석 갤러리 in https://www.odpia.org/
정돈된 데이터 Tools & Know-How
in
Q & A
감사합니다.
Self Q & A
근데 *G의 마케팅은 왜 그런가요?

More Related Content

Similar to 소셜데이터의 재구성

Big data preparation cs를 이용한 비정형데이터 활용
Big data preparation cs를 이용한 비정형데이터 활용Big data preparation cs를 이용한 비정형데이터 활용
Big data preparation cs를 이용한 비정형데이터 활용오라클 클라우드
 
DLAB company info and big data case studies
DLAB company info and big data case studiesDLAB company info and big data case studies
DLAB company info and big data case studiesDLAB
 
고대8 9주 빅데이터
고대8 9주 빅데이터고대8 9주 빅데이터
고대8 9주 빅데이터JM code group
 
이중 데이터 전략 (Two-track data strategy)
이중 데이터 전략 (Two-track data strategy)이중 데이터 전략 (Two-track data strategy)
이중 데이터 전략 (Two-track data strategy)Hosung Lee
 
IT전략계획- 02.정보전략계획(isp)
IT전략계획- 02.정보전략계획(isp)IT전략계획- 02.정보전략계획(isp)
IT전략계획- 02.정보전략계획(isp)InGuen Hwang
 
Bigdata analysis team 5
Bigdata analysis team 5Bigdata analysis team 5
Bigdata analysis team 5fhshsjxj
 
[DDC 2018] Metatron 오픈소스화 및 생태계 구축 (SKT 이정룡, 김지호)
[DDC 2018] Metatron 오픈소스화 및 생태계 구축 (SKT 이정룡, 김지호)[DDC 2018] Metatron 오픈소스화 및 생태계 구축 (SKT 이정룡, 김지호)
[DDC 2018] Metatron 오픈소스화 및 생태계 구축 (SKT 이정룡, 김지호)Metatron
 
빅데이터플랫폼구축_개방형플랫폼중심.pdf
빅데이터플랫폼구축_개방형플랫폼중심.pdf빅데이터플랫폼구축_개방형플랫폼중심.pdf
빅데이터플랫폼구축_개방형플랫폼중심.pdf효근 윤
 
Bigdata analysis Team 5
Bigdata analysis Team 5Bigdata analysis Team 5
Bigdata analysis Team 5fhshsjxj
 
Big data 20111203_배포판
Big data 20111203_배포판Big data 20111203_배포판
Big data 20111203_배포판Hyoungjun Kim
 
BS501 발표자료
BS501 발표자료BS501 발표자료
BS501 발표자료Park Sungpil
 
[코세나, kosena] 빅데이터 구축 및 제안 가이드
[코세나, kosena] 빅데이터 구축 및 제안 가이드[코세나, kosena] 빅데이터 구축 및 제안 가이드
[코세나, kosena] 빅데이터 구축 및 제안 가이드kosena
 
데이터 분석 동향과 비즈스프링이 제공하는 데이터
데이터 분석 동향과 비즈스프링이 제공하는 데이터데이터 분석 동향과 비즈스프링이 제공하는 데이터
데이터 분석 동향과 비즈스프링이 제공하는 데이터BizSpring Inc.
 
빅데이터 윈윈 컨퍼런스-4차 산업혁명 핵심:데이터 가공 플랫폼
빅데이터 윈윈 컨퍼런스-4차 산업혁명 핵심:데이터 가공 플랫폼빅데이터 윈윈 컨퍼런스-4차 산업혁명 핵심:데이터 가공 플랫폼
빅데이터 윈윈 컨퍼런스-4차 산업혁명 핵심:데이터 가공 플랫폼ABRC_DATA
 
Sqlp 스터디
Sqlp 스터디Sqlp 스터디
Sqlp 스터디lee4339
 
빅 데이터 환경의 고급 분석 기법과 지원 기술 동향 (Advanced Analytics and Technologies for Big Data)
빅 데이터 환경의 고급 분석 기법과 지원 기술 동향 (Advanced Analytics and Technologies for Big Data)빅 데이터 환경의 고급 분석 기법과 지원 기술 동향 (Advanced Analytics and Technologies for Big Data)
빅 데이터 환경의 고급 분석 기법과 지원 기술 동향 (Advanced Analytics and Technologies for Big Data)Myungjin Lee
 
코로나 이후, 반중정서는 과연 심화되었을까 - 강태영(언더스코어)
코로나 이후, 반중정서는 과연 심화되었을까 - 강태영(언더스코어)코로나 이후, 반중정서는 과연 심화되었을까 - 강태영(언더스코어)
코로나 이후, 반중정서는 과연 심화되었을까 - 강태영(언더스코어)Tae Young Kang
 

Similar to 소셜데이터의 재구성 (17)

Big data preparation cs를 이용한 비정형데이터 활용
Big data preparation cs를 이용한 비정형데이터 활용Big data preparation cs를 이용한 비정형데이터 활용
Big data preparation cs를 이용한 비정형데이터 활용
 
DLAB company info and big data case studies
DLAB company info and big data case studiesDLAB company info and big data case studies
DLAB company info and big data case studies
 
고대8 9주 빅데이터
고대8 9주 빅데이터고대8 9주 빅데이터
고대8 9주 빅데이터
 
이중 데이터 전략 (Two-track data strategy)
이중 데이터 전략 (Two-track data strategy)이중 데이터 전략 (Two-track data strategy)
이중 데이터 전략 (Two-track data strategy)
 
IT전략계획- 02.정보전략계획(isp)
IT전략계획- 02.정보전략계획(isp)IT전략계획- 02.정보전략계획(isp)
IT전략계획- 02.정보전략계획(isp)
 
Bigdata analysis team 5
Bigdata analysis team 5Bigdata analysis team 5
Bigdata analysis team 5
 
[DDC 2018] Metatron 오픈소스화 및 생태계 구축 (SKT 이정룡, 김지호)
[DDC 2018] Metatron 오픈소스화 및 생태계 구축 (SKT 이정룡, 김지호)[DDC 2018] Metatron 오픈소스화 및 생태계 구축 (SKT 이정룡, 김지호)
[DDC 2018] Metatron 오픈소스화 및 생태계 구축 (SKT 이정룡, 김지호)
 
빅데이터플랫폼구축_개방형플랫폼중심.pdf
빅데이터플랫폼구축_개방형플랫폼중심.pdf빅데이터플랫폼구축_개방형플랫폼중심.pdf
빅데이터플랫폼구축_개방형플랫폼중심.pdf
 
Bigdata analysis Team 5
Bigdata analysis Team 5Bigdata analysis Team 5
Bigdata analysis Team 5
 
Big data 20111203_배포판
Big data 20111203_배포판Big data 20111203_배포판
Big data 20111203_배포판
 
BS501 발표자료
BS501 발표자료BS501 발표자료
BS501 발표자료
 
[코세나, kosena] 빅데이터 구축 및 제안 가이드
[코세나, kosena] 빅데이터 구축 및 제안 가이드[코세나, kosena] 빅데이터 구축 및 제안 가이드
[코세나, kosena] 빅데이터 구축 및 제안 가이드
 
데이터 분석 동향과 비즈스프링이 제공하는 데이터
데이터 분석 동향과 비즈스프링이 제공하는 데이터데이터 분석 동향과 비즈스프링이 제공하는 데이터
데이터 분석 동향과 비즈스프링이 제공하는 데이터
 
빅데이터 윈윈 컨퍼런스-4차 산업혁명 핵심:데이터 가공 플랫폼
빅데이터 윈윈 컨퍼런스-4차 산업혁명 핵심:데이터 가공 플랫폼빅데이터 윈윈 컨퍼런스-4차 산업혁명 핵심:데이터 가공 플랫폼
빅데이터 윈윈 컨퍼런스-4차 산업혁명 핵심:데이터 가공 플랫폼
 
Sqlp 스터디
Sqlp 스터디Sqlp 스터디
Sqlp 스터디
 
빅 데이터 환경의 고급 분석 기법과 지원 기술 동향 (Advanced Analytics and Technologies for Big Data)
빅 데이터 환경의 고급 분석 기법과 지원 기술 동향 (Advanced Analytics and Technologies for Big Data)빅 데이터 환경의 고급 분석 기법과 지원 기술 동향 (Advanced Analytics and Technologies for Big Data)
빅 데이터 환경의 고급 분석 기법과 지원 기술 동향 (Advanced Analytics and Technologies for Big Data)
 
코로나 이후, 반중정서는 과연 심화되었을까 - 강태영(언더스코어)
코로나 이후, 반중정서는 과연 심화되었을까 - 강태영(언더스코어)코로나 이후, 반중정서는 과연 심화되었을까 - 강태영(언더스코어)
코로나 이후, 반중정서는 과연 심화되었을까 - 강태영(언더스코어)
 

소셜데이터의 재구성