Newspapers 26 years: the history of newspapers by visualizing 3.1 million news articles

신문 26년
310만 건 기사의 뉴스 빅데이터 시각화로 본 신문의 역사
박 대 민
한국언론진흥재단 미디어연구센터
선임연구위원
1

뉴스 빅데이터
뉴스 의미연결망 분석
목차
뉴스 자연어처리
신문 26년:
310만 건 기사의
뉴스 빅데이터 시각화로 본
신문의 역사
신문 26년
부록
2

Computational Social Science
A “social supercollider”would combine multiple streams
of data about individual behavior and identity while
retaining the benefits of massive scale.
4

VS
News Big Data → Data Driven Services
5

Centrality
A) Betweenness centrality, B) Closeness centrality, C) Eigenvector centrality, D) Degree centrality, E) Harmonic centrality and F) Katz
centrality of the same graph.
https://en.wikipedia.org/wiki/Centrality
6

Three Degrees of Influence Rule
8

뉴스 빅데이터: 개발사
11

개발史: 2010 뉴스정보원 연결망 분석 알고리즘
12

개발史: 2012 프로토타입
13

개발사: 2013 뉴스소스 베타
14

개발史: 2016 빅카인즈
16

Morpheme 對 Concepts
형태소 단위의 단어클라우드 개념 단위의 단어클라우드
18

뉴스 NLP
토큰 분리, 어간 추출, 품사 부착, 색인, 벡터화
문장 경계 인식, 구문분석, 공기어, 개체명 사전 구축(PLOT, 수치, 외국어 한글 표
기), 개체명 인식
대용어 해소(대명사, 두문자어, 약어, 수치), 의미 중의성 해결(동명이인, 이명동인)
분류, 군집, 중복, 요약, 가중치, 순위화, 평판분석, 감성분석, 토픽 모델링, 이슈 트래
킹, 복합논증분석
형태소분석
구문분석
의미분석
담론분석
박대민(2016). 뉴스 기사의 자연어처리: <뉴스소스 베타>를 중심으로. <커뮤니케이션이론>, 12권 1호, 4-52.
19

NLP 예시
형태소분석
예문) 초고속열차를 타보았다.
초/접두어+고속/명사+열차/명사+를/목적격조사; 가장 적합한 형태소 분석 후보(1)
초고/명사+속/명사+열차/명사+를/목적격조사; 형태소 분석 후보(2)
예문) 그가 산 사과를 다시 샀다.
(((그가/주어 산/술어) 사과를)/목적어 다시 샀다/술어) – 가장 적합한 구문구조 (1)
((그가/주어 (산 사과를)/목적어) (다시 샀다)/술어) – 구문구조 후보
구문분석
예문) 그가 산 사과를 다시 샀다.
산: buy, live/alive, mountain
사과: apple, apology
의미분석
예문) 삼성 햅틱폰은 전면 풀터치와 와이드 LCD가 시원시원해서 맘에 듭니다.
<object:햅틱폰, feature:풀터치와 와이드 LCD, expr:시원시원하다, polarity:positive>;
담론분석
SK플래닛 기술 블로그 README (http://readme.skplanet.com/?p=3749)
20

기존 뉴스 NLP 한계
형태소분석 성능 의미분석 여부
분석 단위
개체명 인식 성능
구문분석 범위
KrKwic 등 외국 형태소분석기에 바탕
을 둔 형태소분석기의 형태소분석 성능
문제
대용어 해소, 의미 중의성 해결 없이 빈
도와 중앙성을 계산할 때 과대/과소평
가 문제
언론학의 내용분석/비판적 담론분석의
연구 목적에 부합하는 중위 수준의 문
장 중심 분석 필요
인명, 장소, 기관, 외국어 한글표기 등
개체명 인식의 성능 문제와 재현율, 정
확도의 미표기
언어학적 관점의 완전 구문분석이 아닌
저널리즘 영역 지식을 활용한 최소한의
구문분석 필요
01 02 03
04 05
‘기업’, ‘지역’, ‘이노’, ‘육성’, ‘비즈’, ‘부산’, ‘중기청’, ‘울산’, ‘600’
부산•울산지방중소기업청은 2일 “최근 중국경제 부상 이후 중소기업이 원자재난과 인력난, 사회적 인식저하 등으로 침체위기를 겪고 있는 가운데 이를
극복하고 지역경제에 활력을 불어넣기 위해 부산•울산지역의 이노비즈 기업 600여 곳을 발굴해 집중 육성할 것”이라고 밝혔다.
출처: 2004년 8월 3일 조선일보 ‘기술혁신형 중소기업 육성’
21

News Semantic Network Service
차세대융합기술원(2013.12.). <빅데이터 기술을 활용하여 스마트 뉴스를 제공하는 모바일 앱 개발>. 서울: 한국정보화진흥원.
박대민, 김기남, 강남용, 서봉원, 하효지, 온병원(2014). 저널리즘 가치에 기초한 알고리즘을 이용한 뉴스의 시각화. <한국HCI
학회 논문지>, 9권 2호, 5-12.
- 정보원(성+이름, 소속, 직함), 문장, 기사를 식별하여 사실 중심으로 중복을 제거해 요약
- 정보원, 문장, 기사 검색 결과를 의미연결망분석을 통해 산출된 가중치에 따라 제시
- 질의에 대한 검색 결과를 정보원과 인용문 중심으로 주제별로 대조
- 연구자를 위해 시계열 뉴스정보원 연결망의 시각화와 정형화 자료 다운로드 제공
22

뉴스 소스 베타 아키텍처
23

NER 성능
재현율, 87.4
50.9
75
정확도, 90.3 92.7 97.8
0
20
40
60
80
100
인명 기관 직함
24

대용어 해소
‘성+직함’만 나온 경우 인용문으로부
터 앞으로 거슬러 올라가서 발견된
‘인명+기관+직함’ 중 ‘성+직함’이 일
치하는 경우 해당 인용문의 발화자인
개인실명정보원이다. 이 때 인용문의
‘성+직함’과 인용문 앞에서 발견된
‘성+이름+기관+직함’의 문자열에 대
해 SVM(support vector machine)
를 수행해 일치 여부를 확인한다.
형태소분석 결과 인용문의 주어가 인
칭대명사로 나타난 경우, 인용문으로
부터 앞으로 거슬러 올라가서 처음으
로 나타난 ‘인명+기관+직함’이 해당
인용문의 발화자인 개인실명정보원
이다.
인용문 내에서 ‘인명+기관+직
함’, 또는 ‘기관’의 개체명이 인
식된 경우, 해당 인용문의 발화
자는 인식된 개인실명정보원
또는 집단정보원이다.
NER 성+직함에 대한 SVM 인칭대명사 매칭
01
02
03
박대민(2016). 뉴스 기사의 자연어처리: <뉴스소스 베타>를
중심으로. <커뮤니케이션이론>, 12권 1호, 4-52.
25

의미 중의성 해결
같은 날짜에 이명동인, 즉 이름 소속
직함이 같은 서로 다른 두 사람은 존
재할 수 없다.
다른 날짜에 인명이 다른 경우 이름을
바꾸는 드문 경우가 아닌 한 동일인이
아니기 때문에 이름이 다르면 근사적
으로 다른 인물이다.
인명은 같지만 기관과 직함이 다르면
서도 실제로 동일인일 경우에도 조작
적으로 다른 정보원으로 정의한다.
. 예) ‘홍길동 XX그룹 회장’과 ‘OO당
국회의원 홍길동’은 설사 동일 인물일
지라도 다른 소속이기 때문에 다른 출
입기자가 담당을 맡아 서로 다른 주제
로 인용하는 기능적으로 다른 정보원
이다.
인명, 기관, 직함이 같은 정보
원은 근사적으로 동일 인물로
볼 수 있다.
- 단기적으로 다른 매체 다른
기사에 등장했어도 동일인
- 장기적으로도 동명이인 드묾
동명동인, 동명이인 이명이인 이명동인
01
02
03
26

문장/기사 유사도
기사/문장에 대해 전체 기
사에 출현하는 n개의 단어
(명사, 수치, 동사)로 이루
어진 n차원 벡터 공간을 가
정한 뒤 각 기사/문장를 해
당 단어가 출현하는지 여부
에 따라 값을 부여한 단어
벡터로 나타낸다.
비교 대상인 두 기사의 단
어벡터 간 각도를 θ라고 할
때, 이 각도에 대한 코사인
값을 계산하여 유사도를 계
산한다. 임계값을 정하여
이 값을 넘으면 유사한 것
으로, 그렇지 않으면 유사
하지 않은 것으로 판정한다.
비교 대상 기사 전체에 등
장하는 횟수(IDF)에 비해
특정 기사에 등장하는 빈도
(TF)가 높다면 그 단어는
다른 단어에 비해 그 문서
를 더 많이 대표하므로 더
높은 가중치를 부여 받는다.
전체 기사 각각에 어떤 주요
단어, 즉 색인어가 있는지를
나타내는 색인 작업과, 각 색
인어가 어느 기사에 있는지,
즉 역색인 작업을 함께 수행
한다.
01
02
03
04
Inverted Indexing Vector Space Model TD-IDF Cosine Similarity
박대민(2016). 뉴스 기사의 자연어처리:
<뉴스소스 베타>를 중심으로. <커뮤니케이션
이론>, 12권 1호, 4-52.
27

분류, 군집화
15개 카인즈 지면 분류를
정치/경제/사회(종합)/문
화/국제로 사상
기계학습(단순 베이지안),
75% 정확도
단어 유사도에 따라 기사
군집화
(유사 문장 여부로 수정 필
요)
개인 실명 정보원을 노드로
하고,
공기 여부에 따라 엣지를
부여한 뉴스 정보원 연결망
개체명 분류에 따른 문장 분
류
- 대분류: 인용문, 수치문,
기타문
- 인용문 다중 분류: 개인실
명/집단/익명
01
02
03
04
문장분류 기사분류 정보원연결망분석 기사 군집화
28

순위화
규칙
- 정보원 순위에 따른 문장 순위
- 같은 소속 분류 정보원은 순위
하락
뉴스 기사 연결망 분석
-공동 정보원을 중심으로 연결
망 그린 뒤 연결정도 중앙성 계산
(유사 문장 기준으로 수정 필요)
규칙과 NSNA
- 개인실명>집단>익명
- NSNA: 개인실명정보원
내에서는 연결정도 중앙성
에 따른 순위
정보원 순위화 문장 순위화 기사 순위화
01
02
03
29

뉴스 소스 베타 다운로드
30

컴퓨터 보조 담론분석
박대민(2014) <담론의 금융화: 서민주택담론을 통해 본 한국 금융통치성의 대두>. 서울대학교 사회과학대학원 박사학위논문.
31

뉴스 의미연결망 분석: 개요
32

Nouns 對 Sources
단어연결망 정보원 연결망
33

News Semantic Network
박대민 등(2015) <뉴스 빅데이터 분석 시스템 연구>. 서울: 한국언론진흥재단.
34

결점(node)
개체명: PLOT(인명, 장소, 기관명, 특수용어), 직함, 직업명, 상품명 등, 주제
결점이 너무 많으면 하위유목으로 분석, 너무 적으면 상위유목으로 종합
연결선(edge)
기사 공동출현에 의한 관련도(relevance)
연결 강도를 정의
완전연결망이 과도하게 나타나면 관련도를 보다 엄격하게 정의
절대적 연결정도 중앙성 (degree centrality)
CD(v)=deg(v), 공동인용된 정보원 /기관 수 또는 함께 거론된 주제 수, 논쟁성
결점 속성
결점
연결선
순위화
News Semantic Network
35

named entity
recognition
coreference
elimination
data cleansing
결점 속성 부여
강한 연결 표현
수작업 보정
Transpose
Diagonal
Dichotomize
Degree centrality
구조(scale free
network)
해석
01
02
03
04
Crawling NLP, Data cleansing 뉴스 의미 연결망 분석 Visualization
수작업, Crawler, 계약
자료는 충분히 많아야 함
News Semantic Network Analysis
36

뉴스 의미연결망 분석: 개체명
37

News Source Network
박대민(2013). 뉴스 기사의 빅데이터 분석 방법으로서 뉴스정보원연결망분석. <한국언론학보>, 57권 6호, 233-261.
21
1
2 3
1
4 5
2 3
1
4 5
38

Adjacent Matrix & Attribute Matrix
박대민(2013). 뉴스 기사의 빅데이터 분석 방법으로서 뉴스정보원연결망분석. <한국언론학보>, 57권 6호, 233-261.
39

Biases by Bursts in Topics & Media
연결정도(x축)에 따른 연결정도지수(y축)의 추이연결정도(x축)와 정보원 수(y축) 간의 관계
박대민(2014). 뉴스 정보원 인용에서의 폭발성과 언론의 편향성.
<커뮤니케이션 이론>, 10권 1호, 295-324.연결정도(x축)에 따른 연결정도지수(y축)의 추이연결정도(x축)와 정보원 수(y축) 간의 관계
40

News Source Network
Park, D.M., Kim, G.N., & On, B.W.(under review). Understanding the network fundamentals of the news sources associated with a specific topic.
Information Sciences..
39 Barack Obama
22 Jay Carney
15 Ban Kimoon
13 John Kerry
12 Victoria Nuland
10 Kim Hyunwook
10 Susan Rice
42

News Source Network: Four Major Rivers Project
한겨레동아
박대민(2015). 사실기사의 직접인용에 대한 이중의 타당성 문제의 검토: 동아일보와 한겨레신문의 4대강 추진 논란 기사에 대한 뉴스 정보원 연결망 및 인용문 분석. <한국언론학
보>, 59권 5호, 121-151.
43

News Comment Topic Ego Network: Youth Unemployment
김선호, 박대민(2015.9.). 청년실업 언론보도와 국민인식. <미디어이슈>, 1권 14호. 서울: 한국언론진흥재단.
44

뉴스 의미연결망 분석: 문장
45

News Sentence Network
박대민(2016). 토론기계를 향하여: 유사도와 공동출현에 기초한 뉴스 문장 연결망 분석 알고리즘 제안. 한국HCI학회 학술대회. 하이원리조트 컨벤션센터, 정선.
검색어: ‘분단’
분석매체: 경향, 국민, 문
화, 서울, 세계, 한겨레,
한국, 동아
분석기간: 2011년 1년치
인용문 수: 인용문 949개
(중복 포함, 기사 405건)
main component
46

Diameter & Extended Path
47

Rule Based News Sentence Network Matrix
인용문 연결=기사 공동출현+동일 정보원 발언=QA×QAT+QS×QST
48

Rule Based News Sentence Network Ranking
q4>q2=q3=q5=q6=q7>q1
49

뉴스 의미연결망 분석: 매체
50

Originality Algorithm Media & Originality Matrix
Originality = 1 – (Σ(Cosine Similarity-1)) / (number of media-1)
박대민(2015). News media network analysis: Comparing media systems mathematically by news sources. 사이버커뮤니케이션 가을철 정기학술대회. 서울대학교, 서
울.
51

News Media Network
Media Uniqueness = 1 – (Σ(Cosine Similarity-1)) / (number of media-1)
박대민(2015). News media network analysis: Comparing media systems mathematically by news sources. 사이버커뮤니케이션 가을철 정기학술대회. 서울대학교, 서
울.
검색어: 4대강
매체: 국민, 경향, 동아, 문화, 서울, 세계, 한겨레, 한국(<KINDS> 수록 8대 중앙지)
분석기간: 2008.11.28.-12.31., 2009.6.2.-7.30., 2009.11.13.-12.31.
자연어처리: <뉴스소스 베타>
52

뉴스 의미연결망 분석: 2원 연결망
53

News Source-Topic Network: Thoughtless Comments
박대민(2015.8). 망언의 네트워크: 신문뉴스 빅데이터 분석으로 본 일본 망언보도 10년사. <미디어이슈>, 1권 12호. 서울: 한국언론진흥재단.
54

News Organization-Topic Network: Youth
김선호, 박대민(2015.9.). 청년실업 언론보도와 국민인식. <미디어이슈>, 1권 14호. 서울: 한국언론진흥재단.
55

신문 26년: 뉴스 정보원 연결망 분석
56

Visualization: http://goo.gl/I7PZdp
박대민(2016.4.). 신문 26년: 뉴스 빅데이터 시각화로 본 신문 보도의 역사. <News Big Data Analytics & Insights>, 1권 1호. 서울: 한국언론진흥재단.
57

정치: 대변인 → 대통령
58

1995년 세계일보 정치-박지원 대변인 2003년 서울신문 정치-노무현 대통령
정치: 1995 박지원 vs. 2003 노무현
59

사회: 정치인 → 교육부
60

2007년 경향신문 사회-교육부1994년 한겨레신문 사회-장석화 의원
사회: 1994 장석화 vs. 2007 교육부
61

경제: 재정 금융 관료 vs. 재태크
62

2007년동아일보경제-한국투자증권김학균연구원 2008년한국일보경제-강만수기획재정부장관
경제: 2007 김학균 vs. 2008 강만수
63

신문 26년: 뉴스 주제 연결망
64

정치: 보수정당 → 미국
65

1992년 한겨레신문 정치-민자당 2003년 국민일보 정치-미국
정치: 1992 민자당 vs. 2003 미국
66

사회: 노동자 vs. 공무원
67

2008년 한겨레신문 사회-노동자 2015년 세계일보 사회-메르스
사회: 2008 노동자, 2015 메르스
68

경제: 미국, 중소기업 → 중국, 소비자
69

2001년 동아일보 경제-미국 2015년 세계일보-중국
경제: 2001 미국 vs. 2015 중국
70

신문 26년: 기사 수, 정보원 수, 주제 수
71

기사 수
72

정보원 수, 주제 수
73

기사당 정보원 수, 기사 당 주제수
74

방송 뉴스 빅데이터 분석
박대민, 오세욱(2016.4.). 방송 뉴스 빅데이터 분
석의 가능성. 봄철한국방송학회 정기학술대회.
76

Debating Machine
박대민(2015c). 토론 기계는 가능한가: 규칙 기반 뉴스 문장 연결망 분석 모형의 제안. 한국방송학회 가을철 정기학술대회. 단국대학교 죽전캠퍼스, 용인.
77

사회체계 행렬
박대민(2014). 하버마스, 루만, 들뢰즈, 가타리의 이론을 통한 일반 대중매체 체계이론의 제안. <한국언론정보학보>, 67호, 119-151.
78

사회 자유주의 통치성 연구
박대민(2014). 시장 자유주의 통치성의 계보학: 1980년대 이후 선호하는 인간의 통치로서 금융통치성의 대두. <커뮤니케이션이론>, 10권 4호, 224-262.
79

Newspapers 26 years: the history of newspapers by visualizing 3.1 million news articles

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Viewers also liked

Viewers also liked (17)

Similar to Newspapers 26 years: the history of newspapers by visualizing 3.1 million news articles

Similar to Newspapers 26 years: the history of newspapers by visualizing 3.1 million news articles (20)

More from Daemin Park

More from Daemin Park (20)

Newspapers 26 years: the history of newspapers by visualizing 3.1 million news articles