Toward a debating machine: A news sentence network analysis algorithm based on similarity and cooccurrence
•Download as PPTX, PDF•
2 likes•631 views
This research suggests news sentence network analysis algorithm based on similarity and cooccurence. News contains abundant arguments with facts and quotes those are critical to represent agendas. News sentence network is a semantic network which consists of quotes as nodes. Connectivity is defined by relevance between quotes. Relevance matrix is the sum of similarity matrix calculated by cosine similarity algorithm and cooccurence matrix. This study analyzed 949 quotes from 405 news articles and visualized networks. The results verified that semantic paths were well defined to show the sequence of sub-agendas. News semantic network analysis algorithm can provide a methodology to automatically generate a massive corpus in a sentence level as a training set to develop a debating machine.
Recommended
More Related Content
What's hot
What's hot (20)
Similar to Toward a debating machine: A news sentence network analysis algorithm based on similarity and cooccurrence
Similar to Toward a debating machine: A news sentence network analysis algorithm based on similarity and cooccurrence (9)
More from Daemin Park
More from Daemin Park (20)
Toward a debating machine: A news sentence network analysis algorithm based on similarity and cooccurrence
- 1. 토론기계를 향하여 : 유사도와 공동출현에 기초한 뉴스 문장 연결망 분석 알고리즘 제안 박 대 민 한국언론진흥재단 선임연구위원 1
- 2. 뉴스의미연결망 분석에 대한 기존 연구 뉴스문장연결망 분석모형 분석사례: 2011년 ‘분단’ 기사 목차 토론기계를 향하여 : 유사도와 공동출현에 기초한 뉴스 문장 연결망 분석 알고리즘 제안 2
- 4. 4 Tag Cloud
- 5. 5 News Source Network: Four Major Rivers Project 한겨레동아
- 6. 6 News Comment Topic Ego Network: Youth Unemployment
- 7. News Source-Commnent Topic Network: Thoughtless Comments 7
- 8. 8 News Organization-Comment Topic Network: Youth
- 9. 뉴스의미연결망 분석에 대한 기존 연구 뉴스 문장연결망 분석 모형 분석사례: 2011년 ‘분단’ 기사 목차 토론기계를 향하여 : 유사도와 공동출현에 기초한 뉴스 문장 연결망 분석 알고리즘 제안 9
- 10. 뉴스 문장 연결망의 미션 의미연결망에서 두 결점 간 맨하튼 거리 의미거리 0: 동일한 문장, 의미거리 1: 기사 공동출현 인용문 또는 유사 인용문 의미거리 2 이상: 간접 연결된 인용문 ‘첫째, 둘째, 셋째,…’ 주요경로 (파당 간의 겹침 최소화, 대주제 중심 ), 지름(가장 긴 주요경로) 확장경로(특정 파당의 문장을 추가, 세부 내용추가) 주요문장 의미거리 의미경로 -주요경로 의미경로 -확장경로 10 소위 ‘야마’ 뉴스 문장 연결망에서 연결정도중앙성이 가장 높은 문장
- 11. 담론분석에 활용 쟁점 중심 전체연결망, 또는 각 구성집단에서 연결정도중앙성이 높은 상위 문장을 검토 관련성 중심 가장 중요한 문장에서 의미거리가 문장연결망의 일정 범위 이내인 모든 문장을 검토 특정 문장과 의미거리 2 이내는 배열에 크게 구애 받지 않고 관련될 것으로 추정 주요경로 분석: 다양성 중심, 최단경로 상의 문장 분석 확장경로 분석: 주요경로 상의 한 문장에서 시작하는 파당 상의 문장을 살펴봄 주요 문장 추이, 주요 문장의 자아연결망 추이, 주요 경로 추이, 확장 경로 검토 주요문장 분석 자아연결망 분석 주요경로 분석 및 확장경로 분석 시계열분석 11
- 13. 유사도 행렬 13 q1 q2 q3 a1 q4 q5 a2 QS: 유사도 행렬 QS ′ : 절삭된 유사도 행렬
- 14. 문장연결망의 행렬 14 QS ′ : 절삭된 유사도 행렬 QA+QS′=Q Q: 문장연결망QA: 기사공동출현행렬 + =
- 15. 뉴스의미연결망 분석에 대한 기존 연구 뉴스 문장연결망 분석 모형 분석사례: 2011년 ‘분단’ 기사 목차 토론기계를 향하여 : 유사도와 공동출현에 기초한 뉴스 문장 연결망 분석 알고리즘 제안 15
- 16. 분석방법 검색어: ‘분단’ 분석매체: 경향신문, 국민일보, 문화일보, 서울신문, 세계일보, 한겨레, 한국일보, 동아일보 분석기간: 20011년 1월 1일-2011년 12월 31일 수집데이터: 기사 수 405건, 인용문 949개(중복 포함) 분석데이터: 기사ID, 인용문ID, 날짜, 매체명 데이터 수집: 뉴스소스 베타 형태소분석(명사 추출): KKMA 유사도 계산: NETMINER 분포: EXCEL 연결망분석: NETMINER, UCINET 시각화: NETDRAW 16
- 17. NewsSource Beta 17 - 정보원(성+이름, 소속, 직함), 문장, 기사를 식별하여 사실 중심으로 중복을 제거해 요약 - 정보원, 문장, 기사 검색 결과를 의미연결망분석을 통해 산출된 가중치에 따라 제시 - 질의에 대한 검색 결과를 정보원과 인용문 중심으로 주제별로 대조 - 연구자를 위해 시계열 뉴스정보원 연결망의 시각화와 정형화 자료 다운로드 제공
- 19. 유사도 분포 19 임의 추출 100개 인용문의 유사도 분포 - 대부분 0.2 이하 - 949개 인용문 중에선 유사도 0인 문장쌍이 14.8% - 유사도 1(완전 일치)하는 소수의 문장쌍도 존재
- 20. 유사도 기준 문장연결망 20
- 21. 분단 관련 뉴스문장연결망 21
- 22. 주 구성집단 22
- 23. 주요 문장 23
- 24. 한계 및 제언 기대효과 -뉴스는 정치, 경제, 사회, 문화, 국제 등 모든 중요 한 사회 주제를 정제된 방식으로 기술함 - 문장 수준의 연결 정보를 담은 말뭉치를 대규모로 구축하여 추후 학습집합으로 활용 - 토론 가능한 강한 인공지능 개발에 기여 기대 (담 론분석 기능) 01 02 추가연구 -정보원 정보에 기초한 규칙 정보 추가 -정확한 분포 파악 (연결정도계수 값 계산) - 유사도 절삭값 최적화 - 최종 결과물에서 중복 제거 - 다른 유형의 문장에 적용(규칙이 없으므로 가능) - 개발된 NLP엔진과 연계 - 추가로 새로운 검색엔진, CMS와 연계 24
- 25. Q & A 25
Editor's Notes
- 기존의 의미연결망 분석은 단어 연결망 분석이 주를 이뤘습니다. 이는 텍스트를 미시 수준에서만 분석한다는 것을 의미합니다. 저는 연구 목적에 따라 최적화된, 다양한 수준의 분석이 필요하다고 생각했습니다. 그래서 저는 단어 수준에서 특화된 개체명 수준의 분석, 문장 수준의 분석, 그리고 매체 수준의 분석을 제안하고 이를 저널리즘 관행 측면에서 해석해보았습니다. 그럼 수준별로 대표적인 연결망을 하나씩만 설명하겠습니다.
- 검색어: 청년, 대학생, 청소년, 청춘 매체: 한국일보, 서울신문, 동아일보, 문화일보, 한겨레, 국민일보, 세계일보, 경향신문 기간: 200501-12 기사 수 797개, 인용문수: 872개 순위화: 주제 의미 연결망의 연결정도 중앙성
- 2005년 vs 2015년
- 2지역 고유벡터(2-local eigenvector) 활용 결점 시각화 망언 인사 유형: 아베 유형(3개 이상의 주제에 대해 언급), 하시모토 유형(1개 주제만 언급) - 아베 유형: 아베 신조 총리, 아소 다로(총리, 부총리, 외무상, 관방상, 총무상, 자민당 간사장, 자민당 정조회장 등 포함 총 90건), 이시하라 신타로 도쿄 도지사(일본유신회 공동대표, 차세대당 고문 등 포함 총 27건), 스가 요시히데 관방상(26건), 노다 요시히코 총리(26건) 등 - 하시모토 유형(위안부): 모미이 가츠토 NHK 회장(18건), 니시무라 신고 중의원 의원(17건) 하시모토 유형(과거사): 구보타 간이치로 전 한일회담 일본측 수석대표(15건) 더 많은 사람이 참여한 주제가 더 중요하다고 할 때 주제 중요도 과거사(43명), 위안부(34명), 독도(30명), 야스쿠니(15명) 순
- (1) 의미거리와 관련도 의미거리는 사회연결망의 사회거리(social distance)와 마찬가지로 유클리디안 거리(Euclidean distance)가 아니라 맨하튼 거리(Manhattan distance)이다. 즉 의미연결망에서 거리는 두 결점 간 최단경로로 연결선의 길이는 중요하지 않고, 한 결점을 거칠 때마다 늘어난다. 의미거리 0은 동일한 문장, 의미거리 1은 기사 공동출현 인용문 또는 동일 정보원 발언, 의미거리 2 이상은 간접 연결된 인용문을 뜻한다. 잘 정의된 의미거리라면 의미거리가 짧은 문장 간의 관련도는 분명하게, 긴 문장 간의 관련도는 모호하게 느껴져야 한다. 관련도=1/의미거리 의미거리는 인접한 문장의 관련도가 멀리 떨어진 문장의 관련도보다 크다는 것을 의미한다. 그러나 실제로는 의미거리의 차이가 1이나 2 정도인 문장 간의 의미론적 차이는 크게 느껴지지 않을 수 있다. 사회연결망분석의 3단계 규칙에 따르면 사회거리 3 이내는 영향력을 주고 받는다(Christakis & Fowler, 2009/2010). 의미연결망에서도 마찬가지로 한 문장과 특정 범위 이내의 의미거리에 있는 자아연결망(ego network) 내 문장은 어떻게 배열되는 상관없이 서로 자연스럽게 관련될 수도 있다. 그럼에도 불구하고 한 문장과 같은 구성집단에 속하기는 하지만 먼 거리에 있는 문장, 또는 아예 다른 구성집단에 있는 문장과의 관련도는 낮아질 것이다. 따라서 먼 거리의 문장을 포함해 문장을 나열할 경우 관련도에 따르는 것이 타당할 수 있다. (2) 의미경로 의미거리는 문장을 제시할 때 순위 이상으로 의미경로(semantic path)를 우선적으로 고려해야 한다는 점을 시사한다. (4) 문장의 층위 뉴스 문장연결망 분석을 통해 인용문에 대해 순위와 경로를 부여할 수 있다. 그리고 순위화와 의미경로를 통해 인용문에 의미론적 층위를 부여할 수 있다. 먼저 순위화 측면에서 전체연결망 또는 구성집단별로 가장 중요한 문장이 있을 수 있다. 다음으로 의미경로 측면에서 각 구성집단별로 주요 문장에서 시작하는 의미경로가 있을 수 있다. 이 때 의미경로는 두 문장을 잇는 최단경로(shortest path)와 최단경로 상의 어느 한 문장에서 시작해 파당(clique)를 순환하는 경로를 추가한 경로가 있을 수 있다. 최단경로는 같은 구성집단에 있는 모든 문장 간에 계산할 수 있다. 최단경로를 축약경로(reduced path), 순환경로에서 파당을 순환하는 경로가 추가된 경로를 확장경로(extended path)라고 명명하자. 축약경로 상의 한 문장에서 시작하여 하나의 파당을 일순하면, 그 문장과 함께 거론된 기사 또는 그 인용문의 발언자가 말한 인용문을 보다 심층적으로 검토할 수 있게 된다. 사회연결망분석에서와 마찬가지로 가장 긴 최단경로를 지름(diameter)이라 한다. 지름인 의견경로는 해당 구성집단에서 가장 많은 파당(clique)를 지나게 된다. 즉 가능한 많은 기사와 정보원을 최단거리로 잇게 된다. 즉 지름인 의미경로 상의 문장들을 선별함으로써 가장 다양한 내용의 인용문들을 중복 없이 추출할 수 있다. 가장 중요한 문장, 최단경로, 확장경로는 뉴스 문장연결망에서 문장 간 위계를 나타낸다. 가장 중요한 문장은 최상위 주제를 담는다. 다음으로 최단경로상의 문장들은 각 파당을 대표하는 차상위 주제를 표현한다. 끝으로 최단경로상의 문장과 연결된 파당에 속하는 문장은 차상위 주제로부터 파생된 구체적인 하위 주제를 나타낸다.
- 첫째, 논쟁성에 초점을 두고 전체연결망, 또는 각 구성집단에서 연결정도중앙성이 높은 상위 문장을 검토하는 방식이다. 둘째, 관련성에 초점을 두고 가장 중요한 문장에서 의미거리가 문장연결망의 일정 범위 이내인 모든 문장을 검토할 수 있다. 보통 사회연결망 분석에서 거리 2 이내인 자아연결망 분석을 수행할 수 있을 것이다. 다만 자아는 행위자가 아니라 문장이다. 셋째, 다양성에 초점을 두고 최단경로 상의 문장을 분석하는 방식을 생각할 수 있다. 이 때 최단경로는 모든 문장에 있고, 한 문장의 최단경로도 여럿 있을 수 있으므로, 가장 중요한 문장에서 시작되는 최단경로, 또는 지름인 최단경로를 우선 분석하는 것이 효과적이다. 이를 주요경로(primary path)라고 부르자. 넷째, 심층성에 초점을 두고 특정한 한 문장에서 시작하는 확장경로를 살펴볼 수 있다. 시계열 분석도 가능하다. 먼저 가장 중요한 문장의 추이를 살펴본다. 다음으로 주요 경로나 자아연결망에 속한 문장의 추이를 분석한다. 연구목적에 따라서는 확장경로 상의 문장을 심층적으로 살펴볼 수도 있다. 이를 주 단위나 월, 분기, 반기, 연 단위로 분석할 수도 있을 것이다.
- 방법 - 기사를 문장분할(sentence separation)한 뒤, 인용문만 추출하고 대용어 해소(coreference resolution)해 발언자를 찾아줌 - 인용문을 기사공동출현(cooccurrence)와 명사 기준 벡터화한 문장 간 유사도(cosine similarity)에 따라 연결을 부여 이 때 기사공동출현행렬과 유사도행렬은 척도(scale)가 달라 곧바로 행렬연산이 안 되므로 유사도를 절삭값에 따라 binary로 변환한 뒤 합산
- 첫째, 논쟁성에 초점을 두고 전체연결망, 또는 각 구성집단에서 연결정도중앙성이 높은 상위 문장을 검토하는 방식이다. 둘째, 관련성에 초점을 두고 가장 중요한 문장에서 의미거리가 사회연결망과 달리 문장연결망의 일정 범위 이내인 모든 문장을 검토할 수 있다. 보통 사회연결망 분석에서 거리 2 이내인 자아연결망 분석을 수행할 수 있을 것이다. 다만 자아는 행위자가 아니라 문장이다. 셋째, 다양성에 초점을 두고 최단경로 상의 문장을 분석하는 방식을 생각할 수 있다. 이 때 최단경로는 모든 문장에 있고, 한 문장의 최단경로도 여럿 있을 수 있으므로, 가장 중요한 문장에서 시작되는 최단경로, 또는 지름인 최단경로를 우선 분석하는 것이 효과적이다. 이를 주요경로(primary path)라고 부르자. 넷째, 심층성에 초점을 두고 특정한 한 문장에서 시작하는 확장경로를 살펴볼 수 있다. 시계열 분석도 가능하다. 먼저 가장 중요한 문장의 추이를 살펴본다. 다음으로 주요 경로나 자아연결망에 속한 문장의 추이를 분석한다. 연구목적에 따라서는 확장경로 상의 문장을 심층적으로 살펴볼 수도 있다. 문장연결망에서 정보원 매개 관련도를 산출하는 인접기간 기준이 2일이므로 시계열 분석기간의 최소 단위는 2일이 된다. 이를 주 단위나 월, 분기, 반기, 연 단위로 분석할 수도 있을 것이다.
- - 기사를 문장분할(sentence separation)한 뒤, 인용문만 추출하고 대용어 해소(coreference resolution)해 발언자를 찾아줌 - 인용문을 기사공동출현(cooccurrence)와 명사 기준 벡터화한 문장 간 유사도(cosine similarity)에 따라 연결을 부여 이 때 기사공동출현행렬과 유사도행렬은 척도(scale)가 달라 곧바로 행렬연산이 안 되므로 유사도를 절삭값에 따라 binary로 변환한 뒤 합산
- 저는 2013년에 뉴스 정보원 연결망 분석을 바탕으로 자연어처리와 빅데이터 기술을 접목한 컴퓨터 보조 질적 자료 분석 소프트웨어(CAQDAS, Computer Assisted Qualitative Data Analysis Software)인 <뉴스소스 베타>를 기획하여 약 20명에 달하는 학부생과 대학원생, 교수님과 함께 개발했습니다. <뉴스소스 베타>는 카인즈 아카이브에 저장된 1990년 이후 2012년까지 약 3000만 건 기사에 대해 자연어처리를 해놨으며 검색에 따른 뉴스 정보원 연결망 분석 및 시각화, 기사의 자연어처리 결과와 메타데이터의 엑셀파일 다운로드 기능을 제공합니다. ************************ DB는 빅데이터 DBMS인 하둡과 RDB가 혼용된 형태입니다.
- 서로 관련된 문장인지를 결정하는 절삭 값은 엄밀히 말해 수학적 모형이나 타당한 영역지식에 기초해 도출돼야 한다. 하지만 이 연구에서는 일단 편의상 0.5로 잡는다. 즉 유사도 값이 0.5가 넘으면 관련된 문장으로 연결을 부여한다. 두 인용문은 명사가 하나라도 겹치면 부분적이라도 관계가 있다고 볼 수도 있다. 즉 ‘유사도>0’이면 관련된다고 볼 수도 있다. 때문에 유사도 절삭 값을 0.5로 하는 것은 비교적 높은 유사도 수준만을 관련도로 변환한다는 것을 의미한다. 유사도에 따른 군집화 경향은 낮은 편이지만, 없지는 않다. 분석자료의 경우 949개의 문장 중 141개의 문장이 유사도로 묶였다. 한 기사에 유사한 인용문이 함께 제시되는 경우는 오류를 제외하면 거의 없다. 따라서 유사도에 의한 군집화는 서로 다른 기사 간의 군집화를 유도함으로써 기사공동출현을 적절히 보완한다고 볼 수 있다.
- 최종적으로 유사도와 기사공동출현 정보를 합한 뉴스문장연결망은 <그림 8>와 같다.
- <그림 9>는 35개 문장으로 구성된 최대의 구성집단을 시각화한 것이다. 지름(diameter)은 5이다. 지름 상에 위치한 주요의미경로의 예로 문장 533에서 시작하여 550-561-568-55를 거쳐 문장 419로 이어지는 경우를 살펴보자. 문장 55-419, 553-550은 기사공동출현에 의해, 568-55, 561-568, 550-561은 유사도에 의해 연결됐다.
- <표 1>은 주요의미경로상의 문장과 이와 직접 연결된 문장 418, 925, 563, 552 등을 나타낸 것이다. 문장 563은 문장 561과 유사한 문장이며, 나머지는 기사공동출현에 의해 확장경로 상에서 연결된다. 내용을 살펴보면, 분단 관련 하위 의제로서 독일과의 비교, 통일, 대한민국 정체성, 국가 브랜드 순으로 인용문들이 연쇄적으로 연결되는 것을 확인할 수 있다.
- - 뉴스는 정치, 경제, 사회, 문화, 국제 등 모든 중요한 사회 주제를 정제된 방식으로 기술함 - 문장 수준의 연결 정보를 담은 말뭉치를 대규모로 구축하여 추후 학습집합으로 활용 - 토론 가능한 강한 인공지능 개발에 기여 기대