[발표자료] 190401 논문 정보 수집과 연구 동향 분석 세미나

NetMiner 를 활용한
논문 정보 수집과 연구 동향 분석
2019

진행 순서
 개요 (김기훈 대표이사)
 Biblio Data Collector 소개 및 시연 (배수진 과장)
 활용 분석 사례 소개 (배수진 과장)
 Q&A
 향후 연구 개발 계획

Copyright © by CYRAM. All rights reserved
Since 2000
Ⅰ. 개요

NetMiner를 이용한
소셜 네트워크 분석
Page 5Copyright © by CYRAM. All rights reservedCopyright © by CYRAM. All rights reserved
Since 2001
Ⅰ. 개요

Ⅰ. 개요

NetMiner Web (2001. 10) NetMiner 1.0 (2001. 12)
NetMiner 2.0 (2003. 4) NetMiner 3.0 (2007. 4)
NetMiner : SNA Package
Ⅰ. 개요

Ⅰ. 개요
Social
Science
Network
Science
Data
Science
Big Data
highly detailed “digital footprint data“ (“exhaust data”)
automatically captured/generated using IT systems / sensors
• mediation of digital platform
• unstructured: text, transaction data
• detailed transaction data
•  “social action”, “Verstehen” (Weber), “sociation”
(Simmel)
• not designed for (statistical) analysis (“organic data”, ”administrative data”)
• non-probabilistic character
Analytic features of Big Data

NetMiner + Python => Big Data Platform
NetMiner 4.0 (2011. 5)
Ⅰ. 개요

Ⅰ. 개요

빅데이터 수집기
빅데이터 전처리기
데이터 모델/구조
데이터 분석기
SNS Biblio News 게시판
Text
Pre-processing
Network Modeling
Network Data
Model
Text
Mining
Network Analysis
Text Data Transaction Data
예측/분류기
Machine Learning
NetMiner 빅데이터 분석 Architecture
Blog…
Ⅰ. 개요

NetMiner Extensions
1. Semantic Network (NetMiner 4.3; 2017. 03. 06)
2. SNS Data Collector (NetMiner 4.4; 2018. 04. 24)
3. Biblio Data Collector (NetMiner 4.4.2; 2019. 02. 28)
Ⅰ. 개요

Import
.txt files
.xls, .csv file
(온라인/오프라인 자료)
Filter & Dictionary
Text Mining
Process
in NetMiner
.txt file
1st Output
1st Action
2nd Action2nd Output
• 유사어
• 지정어
• 제외어
• 포함어
1. Semantic Network
Ⅰ. 개요

2. SNS Data Collector
Ⅰ. 개요

Ⅰ. 개요
학술 논문 서지 정보 데이터를 간단히 수집하고 전처리 하여,
사회관계망 & 의미망지도(Social & Semantic Network) 를 통해
관심 분야의 연구 동향을 분석할 수 있게 돕자
3. Biblio Data Collector ?

Ⅰ. 개요
연구 동향 분석에 활용되는
학술 논문 서지 정보를 데이터를 수집하고 분석하는 과정에는
많은 시간과 노력이 필요했음
수집
•학술 정보 제공 서비스
접속
•관심 데이터 검색
•데이터 호출 및 저장
전처리
•언어처리
(형태소 분석 등)
•네트워크 모델링
•데이터 구조화
분석
•분석도구(라이브러리)
•텍스트 마이닝
•네트워크 분석
•시각화
•워드클라우드
•네트워크 맵
프로그래밍 역량(Python, R,…), 수작업

Ⅰ. 개요
사이람이 수행한 연구 동향 분석 관련 프로젝트 목록 및 관련 교육 현황
 교육 현황
- 2016년 연구 동향 분석 관련 교육 개설
- 2018년까지 누적 교육생 약 350명(연간 110명 이상 수강)
= 10명
누적 교육생(2016~2018)
학생
학교
기관,기업
연도별 추이
0
50
100
150
200
250
300
350
2016 2017 2018

Ⅰ. 개요
사이람이 수행한 연구 동향 분석 관련 프로젝트 목록 및 관련 교육 현황
연도 프로젝트명 내용
2009 R&D 지식지도 구축 물리학 분야 학술정보 분석 및 시각화 시스템 구축
2010 국가 R&D 정보 연계 및 융복합 서비스 개발
NDSL - 국가R&D정보 연계 및 융복합서비스 개발
국가 R&D 정보 의미기반서비스 및 지식맵기반구축
2011 R&D 과제기획 및 평가위원 참여관계 네트워크 분석 과제기획-평가-수행자간 관계 네트워크 분석
2014
소셜네트워크분석(SNA) 방법론을 이용한 국가과학기술 표
준분류체계 기반 융합연구 분석
국가 과제 융복합 연구 동향 파악
2014 소셜 네트워크 분석을 이용한 성과정보 분석 컨설팅 국가 R&D 과제 수행 연구자 간 관계, 분야 간 융합 관계 분석
2015 북한이탈주민 연구 키워드 네트워크 분석 북한이탈주민 관련 연구 논문을 활용한 연구 동향 분석
2017 문화관광부문 지식재산권 현황 분석 용역 지식재산권 내용 분석
 수행 프로젝트

Ⅰ. 개요
수집 전처리 & 구조화 분석
파일로 저장
API/웹크롤링으
로 저장
수동 저장
텍스트 처리
네트워크 모델링
Word Word
Co-Authorship
Co-Word
Co-Word
Co-
Occurrence
단어 추출 및 품사 판별
사전(유사어/복합어)처리
단어의 문서내 위치 코딩
텍스트 마이닝
네트워크 분석(Author)
시맨틱 네트워크 분석(Keyword)
• 빈도
• TF-IDF
• 토픽모델링
• Centrality
• Community
• Centrality
• Community
<파일 포맷>
- 대부분 .ris 지원
- Wos: .ciw
- PubMed: nbib

빅데이터 수집기
빅데이터 전처리기
데이터 모델/구조
데이터 분석기
SNS Biblio News 게시판
Text
Pre-processing
Network Modeling
Network Data
Model
Text
Mining
Network Analysis
Text Data Transaction Data
예측/분류기
Machine Learning
NetMiner 빅데이터 분석 Architecture
Blog…
Ⅰ. 개요

Supports
Big Data Analysis
for Social Sciences
Ⅰ. 개요

Ⅱ. Biblio Data Collector 소개

학술 논문 정보를 이용한
연구 동향 분석이란…
끝나지 않는 수작업과
데이터 처리와의 싸움
연구자 A씨

Case 1. 데이터 수집과 저장
대부분의 학술 정보 서비스에서는
한 번에 10~100 건만 저장할 수 있음.
즉, 검색 결과인 1,960 건을
모두 다운로드 하기 위해서는
최소 33 번 페이지 넘김과 ‘자료반출’을 클릭

Case 2. 전처리(텍스트)
• 단어(형태소) 추출
• 필요 없는 논문, 단어 제거
• 단어 중요도 계산
• 키워드 네트워크 구성
• …

Case 3. 전처리(저자)
같은 사람인가?
다른 사람인가?

Case 4. 분석
네트워크 분석용 프로그램 따로,
텍스트 마이닝용 프로그램 따로?
혹은 R, 파이썬까지? 

1 학술 논문 서지 정보 수집 및 가져오기
검색어와 클릭 몇 번 만으로 Springer, KCI*의 데이터를 수집할 수 있습니다
검색어 입력
수집 시작!
* 2019.04 기준. API 활용

학술 서지 정보 사이트*에서
미리 저장한 서지 정보 파일(.ris, ciw)을 불러올 수도 있습니다
학술 정보 서비스 선택
가져오기!
* 2019.04 기준 Dbpia, KCI, KISS, NDSL , RISS, Scopus, Springer, Wos 지원

수집 또는 가져온
서지 데이터 목록
데이터 상세 정보

2 용이한 데이터 전처리 및 구조화
클릭 한 번에 텍스트에서 단어를 추출합니다

저자-단어-문서 간 발생하는 다양한 네트워크를 자동으로 구조화 하여 저장합니다
Word
Co-Authorship
Co-Word
Co-Word Co-Occurrence
등장관계
사용관계저술관계
NetMiner

특히, 논문 서지 정보에서 직접 처리하기 어려운 동명이인 저자를 자동으로 판별합니다
• 공저자 중복 여부
• 저자키워드 중복 여부
• 소속 기관 일치 여부

또한, 논문 서지 정보의 저자키워드를 사용자 사전으로 선택할 수 있습니다
복합명사(소셜+미디어)
소셜
미디어
최종 추출 결과
소셜 미디어
형태소 추출 결과

3 텍스트 마이닝과 네트워크 분석의 결합
텍스트 마이닝과 네트워크 분석을 1개의 프로그램에서 할 수 있습니다
기관 간 공동연구 토픽 분석

Ⅲ. Biblio Data Collector 분석 사례

연구동향 분석 예시 1. 미세먼지

0
20
40
60
80
100
120
140
160
180
데이터 수집 결과
연도별 논문 수 추이구분 수집 상세
데이터 소스 KCI (한국학술지인용색인)
검색 키워드 미세먼지
데이터 기간 2010년~2019년 2월
추출된 논문 수 559 건
검색 필드
‘전체’검색
(제목, 초록, 키워드 등 모두 포함)
텍스트
분석 대상
제목, 초록, 저자키워드

토픽 모델링 결과
53%
12%
10%
8%
8%
3%
6%
미세먼지 측정, 예측
사회적, 공간적 영향
정책, 법
교육, 인식
미세먼지 저감
상품, 제품
기타(혼합주제)
토픽 분류 결과 총 논문수 : 473건(100%)
(잠재 토픽 할당 확률 0.4 이상, 수집된 논문의 85%)
0%
10%
20%
30%
40%
50%
60%
70%
80%
90%
100%
2010년~2012년 2013년~2015년 2016년~2018년
미세먼지 측정, 예측 사회적, 공간적 영향 정책, 법
미세먼지 저감 교육, 인식 상품, 제품
기타(혼합)
토픽별 비중 토픽 비중 변화

토픽별 주요 단어

시기별 핵심 키워드
PM10
농도
측정
발생
분포
지역
대기
PM10
지역
농도
발생
대기
자료
특성
환경
발생
지역
개선
사용
효과
대기
2010~2012년 2013~2015년 2013~2018년
※ PM10 : 미세먼지 입자크기를 의미하는 용어. 초미세먼지는 PM2.5 로 표현됨.

연구자 분석 결과
논문 수 Top 10 연구자
• 연구자 수 : 1,394명
• 소속 기관 수 : 313개

• 연구자 수 : 1,394명
• 소속 기관 수 : 313개
연구자 수 Top 10 소속기관

공동 저자 네트워크 분석
공동 저자 네트워크
동일 소속 기관 간에 공저가 이루어지는 경향이 있음
Properties Value
노드 수 1,320
링크 수 3,232
밀도 0.004
소속기관 동류성
(Assortativity)
0.553
Expected -0.001,
P<0.001(iteration = 1000)

연구 기관 협력 네트워크
노드 : 저자의 소속 기관
링크 : 기관 간 공저 관계 축약 (Image Matrix)
연구 기관 영향력
다양한 기관에 영향을 미칠
수 있는 연구 기관
연구기관 그룹을 매개
하는 영향력
Degree Centrality Betweenness Centrality

연구동향 분석 예시 2. 소셜네트워크분석

데이터 수집 결과
구분 수집 상세
데이터 소스 SNA관련 Springer 발행 저널 3종
저널명
Social Network Analysis and
Mining, Computational Social
Networks, Applied Network
Science
데이터 기간 2011년~2019년
추출된 논문 수 719 건
검색 필드 Journal
텍스트처리
대상 데이터
Title, Abstract
연도별 논문 수 추이
0
20
40
60
80
100
120
140
160
합계
Applied Network
Science
Computational Social
Networks
Social Network Analysis
and Mining

31%
14%
8%7%
6%
6%
6%
4%
3%
3% 3% 3%
6%
온라인 소셜네트워크
커뮤니티 분석
네트워크 역할 연구
각종 알고리즘
중심성 분석
영향력 확산 연구
행동, 행위 연구
네트워크 구조연구
오피니언 분석
링크 예측, 상관관계 네트워크
국가 간 관계
신뢰 네트워크 연구
기타(혼합주제)
토픽 분류 결과 총 논문수 : 520건(100%)
(잠재 토픽 할당 확률 0.4 이상, 수집된 논문의 72%)
토픽별 비중 토픽 비중 변화
0%
10%
20%
30%
40%
50%
60%
70%
80%
90%
100%
2011년~2013년 2014년~2016년 2017년~2018년

시기별 핵심 키워드(Top 15)
system
interest
number
set
relationship
person
link
work
dataset
performance
application
number
realworld
feature
research
media
work
system
number
dataset
performance
2011~2013년 2014~2016년 2017~2018년
application
technique
work
type
article
context
content
order
system
influence
detection
experiment
set
prediction
Twitter
type
process
set
measure
feature
application
technique
detection
interaction
※ 이전 시기에 15위 안에 등장하지 않은 키워드 음영 처리함

논문 수 Top 10 연구자
저자 논문 수 소속
Kathleen M. Carley 9 Carnegie Mellon University
Reda Alhajj 6 University of Calgary
Weili Wu 6 University of Texas at Dallas
Huan Liu 5 Arizona State University
Igor Mozetič 5 Jozef Stefan Institute
Boleslaw K. Szymansk
i
5 Rensselaer Polytechnic Institute
George A. Barnett 5 University of California Davis
L. Richard Carley 4 Carnegie Mellon University
Ronaldo Menezes 4 Florida Institute of Technology
S. R. S. Iyengar 4 Indian Institute of Technology Ropar
• 연구자 수 : 1,980명
• 소속 기관 수 : 690개
연구자 수 Top 10 소속기관
소속 기관 연구자 수
Arizona State University 30
Georgia Institute of Technology 23
Carnegie Mellon University 22
University of Notre Dame 19
Rensselaer Polytechnic Institute 17
University of Toulouse 15
National Institute of Informatics Tokyo 15
University of Maryland 14
University of Tokyo 14
Indian Institute of Technology 14

공동 저자 네트워크
동일 소속 기관 간에 공저가 이루어지는 경향이 있음
Properties Value
노드 수 1,980
링크 수 3045
밀도 0.001
소속기관 동류성
(Assortativity)
0.578
Expeted -0.001,
P<0.001(iteration = 1000)

공저횟수 상위 관계
No. 저자1 소속 저자2 소속 공저횟수
1 Dino Pedreschi University of Pisa Fosca Giannotti ISTI-CNR 4
2 L. Richard Carley Carnegie Mellon University Kathleen M. Carley Carnegie Mellon University 4
3 Viktor K. Prasanna
University of
Southern California
Charalampos Chelmis
University of
Southern California
4
Complex Network, Community
Centrality, Dynamic Network
Diffusion, Similarity

Ⅳ. 향후 연구 및 개발 계획

Ⅳ. 향후 연구 및 개발 계획
대상 세부 내용
수집 및 가져오기
 대상 서비스 확대(Google Scholar, Pubmed, arxiv,..)
 출처가 상이한 경우에도, 데이터 통합 지원
 인용 네트워크 데이터 수집
전처리
저자  기관명 통일을 위한 자동 전처리
텍스트  분석 대상에 저자 키워드만 선택할 수 있도록 함
분석
 논문 서지 정보를 위한 전용 분석/시각화 기능 추가
(원클릭 연구동향분석 프로그램)
기타  데이터 저장 방식 변경: 메모리 부하 감소(인메모리 DB 방식)

New Feature of SNS Data Collector
NetMiner 에서 인스타그램도 수집하여 분석할 수 있습니다
- 2017.07.10 한국일보
- 2019.01.09 플래텀
- 2017.04.27 한국일보
SNS Data Collector 3.0
2019.04

감사합니다
오는 4월 26일, 연구동향분석 교육 에서
Biblio Data Collector 를 활용한 분석 방법을 배울 수 있습니다.
<금일 세미나 참석자 혜택 – 사전 등록한 이메일로 발송 예정>
- 사이람 SNA 기초 과정 + 연구동향분석 과정 교육 할인권
- NetMiner + Biblio Data Collector 체험판

[발표자료] 190401 논문 정보 수집과 연구 동향 분석 세미나

More Related Content

What's hot

Similar to [발표자료] 190401 논문 정보 수집과 연구 동향 분석 세미나

More from Cyram Inc

Recently uploaded

[발표자료] 190401 논문 정보 수집과 연구 동향 분석 세미나