㈜ 사이람
[사이람 커넥트] 미니 웨비나
OpenAlex로 시작하는
연구 동향 분석
3
SESSION 01 개요
SESSION 02 OpenAlex의 연구 가치
SESSION 03 OpenAlex의 활용 사례
SESSION 04 Demo: OpenAlex 논문 데이터 수집
CONTENT
Copyright © by CYRAM. All rights reserved. 4
SESSION 01
개요
Copyright © by CYRAM. All rights reserved. 5
개요
해외 연구 논문 동향이 어려운 이유
누구나 논문 데이터베이스를 이용할 수 있다?
* 출처: 동아일보, 중앙일보
Copyright © by CYRAM. All rights reserved. 6
개요
해외 연구 논문 동향이 어려운 이유
이용 가능한 논문 데이터베이스가 내 연구 분야를 파악하는데 적합할까?
* 출처: Maddi, A., Maisonobe, M., & Boukacem-Zeghmouri, C. (2024). Geographical and Disciplinary Coverage of Open Access Journals: OpenAlex, Scopus and WoS. arXiv preprint arXiv:2411.03325.
PubMed: 바이오, 생명 과학
Copyright © by CYRAM. All rights reserved. 7
개요
해외 연구 논문 동향이 어려운 이유
논문 서지 데이터는 어떻게 수집할까?
* 출처: Web of Science, SCOPUS
Copyright © by CYRAM. All rights reserved. 8
SESSION 02
OpenAlex의 연구 가치
Copyright © by CYRAM. All rights reserved. 9
OpenAlex의 연구 가치
OpenAlex는?
OpenAlex(오픈알렉스)는 누구나 접근할 수 있는 학술 데이터베이스
<OpenAlex 웹사이트 화면>
구분 내용
데이터 종류
- 학술자료: 논문, 책, 데이터셋 등
- 연구자/기관
- 저널
데이터 수 2.6억개 학술자료
데이터 출처
- 주로 MAG, Crossref에서 수집
- 그 외 PubMed, ORCID, DOAJ,
ISSN 국제 센터 등
데이터
접근 방법
- 웹사이트: 검색 후 Export
- API
- 스냅샷: 전체 데이터 다운로드
업데이트 주기
1개월
* 유료 사용자는 시간 단위 업데이트 제공
운영 기관
OurResearch (비영리 단체)
* Alfred P. Sloan Foundation, the National
Science Foundation, Arcadia Fund 지원
’22년 1월 Microsoft 학술 그래프(MAG, MS에서 구축한 대규모 학술 그래프데이터베이스)를 기반으로 출시
* 출처: https://help.openalex.org/hc/en-us/articles/24397285563671-About-the-data
유료 구독, API 인증키 신청 없이
누구나 바로 사용 가능!
Copyright © by CYRAM. All rights reserved. 10
OpenAlex의 연구 가치
OpenAlex 하나로 전 세계 연구 데이터를!
다양한 분야와 지역에서 발행된 방대한 논문 자료를 제공
현재 약 2.6억 개의 학술 자료가 제공되고, 매일 5만 개를 새로 인덱싱하여 항상 최신 정보를 얻을 수 있습니다.
* 출처: Culbert, J., Hobert, A., Jahn, N., Haupka, N., Schmidt, M., Donner, P., & Mayr, P. (2024). Reference coverage analysis of OpenAlex compared to Web of Science and Scopus. arXiv preprint arXiv:2401.16359.
학술 DB 학술 자료 수 인용 정보
OpenAlex 약 2억 4,300만 약 18억 4,500만
Scopus 약 6,564만 약 20억 3,352만
Web of Science 약 7,128만 약 17억 6,528만
<’23년 기준 학술 DB 비교> <’15~’22년 OpenAlex, SCOPUS, Web of Science 논문 중복 비교>
* ’15~’22년 3개 DB 논문의 고유 DOI 비교
SCOPUS
WoS
Copyright © by CYRAM. All rights reserved. 11
OpenAlex의 연구 가치
OpenAlex 하나로 전 세계 연구 데이터를!
다양한 분야와 지역에서 발행된 방대한 논문 자료를 제공
인문, 예술, 사회과학, 자연과학 등 다학제 자료를 포괄적으로 제공합니다.
* 출처: Maddi, A., Maisonobe, M., & Boukacem-Zeghmouri, C. (2024). Geographical and Disciplinary Coverage of Open Access Journals: OpenAlex, Scopus and WoS. arXiv preprint arXiv:2411.03325.
< 논문 DB별 연구 분야 비중 비교> <논문 DB별 OA 저널(ROAD, ISSN 국제 센터의 OA 학술 자료 디렉토리) 중복 비교>
Copyright © by CYRAM. All rights reserved. 12
OpenAlex의 연구 가치
OpenAlex 하나로 전 세계 연구 데이터를!
논문 서지 정보 외 세부 주제와 논문 간 관계 정보도 제공
OpenAlex에서 분류한 약 4,500개의 세부 토픽 정보와 논문 간 인용-피인용 관계 정보를 얻을 수 있습니다.
* 출처: https://docs.openalex.org/api-entities/entities-overview
<OpenAlex의 주요 데이터 개체 그래프> <OpenAlex API의 논문 상세 정보 결과(일부)>
Copyright © by CYRAM. All rights reserved. 13
OpenAlex의 연구 가치
OpenAlex, 유의할 점은?
* 출처: https://help.openalex.org/hc/en-us/articles/28932712154391-How-does-OpenAlex-work
전준, 김병준, 김재홍, & 김란우. (2023). 전산사회과학 연구과정의 블랙박스 열기: 아카데믹 데이터베이스를 활용한 비교사회학 연구를 중심으로. 한국사회학, 57(2), 131-157.
Alperin, J. P., Portenoy, J., Demes, K., Larivière, V., & Haustein, S. (2024). An analysis of the suitability of OpenAlex for bibliometric analyses. arXiv preprint arXiv:2404.17663.
Visser, M., Van Eck, N. J., & Waltman, L. (2021). Large-scale comparison of bibliographic data sources: Scopus, Web of Science, Dimensions, Crossref, and Microsoft Academic. Quantitative science studies, 2(1), 20-41.
메타 데이터의 불완전성
OA 저널의 신뢰성
<OpenAlex 주요 출처>
피인용 수 상위 논문만 추출하여 분석하거나,
특정 출처 제외 / 특정 저널만 수집하여 분석
주요 논문 DB와 비교했을 때 데이터 품질이 좋고, 데이터 업데이트의 투명성을 제공
항목 참조 정보 설명
저자 ORCID 연구자 식별 ID 체계
기관명 ROR
Crossref, DataCite 및
California Digital
Library(CDL) 이 관리
저널
DOAJ, CWTS
핵심 소스 목록
CWTS 핵심 소스: 네덜란드
라이덴 대학
<초록 유사도 비교: OpenAlex-WoS> <국가별 피인용 정보 비교: OpenAlex-SCOPUS>
수집한 학술 자료를 여러 식별자 정보와 매칭하고 알고리즘을
사용하여, 개체를 식별
<인용 관계 정보 비교: OpenAlex-WoS-SCOPUS-CrossRef>
Copyright © by CYRAM. All rights reserved. 14
SESSION 03
OpenAlex의 활용 사례
Copyright © by CYRAM. All rights reserved. 15
활용 사례
* 출처: Andrew Jack and Anjali Dalal (2024), Business school and the pursuit of rigour, resonance and relevance, Financial Times
https://4science.com/enhancing-open-science-dspace-and-openalex-integration/
파이낸셜 타임즈의 비즈니스 대학 순위 평가 DSpace와 OpenAlex 통합
OpenAlex의 학술 메타데이터 Dspace에 가져올 수 있도록 통합
DSpace는 학술 오픈 소스 리포지토리
소프트웨어로, 국내외 다양한 기관에
서 사용되고 있음
OpenAlex 활용 사례
Copyright © by CYRAM. All rights reserved. 16
OpenAlex 활용 사례
활용 사례
연구 사례 1. 교육 현장에서의 인공지능 활용
논문
A meta systematic review of artificial intelligence in higher education: a call for increased ethics, collaboration, and rigour (2024, Melissa Bond1,2,3* , Hassan
Khosravi4, Maarten De Laat5, Nina Bergdahl6,7, Violeta Negrea3, Emily Oxley3, Phuong Pham5, Sin Wang Chong3,8 and George Siemens5)
목적
고등 교육 분야의 인공지능 교육(AIEd) 관련 문헌 기반이 이미 빠르게 성장하고 있는 상황에서, 이제는 이 분야가 견고한 연구 및 개념적 기반을 갖추도록 보장해야 할 시점. 고등 교육 분야
인공지능(AIHEd) 연구의 범위와 특성을 탐구함.
데이터
• OpenAlex, Web of Science, Scopus 등에서 제공해주는 학술 데이터베이스에서 ‘artificial intelligence’, “higher education” + “systematic review” 등을 포함한 복합 검색어를
사용. 총 5,609개의 논문을 수집.
• 인공지능 응용을 고등 또는 평생 교육에 한정.
• 2018년부터 2023년 7월 사이에 영어로 출판되었으며, 학술지 논문 또는 전체 컨퍼런스 논문이면서 방법론 섹션을 포함한 경우.
• 최종적으로 66편의 문헌이 데이터 추출 및 종합 대상으로 선정.
분석 방법
• EPPI Reviewer 6와 EPPI Mapper, EPPI Visualiser를 사용하여 데이터 코딩, 분석, 시각화 수행.
• DARE tool과 AMSTAR 2 tool을 기반으로 10개 기준의 품질 평가 지표를 설계하여 각 리뷰의 연구 품질을 정량화함.
• 정성적(Narrative synthesis) 방식으로 분석결과를 종합하여 해석.각 리뷰를 Zawacki-Richter의 AIEd 분류체계(예: 예측·프로파일링, 적응형 시스템, 평가·채점, 지능형 튜터링 시스
템)에 따라 분류.
결과
• AI 연구 분야: 개인화·적응형 시스템(54.5%), 예측 및 프로파일링(48.5%), 평가 및 자동 채점(39.4%), 지능형 튜터링 시스템(21.2%)
• 연구자 배경: 56.1%가 STEM(과학·공학) 계열, 교육학 배경도 25.8%로 증가 추세.
• 주요 연구 한계: 윤리적 고려 부족 (예: 감정 인식 기술의 프라이버시 문제), 사회문화적 맥락 고려 부족, 비서구권, 저소득 국가 맥락의 연구 부족, 관리 및 행정에 적용된 AI 연구 부족
Copyright © by CYRAM. All rights reserved. 17
OpenAlex 활용 사례
활용 사례
연구 사례 2. 전자 건강 기록 분석을 위한 LLM 활용 동향
논문
A scoping review of using Large Language Models (LLMs) to investigate Electronic Health Records (EHRs) (2024, Lingyao Li, Jiayan Zhou, Zhenxiang Gao, Wenyue
Hua, Lizhou Fan, Huizi Yu, Loni Hagen, Yongfeng Zhang, Themistocles L. Assimes, Libby Hemphill, Siyuan Ma)
목적 이전 연구들은 EHR 맥락에서 언어 이해 및 처리 측면에서 LLM의 가능성을 보여주었지만, 이를 종합한 스코핑 리뷰는 부족한 실정. 스코핑 리뷰를 수행하여 이 연구 공백을 메우고자 함.
※ 스코핑 리뷰: 특정 주제나 연구 분야에 대해 기존 연구가 얼마나, 어떤 방향으로 이루어져 있는지를 넓고 체계적으로 파악하기 위한 문헌고찰 방법.
데이터
• OpenAlex에서 EHR 데이터를 활용한 연구인지, LLM을 활용하여 EHR 데이터를 처리하였는지, 사설&코멘터리 등은 제외한 정식 연구 논문인지, 영어로 작성된 논문인지, 수집된 데
이터셋에 중복 논문이 존재하지 않는지를 검토
• 최종적으로 329편의 관련 논문이 수집 (2018.01 ~ 2024.03)
분석 방법
• 서지계량 분석을 통해 논문 추세, 모델의 활용 사례, 협업 네트워크 등을 분석
• 각 논문을 다음의 7가지 주제 중 하나로 분류하고 정성적으로 검토: ① 개체명 인식(Named Entity Recognition), ② 정보 추출(Information Extraction), ③ 텍스트 유사도(Text
Similarity), ④ 텍스트 요약(Text Summarization), ⑤ 텍스트 분류(Text Classification), ⑥ 대화 시스템(Dialogue System), ⑦ 진단 및 예측(Diagnosis and Prediction).
결과
• 서지계량 분석을 통해 연구 논문의 수가 급격히 증가하고 있으며, 특히 GPT-3.5, GPT-4와 같은 디코더 기반 모델(decoder-only models)의 사용이 늘어나고 있음.
• 기관 간 협업 네트워크 분석에서는 대학과 의료기관(병원 또는 센터) 간의 활발한 협력이 이루어지고 있음.
• BERT와 같은 인코더 기반 모델(encoder-only models)은→ 개체명 인식, 정보 추출, 텍스트 유사도, 진단 및 예측 분야에 광범위하게 활용.
• GPT 시리즈와 같은 디코더 기반 모델(decoder-only models)은→ 정보 추출, 대화 시스템, 텍스트 요약, 진단 및 예측 등에서 유망한 성과를 보임.
* 출처:A scoping review of using
Large Language Models (LLMs) to
investigate Electronic Health
Records (EHRs)
Copyright © by CYRAM. All rights reserved. 18
OpenAlex 활용 사례
활용 사례
연구 사례 3. 네트워크 분석을 이용한 가짜 뉴스 확산 & 양극화 분석
논문
Studying Fake News Spreading, Polarisation Dynamics, and Manipulation by Bots: A Tale of Networks and Language(2023, Giancarlo Ruffo, Alfonso Semeraro,
Anastasia Giachanou, Paolo Rosso)
목적
기존 문헌을 네트워크 기반으로 분석하여 핵심 연구 흐름과 중요한 논문을 식별, 계산적 관점에서 정보 왜곡 현상을 분석하기 위한 주요 연구 결과와 배경을 정리, 네트워크 과학과 언어 분석
을 결합한 방식의 주요 연구 사례들을 리뷰하기 위함.
데이터 OpenAlex를 활용하여, ‘fake news’, ‘disinformation’, ‘misinformation’, ‘infodemic’, ‘social bot’ 등의 키워드로 검색한 논문 약 90,000편 이상 수집.
분석 방법
• 논문들을 노드로 하여 인용 네트워크를 구성하고 클러스터링 분석(Louvain 알고리즘)을 통해 주요 하위 주제(sub-narrative) 탐색. 중심성(Centrality), 인용수, 영향력 기반으로 주요
논문 선정.
• 텍스트 유사도 분석 (예: Doc2Vec), 감정 분석, 주제 분석 등을 통해 논문 및 기사 내에서 사용된 언어적 특성 조사. 가짜 뉴스 텍스트와 진짜 뉴스의 언어 스타일 차이를 분석.
• 가짜 뉴스 수용과 전파에 영향을 주는 인지 편향(cognitive bias) 요인을 정리.
• 소셜 미디어 상에서 어떻게 사용자의 의견이 극단화(polarisation)되는지를 수학적 모델로 설명.
결과
• 정치학, 심리학, 컴퓨터 과학에서 가장 많은 연구가 이루어짐. 보건학, 사회학, 언론학 등도 관련 분야로 포함됨.
• 가짜 뉴스는 새롭고 감정 자극적인 내용을 담아 사용자의 관심을 끌며, 반복 노출과 개인화 알고리즘이 이를 증폭시킴. 소셜봇이 이 과정을 자동화하여 여론 조작에 사용됨.
• 사용자는 자신의 의견과 비슷한 사람들끼리 상호작용함으로써 의견 편향의 강화와 분열된 커뮤니티를 형성.
Copyright © by CYRAM. All rights reserved. 19
SESSION 04
Demo
Copyright © by CYRAM. All rights reserved.
What’s Next?
20
연구 동향 분석 오프라인 강의 (4.24)
OpenAlex로 더욱 강력하게!
현장에서 더욱 자세하게!!
Biblio Data Collector 업데이트 플랜
수집 데이터를 확대하고,
분석 프로세스를 자동화 (향후)
OpenAlex의 메타 데이터와
인용-피인용 관계 데이터 추가
Biblio Data Collector Plus(AI 분석)
Copyright © by CYRAM. All rights reserved. 21
Q&A
Copyright © by CYRAM. All rights reserved. 22
감사합니다.
[안내 사항]
• 웨비나 설문조사에 참여해주세요! 오늘 웨비나에 대한 의견과 보고 싶은 웨비나 주제를 남기실 수 있습니다.
www.netminer.com
1660-4230
netminer@cyram.com
CYRAM CONNECT : MINI WEBINAR

[사이람 커넥트] OpenAlex로 시작하는 연구 동향 분석

  • 1.
    ㈜ 사이람 [사이람 커넥트]미니 웨비나 OpenAlex로 시작하는 연구 동향 분석
  • 2.
    3 SESSION 01 개요 SESSION02 OpenAlex의 연구 가치 SESSION 03 OpenAlex의 활용 사례 SESSION 04 Demo: OpenAlex 논문 데이터 수집 CONTENT
  • 3.
    Copyright © byCYRAM. All rights reserved. 4 SESSION 01 개요
  • 4.
    Copyright © byCYRAM. All rights reserved. 5 개요 해외 연구 논문 동향이 어려운 이유 누구나 논문 데이터베이스를 이용할 수 있다? * 출처: 동아일보, 중앙일보
  • 5.
    Copyright © byCYRAM. All rights reserved. 6 개요 해외 연구 논문 동향이 어려운 이유 이용 가능한 논문 데이터베이스가 내 연구 분야를 파악하는데 적합할까? * 출처: Maddi, A., Maisonobe, M., & Boukacem-Zeghmouri, C. (2024). Geographical and Disciplinary Coverage of Open Access Journals: OpenAlex, Scopus and WoS. arXiv preprint arXiv:2411.03325. PubMed: 바이오, 생명 과학
  • 6.
    Copyright © byCYRAM. All rights reserved. 7 개요 해외 연구 논문 동향이 어려운 이유 논문 서지 데이터는 어떻게 수집할까? * 출처: Web of Science, SCOPUS
  • 7.
    Copyright © byCYRAM. All rights reserved. 8 SESSION 02 OpenAlex의 연구 가치
  • 8.
    Copyright © byCYRAM. All rights reserved. 9 OpenAlex의 연구 가치 OpenAlex는? OpenAlex(오픈알렉스)는 누구나 접근할 수 있는 학술 데이터베이스 <OpenAlex 웹사이트 화면> 구분 내용 데이터 종류 - 학술자료: 논문, 책, 데이터셋 등 - 연구자/기관 - 저널 데이터 수 2.6억개 학술자료 데이터 출처 - 주로 MAG, Crossref에서 수집 - 그 외 PubMed, ORCID, DOAJ, ISSN 국제 센터 등 데이터 접근 방법 - 웹사이트: 검색 후 Export - API - 스냅샷: 전체 데이터 다운로드 업데이트 주기 1개월 * 유료 사용자는 시간 단위 업데이트 제공 운영 기관 OurResearch (비영리 단체) * Alfred P. Sloan Foundation, the National Science Foundation, Arcadia Fund 지원 ’22년 1월 Microsoft 학술 그래프(MAG, MS에서 구축한 대규모 학술 그래프데이터베이스)를 기반으로 출시 * 출처: https://help.openalex.org/hc/en-us/articles/24397285563671-About-the-data 유료 구독, API 인증키 신청 없이 누구나 바로 사용 가능!
  • 9.
    Copyright © byCYRAM. All rights reserved. 10 OpenAlex의 연구 가치 OpenAlex 하나로 전 세계 연구 데이터를! 다양한 분야와 지역에서 발행된 방대한 논문 자료를 제공 현재 약 2.6억 개의 학술 자료가 제공되고, 매일 5만 개를 새로 인덱싱하여 항상 최신 정보를 얻을 수 있습니다. * 출처: Culbert, J., Hobert, A., Jahn, N., Haupka, N., Schmidt, M., Donner, P., & Mayr, P. (2024). Reference coverage analysis of OpenAlex compared to Web of Science and Scopus. arXiv preprint arXiv:2401.16359. 학술 DB 학술 자료 수 인용 정보 OpenAlex 약 2억 4,300만 약 18억 4,500만 Scopus 약 6,564만 약 20억 3,352만 Web of Science 약 7,128만 약 17억 6,528만 <’23년 기준 학술 DB 비교> <’15~’22년 OpenAlex, SCOPUS, Web of Science 논문 중복 비교> * ’15~’22년 3개 DB 논문의 고유 DOI 비교 SCOPUS WoS
  • 10.
    Copyright © byCYRAM. All rights reserved. 11 OpenAlex의 연구 가치 OpenAlex 하나로 전 세계 연구 데이터를! 다양한 분야와 지역에서 발행된 방대한 논문 자료를 제공 인문, 예술, 사회과학, 자연과학 등 다학제 자료를 포괄적으로 제공합니다. * 출처: Maddi, A., Maisonobe, M., & Boukacem-Zeghmouri, C. (2024). Geographical and Disciplinary Coverage of Open Access Journals: OpenAlex, Scopus and WoS. arXiv preprint arXiv:2411.03325. < 논문 DB별 연구 분야 비중 비교> <논문 DB별 OA 저널(ROAD, ISSN 국제 센터의 OA 학술 자료 디렉토리) 중복 비교>
  • 11.
    Copyright © byCYRAM. All rights reserved. 12 OpenAlex의 연구 가치 OpenAlex 하나로 전 세계 연구 데이터를! 논문 서지 정보 외 세부 주제와 논문 간 관계 정보도 제공 OpenAlex에서 분류한 약 4,500개의 세부 토픽 정보와 논문 간 인용-피인용 관계 정보를 얻을 수 있습니다. * 출처: https://docs.openalex.org/api-entities/entities-overview <OpenAlex의 주요 데이터 개체 그래프> <OpenAlex API의 논문 상세 정보 결과(일부)>
  • 12.
    Copyright © byCYRAM. All rights reserved. 13 OpenAlex의 연구 가치 OpenAlex, 유의할 점은? * 출처: https://help.openalex.org/hc/en-us/articles/28932712154391-How-does-OpenAlex-work 전준, 김병준, 김재홍, & 김란우. (2023). 전산사회과학 연구과정의 블랙박스 열기: 아카데믹 데이터베이스를 활용한 비교사회학 연구를 중심으로. 한국사회학, 57(2), 131-157. Alperin, J. P., Portenoy, J., Demes, K., Larivière, V., & Haustein, S. (2024). An analysis of the suitability of OpenAlex for bibliometric analyses. arXiv preprint arXiv:2404.17663. Visser, M., Van Eck, N. J., & Waltman, L. (2021). Large-scale comparison of bibliographic data sources: Scopus, Web of Science, Dimensions, Crossref, and Microsoft Academic. Quantitative science studies, 2(1), 20-41. 메타 데이터의 불완전성 OA 저널의 신뢰성 <OpenAlex 주요 출처> 피인용 수 상위 논문만 추출하여 분석하거나, 특정 출처 제외 / 특정 저널만 수집하여 분석 주요 논문 DB와 비교했을 때 데이터 품질이 좋고, 데이터 업데이트의 투명성을 제공 항목 참조 정보 설명 저자 ORCID 연구자 식별 ID 체계 기관명 ROR Crossref, DataCite 및 California Digital Library(CDL) 이 관리 저널 DOAJ, CWTS 핵심 소스 목록 CWTS 핵심 소스: 네덜란드 라이덴 대학 <초록 유사도 비교: OpenAlex-WoS> <국가별 피인용 정보 비교: OpenAlex-SCOPUS> 수집한 학술 자료를 여러 식별자 정보와 매칭하고 알고리즘을 사용하여, 개체를 식별 <인용 관계 정보 비교: OpenAlex-WoS-SCOPUS-CrossRef>
  • 13.
    Copyright © byCYRAM. All rights reserved. 14 SESSION 03 OpenAlex의 활용 사례
  • 14.
    Copyright © byCYRAM. All rights reserved. 15 활용 사례 * 출처: Andrew Jack and Anjali Dalal (2024), Business school and the pursuit of rigour, resonance and relevance, Financial Times https://4science.com/enhancing-open-science-dspace-and-openalex-integration/ 파이낸셜 타임즈의 비즈니스 대학 순위 평가 DSpace와 OpenAlex 통합 OpenAlex의 학술 메타데이터 Dspace에 가져올 수 있도록 통합 DSpace는 학술 오픈 소스 리포지토리 소프트웨어로, 국내외 다양한 기관에 서 사용되고 있음 OpenAlex 활용 사례
  • 15.
    Copyright © byCYRAM. All rights reserved. 16 OpenAlex 활용 사례 활용 사례 연구 사례 1. 교육 현장에서의 인공지능 활용 논문 A meta systematic review of artificial intelligence in higher education: a call for increased ethics, collaboration, and rigour (2024, Melissa Bond1,2,3* , Hassan Khosravi4, Maarten De Laat5, Nina Bergdahl6,7, Violeta Negrea3, Emily Oxley3, Phuong Pham5, Sin Wang Chong3,8 and George Siemens5) 목적 고등 교육 분야의 인공지능 교육(AIEd) 관련 문헌 기반이 이미 빠르게 성장하고 있는 상황에서, 이제는 이 분야가 견고한 연구 및 개념적 기반을 갖추도록 보장해야 할 시점. 고등 교육 분야 인공지능(AIHEd) 연구의 범위와 특성을 탐구함. 데이터 • OpenAlex, Web of Science, Scopus 등에서 제공해주는 학술 데이터베이스에서 ‘artificial intelligence’, “higher education” + “systematic review” 등을 포함한 복합 검색어를 사용. 총 5,609개의 논문을 수집. • 인공지능 응용을 고등 또는 평생 교육에 한정. • 2018년부터 2023년 7월 사이에 영어로 출판되었으며, 학술지 논문 또는 전체 컨퍼런스 논문이면서 방법론 섹션을 포함한 경우. • 최종적으로 66편의 문헌이 데이터 추출 및 종합 대상으로 선정. 분석 방법 • EPPI Reviewer 6와 EPPI Mapper, EPPI Visualiser를 사용하여 데이터 코딩, 분석, 시각화 수행. • DARE tool과 AMSTAR 2 tool을 기반으로 10개 기준의 품질 평가 지표를 설계하여 각 리뷰의 연구 품질을 정량화함. • 정성적(Narrative synthesis) 방식으로 분석결과를 종합하여 해석.각 리뷰를 Zawacki-Richter의 AIEd 분류체계(예: 예측·프로파일링, 적응형 시스템, 평가·채점, 지능형 튜터링 시스 템)에 따라 분류. 결과 • AI 연구 분야: 개인화·적응형 시스템(54.5%), 예측 및 프로파일링(48.5%), 평가 및 자동 채점(39.4%), 지능형 튜터링 시스템(21.2%) • 연구자 배경: 56.1%가 STEM(과학·공학) 계열, 교육학 배경도 25.8%로 증가 추세. • 주요 연구 한계: 윤리적 고려 부족 (예: 감정 인식 기술의 프라이버시 문제), 사회문화적 맥락 고려 부족, 비서구권, 저소득 국가 맥락의 연구 부족, 관리 및 행정에 적용된 AI 연구 부족
  • 16.
    Copyright © byCYRAM. All rights reserved. 17 OpenAlex 활용 사례 활용 사례 연구 사례 2. 전자 건강 기록 분석을 위한 LLM 활용 동향 논문 A scoping review of using Large Language Models (LLMs) to investigate Electronic Health Records (EHRs) (2024, Lingyao Li, Jiayan Zhou, Zhenxiang Gao, Wenyue Hua, Lizhou Fan, Huizi Yu, Loni Hagen, Yongfeng Zhang, Themistocles L. Assimes, Libby Hemphill, Siyuan Ma) 목적 이전 연구들은 EHR 맥락에서 언어 이해 및 처리 측면에서 LLM의 가능성을 보여주었지만, 이를 종합한 스코핑 리뷰는 부족한 실정. 스코핑 리뷰를 수행하여 이 연구 공백을 메우고자 함. ※ 스코핑 리뷰: 특정 주제나 연구 분야에 대해 기존 연구가 얼마나, 어떤 방향으로 이루어져 있는지를 넓고 체계적으로 파악하기 위한 문헌고찰 방법. 데이터 • OpenAlex에서 EHR 데이터를 활용한 연구인지, LLM을 활용하여 EHR 데이터를 처리하였는지, 사설&코멘터리 등은 제외한 정식 연구 논문인지, 영어로 작성된 논문인지, 수집된 데 이터셋에 중복 논문이 존재하지 않는지를 검토 • 최종적으로 329편의 관련 논문이 수집 (2018.01 ~ 2024.03) 분석 방법 • 서지계량 분석을 통해 논문 추세, 모델의 활용 사례, 협업 네트워크 등을 분석 • 각 논문을 다음의 7가지 주제 중 하나로 분류하고 정성적으로 검토: ① 개체명 인식(Named Entity Recognition), ② 정보 추출(Information Extraction), ③ 텍스트 유사도(Text Similarity), ④ 텍스트 요약(Text Summarization), ⑤ 텍스트 분류(Text Classification), ⑥ 대화 시스템(Dialogue System), ⑦ 진단 및 예측(Diagnosis and Prediction). 결과 • 서지계량 분석을 통해 연구 논문의 수가 급격히 증가하고 있으며, 특히 GPT-3.5, GPT-4와 같은 디코더 기반 모델(decoder-only models)의 사용이 늘어나고 있음. • 기관 간 협업 네트워크 분석에서는 대학과 의료기관(병원 또는 센터) 간의 활발한 협력이 이루어지고 있음. • BERT와 같은 인코더 기반 모델(encoder-only models)은→ 개체명 인식, 정보 추출, 텍스트 유사도, 진단 및 예측 분야에 광범위하게 활용. • GPT 시리즈와 같은 디코더 기반 모델(decoder-only models)은→ 정보 추출, 대화 시스템, 텍스트 요약, 진단 및 예측 등에서 유망한 성과를 보임. * 출처:A scoping review of using Large Language Models (LLMs) to investigate Electronic Health Records (EHRs)
  • 17.
    Copyright © byCYRAM. All rights reserved. 18 OpenAlex 활용 사례 활용 사례 연구 사례 3. 네트워크 분석을 이용한 가짜 뉴스 확산 & 양극화 분석 논문 Studying Fake News Spreading, Polarisation Dynamics, and Manipulation by Bots: A Tale of Networks and Language(2023, Giancarlo Ruffo, Alfonso Semeraro, Anastasia Giachanou, Paolo Rosso) 목적 기존 문헌을 네트워크 기반으로 분석하여 핵심 연구 흐름과 중요한 논문을 식별, 계산적 관점에서 정보 왜곡 현상을 분석하기 위한 주요 연구 결과와 배경을 정리, 네트워크 과학과 언어 분석 을 결합한 방식의 주요 연구 사례들을 리뷰하기 위함. 데이터 OpenAlex를 활용하여, ‘fake news’, ‘disinformation’, ‘misinformation’, ‘infodemic’, ‘social bot’ 등의 키워드로 검색한 논문 약 90,000편 이상 수집. 분석 방법 • 논문들을 노드로 하여 인용 네트워크를 구성하고 클러스터링 분석(Louvain 알고리즘)을 통해 주요 하위 주제(sub-narrative) 탐색. 중심성(Centrality), 인용수, 영향력 기반으로 주요 논문 선정. • 텍스트 유사도 분석 (예: Doc2Vec), 감정 분석, 주제 분석 등을 통해 논문 및 기사 내에서 사용된 언어적 특성 조사. 가짜 뉴스 텍스트와 진짜 뉴스의 언어 스타일 차이를 분석. • 가짜 뉴스 수용과 전파에 영향을 주는 인지 편향(cognitive bias) 요인을 정리. • 소셜 미디어 상에서 어떻게 사용자의 의견이 극단화(polarisation)되는지를 수학적 모델로 설명. 결과 • 정치학, 심리학, 컴퓨터 과학에서 가장 많은 연구가 이루어짐. 보건학, 사회학, 언론학 등도 관련 분야로 포함됨. • 가짜 뉴스는 새롭고 감정 자극적인 내용을 담아 사용자의 관심을 끌며, 반복 노출과 개인화 알고리즘이 이를 증폭시킴. 소셜봇이 이 과정을 자동화하여 여론 조작에 사용됨. • 사용자는 자신의 의견과 비슷한 사람들끼리 상호작용함으로써 의견 편향의 강화와 분열된 커뮤니티를 형성.
  • 18.
    Copyright © byCYRAM. All rights reserved. 19 SESSION 04 Demo
  • 19.
    Copyright © byCYRAM. All rights reserved. What’s Next? 20 연구 동향 분석 오프라인 강의 (4.24) OpenAlex로 더욱 강력하게! 현장에서 더욱 자세하게!! Biblio Data Collector 업데이트 플랜 수집 데이터를 확대하고, 분석 프로세스를 자동화 (향후) OpenAlex의 메타 데이터와 인용-피인용 관계 데이터 추가 Biblio Data Collector Plus(AI 분석)
  • 20.
    Copyright © byCYRAM. All rights reserved. 21 Q&A
  • 21.
    Copyright © byCYRAM. All rights reserved. 22 감사합니다. [안내 사항] • 웨비나 설문조사에 참여해주세요! 오늘 웨비나에 대한 의견과 보고 싶은 웨비나 주제를 남기실 수 있습니다. www.netminer.com 1660-4230 netminer@cyram.com
  • 22.
    CYRAM CONNECT :MINI WEBINAR