메타분석 소개: 효과크기부터 출간오류까지(2019-08-15 한국해양과학기술원 강연) Meta-analysis: Statistical analysis for combining the results of multiple scientific studies

1. Meta-analysis:
Statistical analysis for combining the
results of multiple scientific studies
Youngjun Na
Animal Science and Technology,
Konkuk University
Email: ruminoreticulum@gmail.com

2. I’m an animal scientist
# Input
Nutrients
Environment
Genetics
# Output
Productivity
(milk, meat, reproduce)
Behavior
(rumination, moving)
Environment
(Greenhouse gas, manure)
Animal welfare
# Animal model

3. 엄마가 상상하는 나의 모습

4. 실제 나의 모습

5. 오늘의 주제
1. 메타분석이란?
2. 메타분석의 단계
3. 효과크기: X의 효과가 큰가?
4. 이질성: X의 효과가 일정 한가?
5. 출간오류: 혹시 효과 있는 논문만 저널에 실렸나?
6. 어떻게 공부해야 하나요?

6. 메타분석이란?

7. 질문
몇개 논문의 결과로 전체를 해석하는 것은 타당한가?
물론 모집단에 대한 통계적 추론이 있긴 하겠지만..

8. 과학계의 재현성 위기(reproducibility crisis)
§ 재현성(reproducibility):
"한 연구로부터 도출된 결과와 결론을
서로 독립적인 다른 연구를 통해 확증하는 것”
--- Jasny et al., 2011

9. Original study effect size versus replication effect size
(Open Science Collaboration, 2015).
§ 유명 저널에 실린 논문 10건 중
6건은 재현되지 않음

10. 메타분석??
§ 동일한 주제에 대한 다양한 연구결과를
체계적이고 계량적으로 분석하는 분석 방법
§ 특정한 한 연구의 결과에만 의존해서 결론을 내릴 경우
-> 잘못된 결정의 위험 ↑
§ 개별적인 연구결과는 연구마다 상충되거나 다를 수 있음

11. Search results for meta-analysis @Aquaculture

12. An I2 value less than 25% indicated low heterogeneity, whereas values between 35 to
50% denoted moderate heterogeneity and those above 50% denoted high heterogeneity
(Higgins et al., 2003).
Standardized mean difference values of < 0.2, > 0.2 and < 0.7, or > 0.8 were
considered small, moderate, or large effects, respectively (Cohen, 1988).
Publication bias!

13. 메타분석의 단계

14. 메타분석 수행에 필요한 요건
1. 연구분야에 대한 전문 지식/경험
2. 문헌 탐색 및 선정: 논문을 해석 해야 함
3. 계량적 분석에 대한 지식

15. 메타분석의 단계
1. 연구 주제 선정/질문 제기
2. 문헌검색
3. 데이터 추출 및 코딩
4. 데이터 분석: 효과크기 계산/동질성 검증/출판편향 검증
5. 결과 보고서 작성

16. 1. 연구 주제 선정/질문 제기
§ 모든 연구의 첫번째 단계는
목표를 설정하는 것
§ 충분한 연구가 되어 있는가?

17. 2. 문헌검색
§ 분야에 대한 전문 지식이 필요
§ Google scholar 등에서 논문을 찾을 수 있어야 해요
§ PISCO 연구선정기준
P: 연구 대상(population or participants) -> 새우에게
I: 처리방법(intervention) -> 프로바이오틱스 급여
C: 비교집단(comparison) -> 프로바이오틱스 비급여
O: 연구결과(outcomes) -> 성장률; 사료효율 등
S: 연구 설계(study design) -> CRD; RCBD; LSD

18. 2. 문헌검색
§ 서지관리 프로그램 꼭 사용하세요! 두번 사용하세요!
§ https://youngjunna.github.io/2019-animal-nutrition-and-the-environment/Some_tools_for_research.html#1
§ Endnote; Mendeley, Zotero, Papers

20. Flowchart

21. 효과크기(Effect Size)
X가 얼마나 효과가 있는가?

22. 효과크기(Effect Size)
§ 보통 연구들은 처리의 결과를 집단간에 비교하여 효과성을 검증
§ Control vs. Treatment
§ 효과크기는 처리의 결과를 표준화된 단위로 만들어 비교하는 것

23. 효과크기의 계산

24. 효과크기의 구분
Effect Size (d) Covariation Effect
Size (r)
Insignificant < 0.19 < 0.09
Small 0.20 – 0.49 0.10 – 0.24
Medium 0.50 - 0.79 0.25 – 0.39
Large 0.80 < 0.40 <
Adapted from Lipsev and Wilson (2001)

25. Effect of Malic acid on Ruminal pH
Copyright 2017. Youngjun Na all rights reserved.

26. 이질성(Heterogeneity)
X의 효과가 일정한가?

27. 이질성의 의미
§ 메타분석의 목표는 단지 효과크기를 도출하는 데만 있지 않음
§ 전체의 패턴을 이해하는 것이 중요
§ 각 개별 연구로부터 도출된 효과크기는 서로 다르게 나타남
§ 그렇다면 효과 크기간의 차이가 얼마나 나는가? -> 이질성
§ 개별 연구들이 얼마나 일관된 결과를 보이는가?

28. 비교해봅시다

29. 이질성이 생기는 원인이 뭘까?
1. 실제 효과가 들쭉날쭉 해서 == 효과가 없어서
2. 개별 연구간 연구방법에 차이가 있어서
3. 처리한 수준이 달라서

30. 이질성이 생기는 원인이 뭘까?
1. 실제 효과가 들쭉날쭉 해서 == 효과가 없어서
2. 개별 연구간 연구방법에 차이가 있어서 à Meta ANOVA
3. 처리한 수준이 달라서 à Meta Regression

31. Meta ANOVA

32. Meta Regression

33. 출간오류(Publication Bias)
혹시 효과 있는 논문만 저널에 실렸나?

34. 메타분석의 오류들
오류유형 설명
언어적 오류 영어 또는 친숙한 언어로 된 논문들만 선별적으로 포함시킴으로써 발생
접근성 오류 연구자가 접근하기 쉬운 연구결과를 선별적으로 포함시키는 오류
친숙도 오류 자신의 학문 분야 연구결과만 선별적으로 포함시키는 오류
결과보고 오류
개별 연구의 연구자가 연구결과를 선별적으로 보고하는 경우,
즉, 통계적으로 유의한 연구결과가 그렇지 않은 연구보다
더 잘 출간되는 경향이 있음으로 발생
비용오류 무료나 저비용으로 이용 가능한 연구를 선별적으로 포함시킴

35. 출간오류(Publication bias)
§ 출간된 연구결과들이 수행된 모든 연구결과를 대표하지 못할 경우
§ 효과를 과대추정(Overestimate) 할 수 있음

36. 논문(<- 메타분석의 재료..)이 출간되기 좋은 조건
1. (통계적 유의성에 상관없이) 표본이 큰 연구는 출간될 확률이 높다
2. 표본이 작은 연구는 출간되지 않을 확률이 높다.
하지만 효과가 크다면 출간될 확률이 높다
즉, 메타분석에 포함된 연구 중 표본크기가 작은 연구는 효과 크기가
상대적으로 큰 연구일 가능성이 높을 수 있다

37. Small-Study Effect
§ 메타분석에 있어 표본크기가 작은 연구들이 상대적으로 큰 효과크기를
보이는 경향
§ 메타분석에 포함된 연구 중에서 표본크기가 작은 연구의 효과 크기가
상대적으로 크다면 “Small Study Effect” 즉 출간오류가 존재하는 근거로 볼
수도 있다.

38. 비대칭에 대한 시각적 분석: Forest Plot

39. Trim-and-fill analysis
Duval, S., & Tweedie, R. 2000. A nonparametric “trim and fill” method of accounting for publication bias in meta-analysis. Journal of the
American Statistical Association, 95(449), 89-98.

40. Trim-and-fill 방법의 한계
§ 개별 연구 차원의 특성이 funnel plot의 모양을 왜곡할 수 있음
§ 전체 효과에 대한 결측 데이터의 영향을 확인하는 것이지,
최종결과(효과크기)를 실제로 수정하는 목적은 아님

41. 출간오류에 대한 결론
§ 이것은 언제까지나 오류에 대한 증명이 아닌,
오류의 가능성을 제기하는 것임을 잊지 말자!
§ 단지 메타분석 결과에 대한 신빙성을
독자들이 판단할 수 있는 중요한 근거를 제공

42. 어떻게 공부해야 하나요?

43. 첫째. 본인 도메인 공부를 열심히!

45. Thank you
Q&A