Tahapan melakukan systematic review dan metaanalysis

1. Tahapan Melakukan Systematic Review
Ari Probandari
Lab/Bagian Ilmu Kesehatan Masyarakat, Fakultas Kedokteran,
Universitas Sebelas Maret

2. Topik Bahasan
Perbedaan systematic
review, scoping/narrative
review dan meta-analisis
Langkah systematic
review
Publikasi systematic
review

3. Memahami Berbagai Istilah
Systematic
Review
Meta-analysis
Scoping
review
Narrative
review
Non-
systematic
review
Meta-
syntheses
Meta-
ethnography

4. Tingkat Kualitas Bukti – Evidence Based
Medicine (Burns et al., 2011)

5. Apa persamaannya?
Systematic
Review
Scoping
review
Narrative
review
• “Penelitian pada penelitian (‘study on studies’)”
• Identifikasi kesenjangan pengetahuan dan area potensi
riset yang relevan dengan pertanyaan review
• SR dan ScR  harus ada protokol

6. Apa perbedaannya?
Systematic
Review
Scoping
review
Narrative
review

7. Perbedaan Systematic Review (SR), Scoping Review (ScR) dan Narrative Review (NR)
Aspek SR ScR NR
Pertanyaan
Review
Spesifik (Population Intervention
Comparison Outcome/Population
Exposure Comparison Outcome)
Hasilnya dipakai untuk bahan
pengambilan keputusan
Umum. Pertanyaan
terkait dengan
pemetaan
konsep/definisi.
Sebagai awal
(precursor) untuk
systematic review.
Pertanyaan review dapat
bersifat umum atau
spesifik. Biasanya dibuat
oleh pakar pada topik
yang sesuai.
Proses pencarian
literature
Sistematik Sistematik Tidak ada panduan
Proses critical
appraisal
Sistematik Tidak diwajibkan Tidak ada panduan
Synthesis Syntesis kualitatif dengan atau tanpa
sinthesis kuantitatif (meta-analysis)
Synthesis secara
kualitatif
Tidak ada panduan
Panduan Guideline penulisan: PRISMA PRISMA-ScR *Instrumen penilaian
mutu: SANRA

8. Meta-syntheses
• Systematic review pada penelitian-penelitian kualitatif
• Nama lain: meta-ethnography, qualitative evidence synthesis,
qualitative meta-synthesis, meta narrative review
(https://guides.temple.edu/c.php?g=78618&p=4178716)
• Panduan:
• EPOC (https://methods.cochrane.org/qi/)
• eMERGE
(https://bmcmedresmethodol.biomedcentral.com/articles/10.1186/s12874-
018-0600-0)

9. Systematic review [1]
Desain penelitian yang dilakukan untuk menyintesis bukti-bukti
penelitian yang sudah ada secara sistematis, dalam hal: pencarian
artikel penelitian, telaah kritis (critical appraisal), dan sintesis hasil
penelitian untuk menjawab suatu pertanyaan.

10. Systematic review [2]
• Prosedur sistematis
• Penelitian pada penelitian (‘study on studies’)
• Systematic review bisa dilakukan dengan/tanpa meta-analisis
• Keseluruhan rencana systematic review dituangkan dalam suatu
protokol

11. Systematic Review
Systematic
review
Systematic
review dan
meta-analysis

12. Meta-analysis
• Suatu metode statistik yang
dilakukan untuk menghitung
weighted average (rata-rata
bobot) suatu parameter (ukuran
efek atau risiko) yang diperoleh
dari penelitian-penelitian yang
relevan dengan suatu pertanyaan
• Meta-analisis dilakukan sebagai
tambahan pada systematic review
• Hasil meta-analisis disajikan
dengan Forest plot He et al. Peer education for HIV prevention among high-risk groups: a systematic review and
meta-analysis. BMC Infect Dis 2020; 20(1): 338. doi: 10.1186/s12879-020-05003-9.
https://bmcinfectdis.biomedcentral.com/articles/10.1186/s12879-020-05003-9

13. Tahapan Systematic Review
1. Menyusun
pertanyaan penelitian
2. Mencari contoh SR
yang dekat dengan
topik
3. Mencari bukti
penelitian yang relevan
dengan strategi yang
sistematis
4. Melakukan
pengelolaan proses
pencarian
5.Melakukan telaah
kritis atas bukti
penelitian yang
dikumpulkan
6. Ekstraksi data dan
sintesis bukti penelitian
yang terkumpul
7. Menyusun jawaban
atas pertanyaan
penelitian
8. Menyusun laporan
hasil systematic review

14. Bagaimana cara melakukan systematic
review?

15. Tahapan Systematic Review
1. Menyusun
pertanyaan penelitian
2. Mencari contoh SR
yang dekat dengan
topik
3. Mencari bukti
penelitian yang relevan
dengan strategi yang
sistematis
4. Melakukan
pengelolaan proses
pencarian
5.Melakukan telaah
kritis atas bukti
penelitian yang
dikumpulkan
6. Ekstraksi data dan
sintesis bukti penelitian
yang terkumpul
7. Menyusun jawaban
atas pertanyaan
penelitian
8. Menyusun laporan
hasil systematic review

16. Tahapan Systematic Review
1. Menyusun
pertanyaan penelitian
2. Mencari contoh SR
yang dekat dengan
topik
3. Mencari bukti
penelitian yang relevan
dengan strategi yang
sistematis
4. Melakukan
pengelolaan proses
pencarian
5.Melakukan telaah
kritis atas bukti
penelitian yang
dikumpulkan
6. Ekstraksi data dan
sintesis bukti penelitian
yang terkumpul
7. Menyusun jawaban
atas pertanyaan
penelitian
8. Menyusun laporan
hasil systematic review

17. Menyusun Pertanyaan Penelitian [1]
• Review Question: What is the effectiveness of social media education
compared to face-to-face community education to improve exclusive
breastfeeding among women?
• P I C O (Population/Patient, Intervention, Comparison, Outcome)
• Contoh:
• P: women OR mother
• I: social media education
• C: face-to-face education
• O: behavior OR knowledge OR attitude OR practice

18. Tahapan Systematic Review
1. Menyusun
pertanyaan penelitian
2. Mencari contoh SR
yang dekat dengan
topik
3. Mencari bukti
penelitian yang relevan
dengan strategi yang
sistematis
4. Melakukan
pengelolaan proses
pencarian
5.Melakukan telaah
kritis atas bukti
penelitian yang
dikumpulkan
6. Ekstraksi data dan
sintesis bukti penelitian
yang terkumpul
7. Menyusun jawaban
atas pertanyaan
penelitian
8. Menyusun laporan
hasil systematic review

19. Mencari Contoh Systematic Review
• Yang dicek dari contoh systematic review:
• Database apa yang digunakan
• Kata kunci apa yang digunakan
• Contoh database
• Internasional: MEDLINE, EBSCO, PubMed, Web of Science, EMBASE, Cochrane
Library, dsb.
• Dalam Negeri: (https://ejournal2.litbang.kemkes.go.id/)
(http://garuda.ristekbrin.go.id/)

20. Tahapan Systematic Review
1. Menyusun
pertanyaan penelitian
2. Mencari contoh SR
yang dekat dengan
topik
3. Mencari bukti
penelitian yang relevan
dengan strategi yang
sistematis
4. Melakukan
pengelolaan proses
pencarian
5.Melakukan telaah
kritis atas bukti
penelitian yang
dikumpulkan
6. Ekstraksi data dan
sintesis bukti penelitian
yang terkumpul
7. Menyusun jawaban
atas pertanyaan
penelitian
8. Menyusun laporan
hasil systematic review

21. Mencari Bukti Penelitian yang Relevan dengan
suatu Strategi yang Sistematis [1]
MENENTUKAN KATA KUNCI PENCARIAN
• Mengulang (dan/atau memodifikasi) kata kunci yang sudah ada pada
Systematic Review sebelumnya. Pertimbangkan apakan kata kunci
bersifat spesifik (Precise) atau luas (comprehensive)
• Konsultasi pada pustakawan
• Menggunakan software text mining
(https://libguides.jcu.edu.au/systematic-review/keywords)
KRITERIA INKLUSI & EKSKLUSI LITERATURE

22. Mencari Bukti Penelitian yang Relevan dengan
suatu Strategi yang Sistematis [2]
CARA MENCARI
1. BIBLIOGRAPHIC SEARCHING: Pencarian melalui database
elektronik(Medlin, Pubmed
https://www.nlm.nih.gov/bsd/pmresources.html, EMBASE
https://www.embase.com/login)
2. GREY LITERATURE: Conference abstracts or proceedings, tesis,
disertasi, web, laporan lain.
3. HAND SEARCHING: dari daftar pustaka artikel yang sudah tersaring
pada no. 1
4. KONTAK PENULIS: Unpublished/ongoing studies

25. Tahapan Systematic Review
1. Menyusun
pertanyaan penelitian
2. Mencari contoh SR
yang dekat dengan
topik
3. Mencari bukti
penelitian yang relevan
dengan strategi yang
sistematis
4. Melakukan
pengelolaan proses
pencarian
5.Melakukan telaah
kritis atas bukti
penelitian yang
dikumpulkan
6. Ekstraksi data dan
sintesis bukti penelitian
yang terkumpul
7. Menyusun jawaban
atas pertanyaan
penelitian
8. Menyusun laporan
hasil systematic review

26. Melakukan Pengelolaan Proses Pencarian
• Manual
• Excel
• Software Pengelolaan Referensi
• End-Note (https://uow.libguides.com/systematic-review/how-to-do-a-
systematic-review)
• Mendeley

27. • Skrining dari abstrak dan judul
dari aspek relevansi (software:
excel, end-note)
(https://libguides.jcu.edu.au/s
ystematic-review/screen)
• Skrining berdasarkan kriteria
inklusi atau eksklusi
(https://libguides.jcu.edu.au/s
ystematic-review/screen)
• Mencari full-text (melalui
google scholar, pubmed,
ResearchGate, Academia.edu,
LinkedIn db.)
https://libguides.jcu.edu.au/sy
stematic-review/locate

28. Tahapan Systematic Review
1. Menyusun
pertanyaan penelitian
2. Mencari contoh SR
yang dekat dengan
topik
3. Mencari bukti
penelitian yang relevan
dengan strategi yang
sistematis
4. Melakukan
pengelolaan proses
pencarian
5.Melakukan telaah
kritis atas bukti
penelitian yang
dikumpulkan
6. Ekstraksi data dan
sintesis bukti penelitian
yang terkumpul
7. Menyusun jawaban
atas pertanyaan
penelitian
8. Menyusun laporan
hasil systematic review

29. Melakukan Telaah Kritis atas Bukti Penelitian
yang Dikumpulkan
• Siapa yang melakukan?: Dua orang melakukan telaah kritis
• Critical appraisal checklist apa yang digunakan? Sesuaikan dengan study design
https://www.equator-network.org/
https://casp-uk.net/casp-tools-checklists/
https://joannabriggs.org/ebp/critical_appraisal_tools
https://canchild.ca/en/resources/137-critical-review-forms-and-guidelines
• Dapat dilakukan dengan software, seperti RobotReviewer:
https://www.robotreviewer.net/ -- masih terbatas pada disain penelitian RCT
• Hasilnya dirangkum dalam suatu tabel tentang risk of bias (https://handbook-5-
1.cochrane.org/chapter_8/figure_8_6_a_example_of_a_risk_of_bias_table_for_a
_single.htm)

30. Tahapan Systematic Review
1. Menyusun
pertanyaan penelitian
2. Mencari contoh SR
yang dekat dengan
topik
3. Mencari bukti
penelitian yang relevan
dengan strategi yang
sistematis
4. Melakukan
pengelolaan proses
pencarian
5.Melakukan telaah
kritis atas bukti
penelitian yang
dikumpulkan
6. Ekstraksi data dan
sintesis bukti penelitian
yang terkumpul
7. Menyusun jawaban
atas pertanyaan
penelitian
8. Menyusun laporan
hasil systematic review

31. Ekstraksi Data
• Ekstraksi data: mengambil informasi dari artikel ke tabel rangkuman
data ekstraksi
• Proses:
• Dicari manual pada teks. Hasilnya dirangkum dengan tabel excel
• Software Nvivo. Teks yang diperoleh dimasukkan dalam tabel excel

32. Tahapan Systematic Review
1. Menyusun
pertanyaan penelitian
2. Mencari contoh SR
yang dekat dengan
topik
3. Mencari bukti
penelitian yang relevan
dengan strategi yang
sistematis
4. Melakukan
pengelolaan proses
pencarian
5.Melakukan telaah
kritis atas bukti
penelitian yang
dikumpulkan
6. Ekstraksi data dan
sintesis bukti penelitian
yang terkumpul
7. Menyusun jawaban
atas pertanyaan
penelitian
8. Menyusun laporan
hasil systematic review

33. Synthesis
• Synthesis pada studi yang sama = META-ANALYSIS dengan membuat
Forest Plot (https://libguides.jcu.edu.au/systematic-
review/synthesise).
• Tools: STATA
• Synthesis tanpa meta analysis: PRISMA + SWiM guideline

34. Tahapan Systematic Review
1. Menyusun
pertanyaan penelitian
2. Mencari contoh SR
yang dekat dengan
topik
3. Mencari bukti
penelitian yang relevan
dengan strategi yang
sistematis
4. Melakukan
pengelolaan proses
pencarian
5.Melakukan telaah
kritis atas bukti
penelitian yang
dikumpulkan
6. Ekstraksi data dan
sintesis bukti penelitian
yang terkumpul
7. Menyusun jawaban
atas pertanyaan
penelitian
8. Menyusun laporan
hasil systematic review

35. Bagaimana mempersiapkan naskah publikasi
Systematic Review?

36. Pemetaan jurnal ilmiah yang
mempublikasikan systematic review
• Membaca contoh-contoh systematic review – kenali jurnal mana yang
potensial untuk publikasi sesuai TOPIK dan menerima SYSTEMATIC REVIEW
• Memakai mesin journal finder:
• Elsevier: https://journalfinder.elsevier.com/
• Springer Nature: https://journalsuggester.springer.com/
• Emerald: https://www.emeraldgrouppublishing.com/products/journals/find-a-
journal
• Taylor Francis: https://authorservices.taylorandfrancis.com/journal-suggester/
• Wiley: https://journalfinder.wiley.com/search?type=match
• Kunjungi laman jurnal yang ditarget
• Pelajari Guideline for author

37. Beberapa Jurnal Internasional yang Menerima
Systematic Review
• Systematic Review
(https://systematicreviewsjournal.biomedcentral.com/), SCOPUS Q1
• PLoS One (https://journals.plos.org/plosone/s/criteria-for-
publication), SCOPUS Q1
• Health psychology review
(https://www.tandfonline.com/toc/rhpr20/current), SCOPUS Q1
• Dsb.

38. Bagaimana Format Penulisan Systematic
Review?
Protokol Laporan
Abstrak

39. Format Protokol Systematic Review

40. Panduan Laporan Hasil Systematic Review

41. Panduan Menyusun Abstrak Systematic
Review

42. Registrasi Systematic Review
• PROSPERO (https://www.crd.york.ac.uk/PROSPERO/)
• Wajib Registrasi untuk systematic review hendak dipublikasi internasional
• Registrasi sebelum publikasi

43. Contoh artikel systematic review dan meta-
analysis
• He et al. Peer education for HIV prevention among high-risk groups: a
systematic review and meta-analysis. BMC Infect Dis 2020; 20(1): 338.
doi: 10.1186/s12879-020-05003-9.
https://bmcinfectdis.biomedcentral.com/articles/10.1186/s12879-
020-05003-9
• Schweda S, Krauss I. Physical activity promotion for multimorbid
patients in primary care settings: a protocol for a systematic review
evaluating health benefits and harms. Systematic Reviews 2020; 9:
110. doi: 10.1186/s13643-020-01379-6.
• https://systematicreviewsjournal.biomedcentral.com/articles/10.118
6/s13643-020-01379-6

44. Apa hal-hal yang perlu diperhatikan untuk
meningkatkan peluang keberhasilan publikasi
systematic review?

45. PRISMA Guideline – Methods [1]
• Indicate if a review protocol exists, if and where it can be accessed (e.g.,
Web address), and, if available, provide registration information including
registration number.
• Specify study characteristics (e.g., PICOS, length of follow‐up) and report
characteristics (e.g., years considered, language, publication status) used as
criteria for eligibility, giving rationale.
• Describe all information sources (e.g., databases with dates of coverage,
contact with study authors to identify additional studies) in the search and
date last searched.
• Present full electronic search strategy for at least one database, including
any limits used, such that it could be repeated.
• State the process for selecting studies (i.e., screening, eligibility, included in
systematic review, and, if applicable, included in the meta‐analysis).

46. PRISMA Guideline – Methods [2]
• Describe method of data extraction from reports (e.g., piloted forms, independently, in
duplicate) and any processes for obtaining and confirming data from investigators.
• List and define all variables for which data were sought (e.g., PICOS, funding sources) and
any assumptions and simplifications made.
• Describe methods used for assessing risk of bias of individual studies (including
specification of whether this was done at the study or outcome level), and how this
information is to be used in any data synthesis.
• State the principal summary measures (e.g., risk ratio, difference in means).
• Describe the methods of handling data and combining results of studies, if done,
including measures of consistency (e.g., I2) for each meta‐analysis.
• Specify any assessment of risk of bias that may affect the cumulative evidence (e.g.,
publication bias, selective reporting within studies).
• Describe methods of additional analyses (e.g., sensitivity or subgroup analyses, meta-
regression), if done, indicating which were pre‐specified.

47. PRISMA Guideline - Results
• Give numbers of studies screened, assessed for eligibility, and included in the review,
with reasons for exclusions at each stage, ideally with a flow diagram.
• For each study, present characteristics for which data were extracted (e.g., study size,
PICOS, follow-up period) and provide the citations.
• Present data on risk of bias of each study and, if available, any outcome level assessment
(see item 12).
• For all outcomes considered (benefits or harms), present, for each study: (a) simple
summary data for each intervention group (b) effect estimates and confidence intervals,
ideally with a forest plot.
• Present results of each meta-analysis done, including confidence intervals and measures
of consistency.
• Present results of any assessment of risk of bias across studies (see Item 15).
• Give results of additional analyses, if done (e.g., sensitivity or subgroup analyses, meta-
regression [see Item 16]).

48. Referensi [1]
• Video:
• https://training.cochrane.org/resource/systematic-reviews-meta-analyses-
and-real-world-evidence-introduction
• Artikel Jurnal:
• Beller EM, Glasziou PP, Altman DG, Hopewell S, Bastian H, et al. (2013)
PRISMA for Abstracts: Reporting Systematic Reviews in Journal and
Conference Abstracts. PLoS Med 10(4): e1001419.
doi:10.1371/journal.pmed.1001419
• Campbell M, McKenzie JE, Sowden A, Katikireddi SV, Brennan SE et al.
Synthesis without meta-analysis (SWiM) in systematic reviews: reporting
guideline. BMJ 2020;368:l6890 http://dx.doi.org/10.1136/bmj.l6890

49. Referensi [2]
• Artikel Jurnal:
• Cooper A, Booth A, Varley-Champbell J, Britten N, Garside R. Defining the
process of literature searching in systematic reviews: a literature review of
guidance and supporting studies. BMC Medical Research Methodology (2018)
18:85
• Cooke A, Smith D, Booth A. Beyond PICO: The SPIDER tool for qualitative
research evidence synthesis. Qualitative Health Research 2012; 22(10) 1435-
1443.
• France EF, Cunningham M, Ring N, Uny I, Duncan EAS et al. Improving
reporting of meta-ethnography: the eMERGe reporting guidance. BMC
Medical Research Methodology 2019; 19: 25.
https://doi.org/10.1186/s12874-018-0600-0

50. Referensi [3]
• Artikel Jurnal:
• Moher D, Shamseer L, Clarke M, Ghersi D, Liberati A. et al. Preferred reporting
items for systematic review and meta-analysis protocols (PRISMA-P) 2015
statement. Systematic Reviews 2015; 4:1.
http://www.systematicreviewsjournal.com/content/4/1/1
• Moher D, Liberati A, Tetzlaff J, Altman DG. Preferred reporting items for
systematic reviews and meta-analyses: the PRISMA statement. BMJ
2009;339:b2535 doi: 10.1136/bmj.b2535