Critical Appraisal final.pptx

CRITICAL
APPRAISAL
Pembimbing :
DR. Med. Sc. Irma Ruslina Defi, dr., Sp.KFR(K)

CRITICAL APPRAISAL
Critical appraisal merupakan suatu proses untuk
secara berhati-hati dan sistematis menilai suatu
penelitian untuk menentukan tingkat
kepercayaannya dan nilai serta relevansinya pada
konteks tertentu.
Burls, A. What is critical appraisal? London, Hayward Group. 2009. URL:
http://www.whatisseries.co.uk/what-is-critical-appraisal/ Diakses 14 Maret 2022

LANGKAH EVIDENCE BASED MEDICINE
Ask
01
Definisikan
pertanyaan
berdasarkan PICO
Search
02
Cari bukti-bukti dari
literatur pada
database
Appraise
03
Nilai bukti-bukti yang
sudah dikumpulkan
Implement
04
Implementasikan
rangkuman bukti-bukti
yang ditemukan
sesuai kondisi pasien
Evaluate
05
Evaluasi penerapan
tatalaksana
CRITICAL
APPRAISAL

Pohon Hirarki Studi
Bandolier. Glossary index. Bandolier . 2004.
Web/URL: http://www.medicine.ox.ac.uk/bandolier/glossary.html Diakses 14 Maret
2022

Distribusi T dan Z merupakan 2
distribusi penting dalam
penelitian medis.
Distribusi ini menggambarkan
nilai probabilitas suatu
kejadian.
Misalnya pada gambar peluang
sesorang mendapatkan nilai
70 adalah 0.4 (40%) jika
mengikuti distribusi Z
dan 0.3 (30%) jika mengikuti
distribusi t
Distribusi T
dan Z
https://www.scribbr.com/statistics/t-distribution/

Z-Test vs T-Test
Z-Test T-Test
● Menggunakan distribusi z
● Digunakan jika variansi
populsi diketahui
● Digunakan jika ukuran
populasi > 50 (sample size
besar)
● Menggunakan distribusi t
● Digunakan jika variansi
populasi tidak diketahui
● Digunakan jika ukuran
populasi <50 (sample size
kecil).
Merupakan uji statistika untuk menguji hipotesis statistik
Ross SM. Introductory Statistics, 3rd edition. New York: Academic Press. 2010.

Rumus:
Dimana x = nilai sampel, μ = rata-rata
populasi, s= variansi sample 1 x
var sample 2, n = jumlah sample
Daerah batas penolakan ditentukan
dari table T dan nilai kepercayaan.
Biasa digunakan kepercayaan
95% (α= 0.05)
Nilai T yang didapatkan kemudian
dibandingkan dengan nilai T Tabel
T-Test
https://statisticsbyjim.com/hypothesis-testing/t-
tests-t-values-t-distributions-probabilities/

Menentukan nilai z-value yang
berguna untuk menentukan
batas apakah hipotesis
diterima atau ditolak.
Cara mencari nilai z, pertama
hitung z-score dari formula
slide sebelumnya. Kemudian
cek pada table nilai
probabilitasnya.
Untuk kepercayaan 95%, nilai z =
1.96
Z-Table
https://www.algebra.com/algebra/homework/Probability-
and-statistics/Probability-and-
statistics.faq.question.1163032.html
Ross SM. Introductory Statistics, 3rd edition. New
York: Academic Press. 2010.

Z test
The scores on a certain college entrance exam are normally distributed
with mean μ = 82 and standard deviation σ = 8. Approximately what
percentage of students score less than 84 on the exam?
z-score = (x – μ) / σ = (84 – 82) / 8 = 2 / 8 = 0.25
Z score =0.25

Z test
Z score =0.25
Approximately 59.87% of students score less than 84 on this exam.

Rumus:
Dimana z= z-score, x = nilai sampel, μ
= rata-rata populasi, σ= variansi
populasi, n = jumlah sample
Daerah batas penolakan ditentukan
dari table Z dan nilai kepercayaan.
Biasa digunakan kepercayaan
95% (α= 0.05)
Nilai z yg didapat kemudian
dibandingkan dengan nilai tabel
Z-Test
https://statisticsbyjim.com/hypothesis-testing/z-
table/

Menentukan nilai t-value yang
berguna untuk
menentukan batas apakah
hipotesis diterima atau
ditolak.
Dipengaruhi oleh jumlah
sample.
Df (degree of freedom) =
n sample -2
Semakin tinggi sample nilai df
semakin kecil
T-Table
https://www.algebra.com/algebra/homework/Probability-and-
statistics/Probability-and-statistics.faq.question.1163032.html
Ross SM. Introductory Statistics, 3rd edition. New
York: Academic Press. 2010.

Step 1: Choose two-tailed or one-tailed
Two-tailed tests are used when the alternative hypothesis is non-directional.
● A non-directional hypothesis states that a population parameter (such as a mean or regression
coefficient) is not equal to a certain value (such as 0). Two-tailed tests are appropriate for most
studies.
● If you’re calculating a confidence interval, choose two-tailed.
One-tailed tests are used when the alternative hypothesis is directional.
● A directional hypothesis states that a population parameter is greater than or less than a certain
value.
● Your alternative hypothesis is directional if it includes words such as “greater than,” “less than,”
“increases,” “decreases,” or the “<” or “>” sign. If it doesn’t include these (or similar), it is probably
non-directional.
T test

16 Pasien PPOK tanpa flebotomi memiliki rata rata Hb 15.68 gr/dl
st deviasi =0.406 Variance = 0.165
16 pasien PPOK DENGAN Fleobotomi memiliki rata rata Hb 15.381 gr/dl
Std deviasi =0.312 Variance = 0.097
Pertanyaannya = apakah ada perbedaan Hb antara pasien dengan flebotomi dan tanpa
flebotomi?
Contoh T test

Pertanyaannya = apakah ada perbedaan Hb antara pasien dengan flebotomi dan tanpa
flebotomi?
Contoh T test

Pertanyaannya = apakah ada perbedaan Hb
antara pasien dengan flebotomi dan tanpa
flebotomi?
T value = 2.3
Df = (16-1) + (16-1)
= 30
Didapatkan nilai kritikal = 2.042
2.3 > 2.042
Sehingga terdapat perbedaan yang
signifikan
Contoh T test

Hipotesis Statistik
Hipotesis statistik = suatu pernyataan prediksi mengenai hasil dari
pengujian pada suatu populasi.
Terdapat 2 jenis hipotesis:
• H0 (null hypothesis) = Hipotesis yang akan diuji
• H1 (alternative hypothesis) = lawan dari H0
Contoh:
Pertanyaan = apakah terdapat perbedaan kekuatan otot signifikan
pada pasien dengan rotator cuff injury sebelum dan sesudah
cryotherapy?
• H0 = tidak terdapat perbedaan signifikan pada kekuatan otot
pasien rotator cuff injury sebelum dan sesudah cryotherapy.
• H1 = terdapat perbedaan signifikan pada kekuatan otot pasien
rotator cuff injury sebelum dan sesudah cryotherapy
Ross SM. Introductory Statistics, 3rd
edition. New York: Academic Press.
2010.

Menentukan nilai batas area
penerimaan hipotesis.
Ditentukan dari nilai t dan z.
Semakin sempit rentang CI, data
kita semakin presisi
Confidence
Interval
https://statisticsbyjim.com/hypothesis-testing/t-
tests-t-values-t-distributions-probabilities/

● Menggambarkan apakah
studi kita memiliki
keberartian jika
diimplementasikan pada
populasi
● Small effect size
menunjukkan bahwa
perbedaan antar 2 grup
yang diuji dapat diabaikan,
walaupun uji statistiknya
signifikan.
● Effect size tidak
bergantung sample size
Effect Size Cohen’s D
(Nilai Cohen)
Teixeira AL, Dias MR, Damasceno VO,
Lamounier. Association between different
phases of menstrual cycle and body image
measures of perceived size, ideal size, and
body dissatisfaction. Perceptual and Motor
skills 2013; 117(3): 892-902.

Pentingnya
Effect Size
Tabel di samping menunjukkan nilai CAT dari beberapa subtest untuk
anak perempuan dan laki-laki.
Secara signifikansi statistic, nilai laki-laki signifikan lebih rendah dari
anak perempuan dengan jumlah sampel yang sangat besar di kedua
grup.
Kendati demikian secara psikologis nilainya hanya berbeda < 1 poin yang
sangat tidak bermakna. Perhitungan effect size menunjukkan bahwa studi
ini memiliki small effect size = nilai signifikansi tidak bermakna klinis

3 Kunci Critical Appraisal: VIA
Validty
design, sample, sample size, kriteria (inklusi, eklusi),
metode sampling, randomization method, intervensi ,
measurements, metode analisis
Importance
Karakteristik subjek, drop out, analysis, p value,
confidence intervals
Applicability
dibagian Diskusi + karakteristik pasien kita, seting
lokal
Lai NM. Evidence based medicine series: Part 3. Appraising the evidence are the result valid and
clinically important? Malays Fam Physician 2009; 4(2-3): 57-62.

● Apakah observasi dipengaruhi bias
● Apakah observasi dipengaruhi oleh peluang. Dilihat pada
besarnya nilai p dan lebar interval kepercayaan
● Apakah observasi dipengaruhi perancu Kemungkinan
perancu perlu diwaspadai pada setiap studi observasional
tanpa matching
Validity = ketidakhadiran eror sistematik pada desain, analisis
data dari penelitian
Bias = kehadiran pengganggu yang dapat menyebabkan
ketidak absahan hasil akhir, mengurangi validitas
VALIDITY
Lai NM. Evidence based medicine series: Part 3. Appraising the
evidence are the result valid and clinically important? Malays Fam
Physician 2009; 4(2-3): 57-62.

—Selection Bias
Selection bias terkati dengan pemilihan grup studi di awal
(case dan/atau control) yang:
1) kriterianya tidak sesuai tujuan yang akan dicapai
2) pemilihan grup tertentu (misalnya gender perempuan
saja, non-Hispanic) sehingga tdk menggambarkan
populasi
3) Ketidakseimbangan karakter case dan control group
Physician 2009; 4(2-3): 57-62.

—Information Bias
Information bias merupakan bias yang terkait dengan
metodologi penelitian.
Contoh:
1) Metode self-reporting questionnaire bisa menyebabkan
bias karena pasien bisa “berbohong” dengan kondisinya
2) Cara pelaporan dan pengumpulan informasi atau
protocol pada studi multi-center yang tidak sama.
3) Tidak ada blinding partisipan saat menerima placebo vs
obat >> mempengaruhi psikologis pasien saat
pengujian
4) Tidak ada blinding dokter saat assessment
Physician 2009; 4(2-3): 57-62.

—Confounding Factors
Confounding factors adalah factor-factor lain yang
sebenarnya bukan merupakan factor utama yang diteliti
tetapi bisa mempengaruhi keluaran penelitian.
Contoh: pada test Fine Motoric antara anak dengan
hemiplegia vs paraplegia, terdapat factor yang turut
mempengaruhi hasil test yakni komposisi gender. Anak
perempuan cenderung memiliki nilai motoric lebih tinggi
dibanding laki-laki. Oleh sebab itu saat mendesain
penelitian, komposisi gender kedua grup harus sama.
Physician 2009; 4(2-3): 57-62.

Kriteria yang digunakan untuk menseleksi
partisipan.
Pada critical appraisal, pemilihan partisipan akan
dinilai berdasarkan external validity dan
objektivitasnya.
External validity = apakah dengan kriteria
pemilihan tersebut partisipan studi dapat mewakili
populasi?
Objective = apakah kriteria studi memihak pada
salah satu kriteria saja. Contohnya pada studi
performa akademik, hanya murid dengan nilai
matematika > 85 yang disertakan, sehingga hasil
studi tidak dapat mewakili populasi yang lebih
besar.
Kriteria Inklusi dan Eksklusi
Lai NM. Evidence
based medicine
series: Part 3.
Appraising the
evidence are the
result valid and
clinically
important?
Malays Fam
Physician 2009;
4(2-3): 57-62.

Critical Appraisal Tool
Ada berbagai tools untuk critical appraisal yang berisi set checklist. Salah satu
yang sering digunakan adalah tool dari CEBM(Center for Evidence Based
Management) Penilaian studi, jika jawaban Yes = 1 poin, No atau Can’t Tell =
0, kecuali untuk pertanyaan nomor 11 dimana No = 1, Yes = 0.
Center for Evidence Based Management. Critical Appraisal Tools. 2022.
https://www.cebm.ox.ac.uk/resources/ebm-tools/critical-appraisal-tools

Score
Kurang Kurang dari 7 poin
Cukup Antara 7-10 poin
Baik 10 sampai 12 poin
Bagaimana Nilai Studi?
Center for Evidence Based Management. Critical Appraisal Tools. 2022.
https://www.cebm.ox.ac.uk/resources/ebm-tools/critical-appraisal-tools

Center for Evidence Based
Management (July, 2014), Critical
Appraisal Checklist for a Case-
Control Study.
Data dredging = metode untuk
mencari signifikansi pada data
(Smith, 2002)
Smith GD. Data dredging, bias, or
confounding. BMJ 2002; 325(7378):
1437-1438.

Matusiak-Wieczorek E, Dziankowska-Zaborszczyk E, Synder M, Borowski
A. The influence of hippotherapy on the body posture in a sitting position
among children with cerebral palsy. It J Env Res Pub Health 2020; 17: 6846

• Jurnal ini berbicara soal pengaruh hippotherapy (terapi dengan kuda)
terhadap postur dan fungsi tubuh anak-anak cerebral palsy.
• Jenis studi yang digunakan adalah case-control study
• Kriteria inklusi:
• Anak-anak usia 6-12 tahun dengan spastic diplegia atau hemiplegia yang
didiagnosa dengan Gross Motor Function Classification System
(GMFCS) level I atau level II.
• Kriteria ekslusi:
• Anak-anak yang menjalani operasi ortopedi, neurologis dalam 6 bulan
terakhir,
• anak-anak yang tidak dapat memahami tugas yang diberikan.
Isi Jurnal

Perlakuan:
• 2 grup perlakuan dan 1 grup control.
• Grup perlakuan diberikan hippotherapy 30 menit. Grup I sekali seminggu,
grup 2 2x seminggu selama 12 minggu.
• Setelah terapi, anak-anak diminta mengerjakan tugas: bersandar kedepan
dan menyentuh telinga kuda dengan tangan bergantian, menegakkan tubuh,
menggerakan tubuh ke samping dan memutar pinggang, menaruh tangan
ke belakang kepala, merentangkan tangan dan menjaga posisi ini selama
naik kuda.
Pengukuran
• Sitting Assessment Scale oleh blinded examiner
• Uji statistik pada rentang kepercayaan 95%.
• Improvement = anak-anak yang mengalami peningkatan nilai SAS minggu
ke 12 banding minggu ke-0
Isi Jurnal

Hasil:
• Terdapat perbedaan signifikan antara Grup I dibandingkan control pada
anak hemiplegia.
• Tidak terdapat perbedaan signifikan grup II dibanding control baik pada
pasien diplegia maupun hemiplegia.
• Terdapat perbedaan signifikan grup I banding control pada anak-anak
GMFCS level I, tetapi tidak pada level II.
• Terdapat perbedaan signifikan pada grup I banding control maupun grup II
banding control pada anak usia 6-7 tahun, tetapi tidak pada anak usia 8-12
tahun.
Isi Jurnal

1. Focused issue (Yes)
2. Method (Yes)

3. Enough subject (No < 30 per group)
4. Selection (Yes)
5. Comparable (No)
Level of GMFCS berbeda di tiap grup
Author tdk memberikan nilai p-value

6. Unbiased outcome criteria (Yes)
Menggunakan instrument valid
7. Data dredging (Yes)
Ada uji statistik
8. Validated measurement (Yes)
menggunakan instrument valid, diuji
oleh blind examiner

9. Size effect (can’t tell) tida ada uji
Cohen’s d
10. No (tidak ada confidence interval)

11. No (sudah dilakukan subgroup
analysis) berdasar tipe CP, GMFC level,
usia

Dapat dikatakan bahwa kualitas studi
cukup baik
Skor: 7/11

Appraisal Checklist for a Cohort or
Panel Study.

Hameed F, Palatulan E, Jaywant A, Said R, Lau C, Sood V, et al. Outcomes
of a COVID-19 recovery program for patients hospitalized with SARS-CoV-2
infection in New York City: A prospective cohort study. PM&R 2021. Doi:
10.1002/pmrj.12578

1. Focused question (Yes) > melihat
improvement dari virtual rehabilitation
program
2. Yes >> Prospective cohort karena
melihat prognosis pemberian intervensi

3. No (jumlah cohort di setiap group
berbeda, ada grup yang <30)
4. Yes >> ada kriteria inklusi dan ekslusi

5. Yes. Representatif karena semua
pasien dari kalangan usia, ras masuk
dalam studi (tdk ada pemilihan)
6. Follow-up 2 minggu (Yes)

7. Unbiased outcome criteria (Yes) >> menggunakan
kuesioner dan tes yang valid
8. Yes >> assessment oleh physical
therapist yang datang berkunjung

10. No.
9.Can’t tell
11. Yes karena ada impaired activity post-COVID
yg bisa mempengaruhi keberhasilan rehabilitasi

Randomized
Controlled Trial
03

Appraisal Checklist for a Controlled
Study.

Cho YT, Hsu WY, Lin LF, Lin YN. Kinesio taping reduces elbow pain during
resisted wrist extension in patients with chronic lateral epicondylitis: a
randomized double blinded cross-over study. BMC Musculoskelet Dis 2018;
19:193.

1. Yes >> studi bertujuan melihat efektivitas KT
pada immediate pain control
2. Yes >> karena bertujuan melihat keberhasilan
intervensi, RCT adalah desain yang cocok

3. No hanya ada 15 partisipan
untuk 2 grup (KT-ST vs ST-KT)
4.Yes >> random degan coin-
tossed

5. Yes >> ada kriteria inklusi
ekslusi
6. Unknown >>. Tdk ada karakteristik partisipan

7. Yes kriteria berdasarkan Numeric Rating Scale (NRS)
8. Yes >> method of assessment
dengan pain free grip strength,
pressure pain threshold,
diukur oleh dokter

9. Can’t tell
10. No. Confidence interval tidak
diberikan
11. Yes hasil bisa
dipengaruhi gender,
durasi penyakit yg tidak
dianalisis lebih lanjut

Dapat dikatakan bahwa kualitas studi
kurang baik.
Skor: 6/11

CREDITS: This presentation template was created by Slidesgo, including icons
by Flaticon and infographics & images by Freepik
THANKS
!
DO YOU HAVE ANY QUESTIONS?
Please keep this slide for attribution

Critical Appraisal final.pptx

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Similar to Critical Appraisal final.pptx

Similar to Critical Appraisal final.pptx (20)

More from reseptianIlhamsyah

More from reseptianIlhamsyah (14)

Recently uploaded

Recently uploaded (20)

Critical Appraisal final.pptx

Editor's Notes