Critical Appraisal - Andrei

1. 1
PENDAHULUAN
Evaluasi karya ilmiah yang otentik pada publikasi ilmiah jurnal nasional (Indonesia) sampai
saat ini belum pernah dilakukan kajian yang mendalam, sebaliknya di kalangan penerbit
jurnal internasional karya ilmiah yang diterbitkan harus memenuhi aspek “asli” dan “otentik”
(genuine and verified). Di beberapa negara, tindakan pemalsuan karya ilmiah (dan segala
bentuknya) bisa dikenakan sanksi tegas mulai dari sanksi administratif, sanksi akademis,
hingga sanksi pidana. Sebagai contoh di Amerika, telah terbentuk lembaga khusus untuk
mengendalikan “mutu” kegiatan ilmiah (penelitian, publikasi, dll) yang dilakukan oleh para
peneliti, dosen, mahasiswa, industri, laboratorium, dsb. Lembaga tersebut adalah Office of
Research Integrity (ORI).
Beberapa kasus berikut adalah contoh pemalsuan yang dilakukan oleh para peneliti. Woo
Suk Hwang (2005), seorang peneliti stem cell dari Seoul National University
mempublikasikan hasil penelitian bahwa kloning embryo manusia dapat dilakukan melalui
inti sel yang dimasukkan ke dalam sel telur yang belum dibuahi. Hasil penelitian yang
kontroversial ini kemudian diselidiki oleh Harvard Stem Cell Institute yang kemudian
menyimpulkan bahwa penelitian tersebut palsu. Ram B Singh (1992), seorang dokter umum
dari Morodabad (India) mempublikasikan temuannya bahwa diet rendah serat selama 1 tahun
dapat mengurangi resiko kematian sebesar setengah kali. Publikasi ilmiah dilakukan melalui
British Medical Journal (BMJ). Di kemudian hari, dr. RB Singh kemudian secara berulang
memasukkan beberapa tulisan dengan hasil yang hampir mirip, pihak BMJ mencurigai hasil
karya dr. RB Singh yang kemudian meminta editor untuk memeriksa keabsahan seluruh
karya ilmiah dr. RB Singh. Ternyata peneliti (dr. RB Singh ) tidak bisa memberikan bukti
otentik data penelitian yang disangkakan palsu sehingga dr. RB Singh dinyatakan telah
melakukan research misconduct dalam bentuk fabrikasi data (data fabrication).
Research misconduct (US Federal Register, 2005) terdapat beberapa jenis: 1) Fabrication,
yaitu pembuatan data atau hasil penelitian dan pencatatan serta pelaporan palsu pada sebuah
kegiatan ilmiah. 2) Falsification, yaitu manipulasi bahan penelitian, perlengkapan, atau
proses, atau merubah, atau menghilangkan data atau hasil dari penelitian yang menyebabkan
berkurangnya ketepatan penelitian. 3) Plagiarism, yaitu mengutip ide orang lain, proses,
hasil atau tulisan orang lain tanpa memberikan pengakuan.
Berdasarkan beberapa hal diatas, penulis kemudian tertarik untuk melakukan critical
appraisal jurnal terutama mengenai metode deteksi statistik untuk mengetahui research
misconduct.

2. 2
PEMBAHASAN
Judul : Are these data real? Statistical methods for the detection of data
fabrication in clinical trial
Critical appraisal - Judul
Untuk tata cara penulisan judul, sebaiknya dihindari penggunaan tanda “!”, “?” sehingga
penulisan “Are these data real ?” kurang tepat. Untuk penulisan judul cukup dituliskan
“Statistical methods for the detection of data fabrication in clinical trial”.
Penulis : Sanaa Al Marzouki – Research student, Department of Epidemiology and
Population Health, London School of Hygiene and Tropical Medicine,
London
Stephen Evans – Professor of Pharmacoepidemiology, Medical Statistics
Unit, London School of Hygiene and Tropical Medicine, London
Tom Marshall – Senior lecturer in Medical Statistics, London School of
Hygiene and Tropical Medicine, London
Ian Roberts – Professor of Epidemiology and Public Health, Department of
Epidemiology and Population Health, London School of Hygiene and
Tropical Medicine, London
Critical appraisal - Penulis
Dari susunan penulis jurnal bisa dilihat bahwa kapabilitas dari masing-masing penulis sesuai
dibidangnya. Dari judul dapat diketahui bahwa garis besar topik penelitian pada publikasi ini
adalah metode statistik dan dari daftar penulis dapat dilihat hampir semua penulis berkiprah
di bidang statistik. Ada 1 orang research student, tetapi sayang tidak dijelaskan apakah
research student tersebut adalah level master student atau doctorate student.
Publikasi : British Medical Journal, Vol 331 – July 2005
Critical appraisal - Penerbit
Jurnal ini diterbitkan melalui British Medical journal (BMJ). BMJ merupakan salah satu
sumber rujukan jurnal biomedis yang sangat terpercaya. Bahkan ada yang menyebut bahwa
“BMJ is Biblical source of medical journal”, pernyataan tersebut mungkin dikeluarkan untuk
menyatakan bahwa kredibilitas jurnal yang dipublikasikan oleh BMJ dapat dipertanggung
jawabkan. BMJ merupakan salah satu penerbit jurnal ilmiah yang memberikan perhatian

3. 3
besar pada research misconduct. “Fraud and Misconduct in Biomedical Research” (2001
telah memasuki edisi ke-3) merupakan buku yang diterbitkan oleh BMJ yang membahas
masalah research misconduct terutama dibidang penelitian biomedis.
Metode : Penelitian yang dibandingkan yaitu data dari 2 penelitian yang dicurigai
yaitu Penelitian 1) Single blind (tersamar tunggal), randomised controlled
trial, dampak diet yang diperkaya oleh buah dan sayuran terhadap 831
pasien dengan penyakit jantung koroner (PJK). Penelitian ini dilakukan
dengan tujuan untuk mengetahui dampak diet terhadap faktor yang
berhubungan dengan PJK. Waktu penelitian prospektif – follow up selama
2 tahun. Penelitian 2) Randomised controlled trial, dampak pemberian obat
pada 21.750 pasien hipertensi, dimana penelitian ini dilakukan dengan
tujuan untuk mengurangi angka kematian yang disebabkan oleh stroke
sebagai akibat dari hipertensi dan peristiwa koroner lain pada pria dan
wanita usia 35-64 tahun. Waktu penelitian prospektif – follow up selama 2
tahun.
Data yang digunakan adalah data yang telah dientri ke dalam komputer dan
diperoleh dari hasil penelitian asli.
Uji statistik : Uji statistik yang digunakan pada jurnal ini untuk deteksi research
misconduct pada baseline data secara berturut-turut adalah sebagai berikut :
1. Basic descriptive statistics yang meliputi mean, median, modus,
standar deviasi, nilai minimum dan maksimum.
2. Conventional statistical significance test yang meliputi uji t (untuk
membandingkan mean), dan uji F (untuk membandingkan varians atau
standar deviasi) dengan membandingkan antara kelompok intervensi
dan kelompok kontrol dari penelitian diet dan penelitian obat
Asumsinya bahwa jika data penelitian adalah asli, maka rata-rata,
variabilitas, distribusi, dan pola data yang dihasilkan akan mirip.
Perbedaan hanya akan terjadi oleh faktor random.
3. Digit preference, diuji dengan menggunakan uji χ2
. Digit preferens
adalah preferensi dalam pemilihan nomer tertentu, misalnya
pembulatan mendekati 5 atau 10, uji χ2
untuk mendeteksi apakah
terdapat digit preferens pada digit terakhir untuk pemilihan angka
tertentu. Asumsi yang digunakan, digit preferens memang dapat terjadi
pada setiap penelitian tetapi pola digit preferens harus sama pada setiap
kelompok yang dibentuk oleh randomisasi.
Pengolahan hasil statistik dibantu dengan menggunakan SPSS versi 12.0
update 1 (Chicago, USA). Hasil analisa ditampilkan secara tabel tekstular
tanpa grafis.

4. 4
Critical appraisal – Metode dan Uji statistik
Metode : Data penelitian yang dibandingkan merupakan penelitian intervensional
yaitu penelitian true experimental (dilakukan pemisahan antara kelompok
perlakuan dan kelompok kontrol). Penelitian jenis ini memiliki derajad
kekuatan yang lebih tinggi jika dibandingkan dengan penelitian
observasional. Dari segi waktu, penelitian ini juga kuat karena penelitian
ini dilakukan secara prospektif dilakukan selama 2 tahun. Penelitian
prospektif lebih unggul dibandingkan penelitian retrospektif karena pada
penelitian prospektif, validitas data terutama yang disebabkan oleh memory
bias bisa dihindari.
Pada penelitian 1 (penelitian diet) secara jelas disebutkan bahwa untuk
meningkatkan obyektifitas dilakukan juga langkah penyamaran tunggal
(single blind) tetapi pada penelitian 2 (penelitian obat) dari jurnal tidak ada
keterangan apakah penelitian obat tersebut dilakukan dengan atau tanpa
menggunakan penyamaran. Seyogyanya penulis juga menyebutkan apakah
pada penelitian 2 (penelitian obat) digunakan penyamaran atau tidak.
Uji statistik : Dalam melakukan deteksi research misconduct tidak cukup hanya dengan
melakukan studi dokumen ataupun dengan menggunakan bukti-bukti fisik.
Uji statistik merupakan salah satu cara yang digunakan untuk
membuktikan adanya pemalsuan/fabrikasi data. Sayangnya penggunaan
statistik terapan dibidang ini sangat jarang dan hingga saat ini belum ada
metode baku/standar yang dapat dipergunakan dalam mendeteksi research
misconduct. Evans (2001) menyatakan bahwa dalam mendeteksi data,
statistika matematis tidak bisa membantu banyak jika dibandingkan dengan
metode grafis khususnya pada penelitian dengan menggunakan beberapa
kelompok misalnya melalui grafik Cook’s distance, Mahalanobis distance,
grafik residual, dll. Secara sederhana, Evans (2001) memberikan tahapan
dalam statistical aspect of the detection of fraud sebagai berikut :
Evans (2001) juga menambahkan adanya aspek corroborotive evidence
yang meliputi: 1) Predefine a protocol, 2) Use as simple method as
possible, 3) Consider innocent explanations.
Dengan perbandingan teori Evans diatas, dari jurnal dapat diketahui bahwa
deskriptif statistik, uji-t, dan uji F termasuk dalam tahapan routine
checking karena digunakan untuk melihat variabilitas dan bentuk distribusi
dari outcome data dan uji χ2
masuk dalam tahapan more extensive checking
dimana uji ini digunakan untuk melihat ada tidaknya digit preferens.
Routine checking :
- Variability and kurtosis
- Baseline imbalance in
outcome variable
- Scatter plot matrix by
investigator
More extensive checking :
- Digit preference
- Within individual variation –
look for reduced variation
- Cluster analysis
- Mahalanobis distance

5. 5
Sehingga bisa disimpulkan bahwa tahapan-tahapan pengujian statistik pada
penelitian ini secara teoritis sudah bisa dinyatakan telah memenuhi
langkah-langkah yang dipersyaratkan.
Meskipun telah memenuhi 2 langkah dasar yang dipersyaratkan, namun hal
yang terlewat pada publikasi ini adalah penyajian hasil yang hanya
menggunakan tabel tekstual padahal jika melihat prinsip awalnya yaitu
“Statistical mathematics will not usually be as helpful as graphics in
detection of problems” (Evans, 2001). Mungkin penulis terkendala oleh
keterbatasan ruang tulisan atau batasan lain yang dikeluarkan oleh penerbit,
tapi akan tampak lebih kuat jika ditambah dengan grafik misalnya
mahalanobis distance mengingat penelitian ini adalah penelitian true
experimental dengan adanya kelompok intervensi dan kelompok kontrol.
Penggunaan software statistik yang hanya menggunakan SPSS versi 12.0 update 1 juga
memberikan batasan dalam metode uji statistik yang digunakan dalam mendeteksi research
misconduct. Penambahan software uji statistik yang dapat dipergunakan misalnya STATA
dan DataDesk.
Hasil : Tidak terdapat perbedaan standar deviasi, pada uji F didapatkan hasil tidak
terdapat perbedaan signifikan pada 5 variabel yang diuji, pada uji-t tidak
terdapat perbedaan signifikan pada 5 variabel yang diuji pada penelitian
obat. Terdapat perbedaan standar deviasi pada penelitian diet, dari uji F
didapatkan terdapat perbedaan yang signifikan pada 16 dari 22 variabel,
pada uji-t terdapat perbedaan yang signifikan pada 10 variabel dari 22
variabel yang diuji pada penelitian diet. Pada uji χ2
, untuk penelitian diet
didapatkan adanya perbedaan signifikansi yang mencolok pada digit
preferens dari kelompok kontrol dan kelompok intervensi yang diuji. Pada
penelitian obat juga terjadi digit preferens akan tetapi karena besaran angka
signifikansi berada pada level yang sama menandakan bahwa digit
preferens pada penelitian obat terjadi karena faktor randomisasi.

6. 6
Critical appraisal – Hasil
Meskipun kekurangan pada jurnal ini tidak menggunakan grafis untuk memvisualisasikan
data, tetapi kekurangan ini ditutupi oleh penggunaan penjelasan yang sederhana, lugas dan
penggunaan metode statistik yang sederhana dan mudah dipahami. Pemaparan hasil telah
memenuhi prinsip Corroborotive evidence yaitu “use as simple methods as possible” dan
“consider innocent explanations”.
Kesimpulan : Data pada penelitian diet menunjukkan adanya tindakan fabrikasi atau
falsifikasi data sedangkan pada penelitian obat data yang dihasilkan adalah
asli.
Critical appraisal – Kesimpulan
Sesuai dengan kerangka teoritis dan diperkuat dengan bukti-bukti statistik yang didapatkan,
data pada penelitian dampak diet yang diperkaya oleh buah dan sayuran dengan penyakit
jantung koroner (PJK) merupakan penelitian yang research misconduct terutama
kemungkinan adanya tindakan fabrikasi atau falsifikasi data, sedangkan pada penelitian obat
terhadap penderita hipertensi melalui bukti-bukti statistik yang ada tidak ditemukan adanya
research misconduct.
Pustaka : Jurnal ini menggunakan kepustakaan dengan rincian 3 jurnal (tahun 1985,
1999, dan 2002) dan 3 textbook (1991, 1994, dan 2001)
Critical appraisal – Pustaka
Sepintas kepustakaan yang digunakan sangat sedikit dengan rentang tahun terbit pustaka
yang sangat jauh dengan jurnal ini (2005). Hal ini bisa dimaklumi karena meskipun metode
deteksi research misconduct sudah banyak dijelaskan tetapi penelitian terapan dalam bidang
ini masih sangat sedikit.
Critical appraisal – Lain-lain
Jurnal ini secara sederhana memaparkan langkah-langkah sistematis dalam mendeteksi data
pada penelitian yang dicurigai research misconduct. Sangat disayangkan bahwa sumber data
yang digunakan dirahasiakan dan tidak disediakan data asli yang bisa diunduh (download)
sehingga pembaca tidak bisa mencoba melakukan tahapan-tahapan analisis statistik yang
dipaparkan.

7. 7
PENUTUP
Filosofi dasar dalam penelitian eksperimental adalah “Semua hasil penelitian adalah
otentik” hal ini mengakibatkan tidak adanya kendali untuk memverifikasi apakah data yang
didapat adalah riil atau merupakan hasil rekayasa. Fenomena di lapangan kemudian
menunjukkan bahwa kecurangan dalam penelitian ilmiah dapat dilakukan oleh siapa saja
mulai dari peneliti biasa hingga peneliti yang diramalkan akan menjadi kandidat penerima
nobel (kasus Hendrik Schon) (BBC, 2004). Berangkat dari fenomena inilah kemudian dalam
metode penelitian lahir cabang spesialisasi ilmu baru yaitu statistical detection method of
research misconduct.
Dalam membuktikan adanya research misconduct, penggunaan metode statistik saja
tidak cukup. US Federal Register (2005) menggariskan penggunaan bukti (evidence),
testimoni/hearing, catatan penelitian, dan pengawasan oleh lembaga yang berwenang untuk
memutuskan apakah seorang peneliti dinyatakan melakukan research misconduct atau tidak.

8. 8
DAFTAR PUSTAKA
BBC, The dark secret of Hendrik Schön, http://www.bbc.co.uk/science/horizon/-
2004/hendrikshontrans.shtml - serial online - diakses pada 12 November 2009
Evans, Stephen, Statistical aspects of the detection of fraud in: Fraud and misconduct in
Biomedical Research 3rd edition, BMJ Books, 2001, London
Federal Register, Department of Health and Human Services, Public Health Service Policies
on Research Misconduct Final Rule, 2005, Maryland
Scientific misconduct – http://en.wikipedia.org/wiki/Scientific_misconduct - serial online -
diakses pada 12 November 2009
Saxena, D., P.Kumar, Data Fabrication – Scientific Misconduct, Indian Journal of
Community Medicine, Vol 31 No. 3, 2006 -
http://www.indmedica.com/journals.php?journalid=7&issueid=79&articleid=1050&action=a
rticle – serial online - diakses 12 November 2009
Woo Suk Hwang, Who Faked Research, Made Spectator Breakthrough -
http://www.medicalnewstoday.com/articles/78745.php - serial online - diakses pada 12
November 2009