The use of meta -analysis for Pharmacoepidemiology
1. The Use of Meta-analysis for
PE studies
อ.กมลวรรณ ตันติพิวัฒนสกุล
2. Systematic review (SR)
• A review that has been prepared using a
systematic approach to minimizing biases
and random errors which is documented ina
materials and methods section.
3. Rationale for systematic reviews
• To refine unmanageable amount of info.
through critical exploration, evaluation, and
synthesis
• To integrate the critical pieces of available
biomedical info.
• Efficient scientific technique: quicker and less
costly than embarking on a new study
• To establish generalizability
4. Rationale for systematic reviews
• To assess consistency among studies of the
same intervention or even among studies of
different interventions
• To explain data inconsistencies and conflicts
• Quantitative systematic reviews increase
statistical power and precision of the overall
result
5. Meta-analysis,
quantitative systematic review
• The statistical analysis of a collection of
analytic results for the purpose of integrating
the findings
(DerSimonian R & Laird N. Controlled Clin Trials 1986; 7: 177-188)
• Systematic review that uses statistical
methods to combine the results of 2 or more
studies
(Cook DJ, et al. Ann Intern Med 1997; 126: 376-380)
6. Meta-analysis,
quantitative systematic review
• The systematic quantitative pooling of
available evidence on a particular research
question with the use of appropriate statistical
methods
(A. Li Wan Po. Dictionary of evidence-based medicine, 1998)
• The statistical combination of results from
several studies to produce a single estimate of
a treatment effect or size of an association
(Zwahlen M, et al. Urol Oncol: Seminar Original Investiation 2008; 26: 320-29)
9. Purposes of meta-analysis
• To increase statistical power
• To reduce random errors in the assessment
of treatment
• To improve estimates of effect size
• To resolve uncertainty when reports disagree
• To produce more generalizable results
• To identify sources of variation among study
finding
10. Essential steps in systematic review
• I. Define the question
• II. Perform literature search
• III. Apply inclusion/exclusion criteria
• IV. Collect the data
• V. Summarize the evidence, if possible, using
appropriate statistical methods
• VI. Formulate conclusion and
recommendations
11. I. Define the question
• Define precisely the question (primary and
secondary objectives), e.g.
• – Are NSAIDs associated with an increased risk of GI
side effects?
• – Can oral contraceptives protect against ovarian
cancer?
• Specify inclusion and exclusion criteria:
• population, intervention or exposure, outcome,
methodology (based on specific hypothesis being
tested)
15. II. Perform literature search
• Decide on info. sources:
• database, experts, funding agencies, pharmaceutical
companies, abstracts, conference/symposia
proceedings, hand- searching, personal files,
registries, citation lists of retrieved articles
• Determine restrictions:
time frame, unpublished data, language
• Identify titles and abstracts
16. II. Perform literature search
• Systematic retrieval of literature
– Computerized searches
– Manual searches
• Computerised searches
– Allow access to a number of references
– Primarily Eng. language Js are scanned
• No single electronic database is
comprehensive enough to record all
publications from all medical Js
17. II. Perform literature search
• Electronic databases
• MEDLINE
• EMBASE
• CENTRAL (Cochrane Central Register of Controlled
Trials)
• CINAHL (Cumulative Index to Nursing and Allied
Health Literature)
• Web of Science
• Scopus
• AMED (Allied and Complementary Medicine Database)
18. II. Perform literature search
• BIOSIS Previews
• BioMed Central
• PsycINFO (Psychological Abstracts)
• IPA (International Pharmaceutical Abstracts)
• LILACS (Latin American and Caribbean Health Sciences
Literature)
• “No single electronic database is comprehensive
enough to record all publications from all medical Js
19. • Identifying ongoing and/or unpublished studies
• http://clinicaltrials.gov
• Current Controlled Trials (www.controlled-trials.com)
• Clinical Trial Results (www.clinicaltrialresults.org)
• Cancer-specific registers of controlled trials
(www.cancer.gov/clinicaltrials)
• AIDSinfo (www.aidsinfo.nih.gov/)
• Roche Clinical Trial Protocol Registry and ResultsDatabase
(www.roche-trials.com)
• GSK Clinical Study Register(www.gsk-
clinicalstudyregister.com)
• Novartis Clinical Trials web site
(www.novartis clinical trials.com)
20. • Bibliographic databases
• Generally the easiest and least time consuming
way to identify an initial set of relevant reports
of studies
• Can be searched electronically both for words
in the title or abstract and by using the standardised
indexing terms assigned to each record
• Most important sources for trials- CENTRAL,
MEDLINE, EMBASE
21. • Manual searches
• Handsearching:
page-by-page examn of a J issue or conference
proceedings, Excerpta Medica Abstract Journal
• Follow-up of reference lists of relevant articles
• Write to appropriate manufacturers and
investigators
24. III. Apply inclusion and exclusion criteria
• Apply inclusion and exclusion criteria to titles and
abstracts
• Obtain full articles for eligible titles and abstracts
• Apply inclusion and exclusion criteria to full
articles
• Select final eligible articles
• Assess agreement on study selection
• Only one report on the same patients be
accepted into the meta-analysis
25. IV. Collect the data
• Concerning design features, study
characteristics, and outcomes
• Two readers extract data independently and
disagreement resolved
• Use data extraction forms
• Contact the original researchers, if necessary
• Assess the quality of each study
49. VI. Formulate conclusions and
recommendations
• Clearly summarised conclusion
• Highlight strengths and weaknesses, and
degree of generalisability
• State areas need future research
51. การแปลผลการทบทวนวรรณกรรม
( Interpreting Results )
• คาแนะนาสาหรับการแปลผลการทบทวนวรรณกรรมอย่างมีระบบ โดยคานึงถึง
คาถามดังต่อไปนี้(Cochrane Reviewer’s handbook)
• 1.ทิศทางการผลการศึกษาไปทางใด (What is the direction of
effect ?)
• 2. ขนาดของผลการศึกษาเป็นอย่างไร (What is the size of the
effect ?)
• 3. ผลการศึกษาในแต่ละการศึกษาตรงกันหรือไปทิศทางเดียวกันหรือไม่
(Is the effect consistent across the studies ? )
• 4. ความน่าเชื่อถือของหลักฐานการแพทย์อยู่ในระดับใด (What is
strength of the evidence of the effect ? )
52. • 5.การนามาปรับใช้ในทางคลินิก
• นอกจากพิจารณาจากข้อมูลจากผลการศึกษาว่าเชื่อถือได้หรือไม่แล้ ว
(validity) ต้องคานึงถึงข้อมูลที่ให้นั้น”ครบ”แก่การตัดสินใจทั้งข้อดี
ข้อเสียหรือไม่ นั่นคือต้องคานึงถึงประโยชน์ทางคลินิกที่จะได้รับเมื่อเทียบกับ
ความเสี่ยงของผลข้างเคียง ทั้งนี้จะคาดหวังประโยชน์ทางคลินิกคือ มีชีวิต
ยืนยาวขึ้น โอกาสโรคลุกลามช้าลง (Prolongation of overall
survival, disease free survival or progression free
survival ) และด้วยการอยู่อย่างมีคุณภาพของชีวิ ต(more quality
of life score) และโดยมีผลข้างเคียงของการรักษาที่น้อยที่สุด
(tolerable toxicity of chemotherapy)
53. • หลักการข้อที่สองคือการปรับใช้ได้จริงหรือไม่ โดยดูจากประชากรใน
การศึกษา และการรักษาที่ให้ว่าเหมือนกับสภาพการณ์ของโรงพยาบาลที่อยู่
หรือประเทศไทยหรือไม่ หรือไม่จากัดอยู่ในกลุ่มที่ทาการศึกษาเท่านั้นแต่
คานึงต่อไปว่าน่าจะปรับใช้ในกรณีใดบ้าง หรือกรณีใดที่ใกล้เคียง หรือ
คาดการณ์ว่าประชากรกลุ่มใดอาจได้ประโยชน์มากที่สุด ทั้งนี้ต้องคานึงถึง
ปัจจัยต่าง ๆ ได้แก่ patient, intervention and disease
variation รวมถึง biologic and cultural variation,
variation in compliance, variation in baseline risk
54. Applications of meta-analysis
• Investigation of adverse effects
• New indications for existing therapy
• Differential effects among subgroups of patients
• Selection from among several alternative
therapies