Download to read offline
Epidemiological Surveillance System Evaluation
- 1.
- 2. Definition of Surveillance Anongoing, systematic collection, analysis, and interpretation of health-related data essential to the planning, implementation, and evaluation of public health practice, closely integrated with the timely dissemination of these data to those responsible for prevention and control. Source: WHO 2
- 3. Public Health SurveillanceSystem Health Services Intelligence Case/ Event Data Investigation & Control 2.Collection 4.Analysis & Interpretation 5. Dissemination ongoing 3 1.Detection Information 3.Consolidation 6. Action
- 4. How surveillance isdifferent from disease statistics? Disease statistics Surveillance • Aim for telling about magnitude of problem of each disease • Not provide data timely, usually once a year • Aim for early detection of the problem, so report even suspect case • Continuously keep close look at the data, often report every week • No need to have data on every disease 4
- 5. Major Types ofSurveillance System Passive vs Active R506 vs Cholera surveillance during outbreak Routine vs Special R506 vs Post-disaster surveillance Population-wide vs Sentinel R506 vs Injury surveillance (IS) Indicator (case)-based vs Event-based R506 vs Community event-based surveillance 5
- 6. More important concepts(1) I. Zero reporting: All reporting sites should report at a specified frequency e.g. weekly Even if there is a zero case Ensure that the existing system is going effectively 6
- 7. More important concepts(2) II. Syndromic surveillance: Pre-doctor’s, pre-laboratory diagnosis Set of symptoms as a syndrome Provide a sufficient probability of an outbreak to warrant further public health response e.g. Influenza-liked illness (ILI) 0 1000 2000 3000 4000 wk1 wk2 wk3 wk4 wk5 wk6 wk7 wk8 wk9 wk10 wk11 wk12 wk13 wk14 wk15 wk16 wk17 wk18 wk19 wk20 wk21 wk22 wk23 wk24 wk25 wk26 wk27 wk28 wk29 wk30 wk31 wk32 wk33 wk34 wk35 wk36 wk37 wk38 wk39 wk40 wk41 wk42 wk43 wk44 wk45 wk46 wk47 wk48 wk49 wk50 wk51 wk52 Number of influenza cases 2014 (case-based surveillance) Percentage of ILI, weekly, 2014 (syndromic surveillance) 7
- 9.
- 10. One disease canhave more than 1 type of surveillance Influenza surveillance Influenza case report ILI surveillance Influenza sero-sentinel surveillance 0.0 10.0 20.0 30.0 40.0 50.0 60.0 70.0 80.0 90.0 100.0 0 10 20 30 40 50 60 70 80 90 100 3 Jan 10 24 Jan 14 Feb 7 Mar 28 Mar 18 Apr 9 May 30 May 20 Jun 11 July 1 Aug 22 Aug 12 Sep 3 Oct 24 Oct 14 Nov 5 Dec 26 Dec 16 Jan 6 Feb 27 Feb 20 Mar Neg Flu B Flu A not subtype Flu A:H3 Flu A:H1 H1N1 PDM 0 10 20 30 40 50 0 1000 2000 3000 4000 5000 6000 7000 8000 9000 death cases death H1N1 2009 influenza (รง. 506) H1N1 2009 10
- 11.
- 12. ทำไมเรำจึงต้องประเมินระบบเฝ้ำระวัง? “To ensure thatproblems of public health importance are being monitored effectively and efficiently” Effectively (ประสิทธิผล) : functioning well Efficiently (ประสิทธิภาพ) : function with low cost 12
- 13. การประเมินระบบเฝ้าระวัง วัตถุประสงค์ของการประเมินระบบเฝ้าระวัง เพื่อให้ทราบความสาคัญและสถานการณ์การระบาดของโรคที่ แท้จริง เพื่อให้ทราบประสิทธิผลและประสิทธภาพของระบบเฝ้าระวัง เพื่อเป็นการกระตุ้นให้ระบบเฝ้าระวังยังคงทางานได้อย่างมี ประสิทธิผล เพื่อให้ได้แนวทางในการปรับปรุงพัฒนาระบบเฝ้าระวัง
- 14. I. Engage Stakeholders II. Describethe surveillance system III.Focus the evaluation design IV. Gather credible evidence V.Justify conclusions VI. Ensure use and share lessons learned Framework for Surveillance Evaluation Source: US CDC
- 15. ขั้นตอนการประเมินระบบเฝ้าระวัง ส่วนเสีย เข้ำร่วม ศึกษำภำพรวมของระบบที่จะประเมิน เลือกประเด็นหรือคุณลักษณะของระบบที่ ต้องกำรประเมินและกำหนดวิธีกำรศึกษำ ดำเนินกำรประเมินโดยกำรรวบรวมข้อมูลและ หลักฐำนต่ำงๆ วิเครำะห์ แปลควำมและสรุปผลกำรประเมิน นำเสนอผลและให้ข้อเสนอแนะกับผู้เกี่ยวข้อง
- 16. กำหนดเป้ำหมำยของกำรประเมินโดยผู้มี ส่วนได้ส่วนเสียเข้ำร่วม ได้แก่ ผู้ที่อยู่ในกระบวนกำรดำเนินงำนของระบบเฝ้ำระวัง ผู้ที่ได้รับประโยชน์หรือผลกระทบจำกระบบเฝ้ำระวัง ผู้ที่เป็นเป้ำหมำยหลักที่จะใช้ผลจำกกำรประเมินระบบเฝ้ำ ระวัง ควรนาผู้ที่มีส่วนได้ส่วนเสียเหล่านี้มาร่วมกาหนด คาถามและวัตถุประสงค์ของการประเมิน
- 17. ศึกษำภำพรวมของระบบที่จะประเมิน ควำมสำคัญทำงสำธำรณสุขของโรค ระบบที่จะทำกำร ประเมิน วัตถุประสงค์และขั้นตอนกำรดำเนินงำน ทรัพยำกรที่ใช้ในกำรดำเนินงำนของระบบเฝ้ำระวัง
- 18. ความสาคัญทางสาธารณสุขของโรค ระบบที่จะทาการประเมิน ขนาดของปัญหา จานวนผู้ป่วยอัตราการเกิดโรค ความชุกของโรค ความรุนแรงของปัญหา อัตราตาย อัตราป่วยตาย อัตราการนอนโรงพยาบาล ความสามารถในการป้องกันโรค ความสนใจของสังคม
- 19. วัตถุประสงค์และขั้นตอนการดาเนินงาน วัตถุประสงค์ของระบบเฝ้าระวัง แนวทางการใช้ประโยชน์จากข้อมูลเฝ้าระวัง นิยามผู้ป่วย โครงสร้างของระบบเฝ้าระวัง การไหลเวียนข้อมูล ส่วนประกอบต่างๆของระบบ ประชากรที่อยู่ภายใต้การเฝ้าระวัง ความถี่ของการเก็บข้อมูล ต้องเปรียบเทียบ สิ่งที่ควรเป็น แนวทำง/มำตรฐำน กับ สิ่งที่ปฏิบัติจริง
- 20. ส่งข้อมูลทาง Internet ดึงข้อมูล ผู้ป่วยเข้าสู่ ระบบ 506 โรงพยาบาล การส่งข้อมูล การแจ้งข้อมูลย้อนกลับ สสอ สอรพ สต อสม E-mail E-mail สสจ เวชกรรม สังคม Fax/ E- mail โทรแจ้งเมื่อสงสัย H1N1 โทรแจ้งเมื่อสงสัย H1N1 การไหลเวียนของข้อมูลสาหรับระบบเฝ้าระวังโรค ไข้หวัดใหญ่ในโรงพยาบาลแห่งหนึ่ง ดึงข้อมูล ผู้ป่วยเข้าสู่ ระบบ 506
- 21. ทรัพยากรที่ใช้ในการดาเนินงาน ของระบบเฝ้าระวัง บุคลำกร งบประมำณ ทรัพยำกรอื่นๆ กำรฝึกอบรม วัสดุ คอมพิวเตอร์และอุปกรณ์อื่นๆ ค่ำเดินทำง ค่ำใช้จ่ำยอื่นๆที่เกี่ยวข้อง เช่น ค่ำโทรศัพท์ อินเตอร์เน็ต กำร
- 22. เลือกประเด็นหรือคุณลักษณะของระบบที่ ต้องการประเมินและกาหนดวิธีการศึกษา กำหนดประเด็นของกำรประเมินให้สอดคล้องกับวัตถุประสงค์ของ ระบบเฝ้ำระวัง เช่น ระบบที่เน้นตรวจจับกำรระบำด เน้นที่ ควำมไว ควำมทันเวลำ ระบบที่เน้นแสดงสถำนกำรณ์ที่แท้จริง เน้นที่ ควำมไว ค่ำพยำกรณ์บวก ควำม เป็นตัวแทน เลือกรูปแบบกำรศึกษำที่เหมำะสมสำหรับกำรประเมิน
- 23.
- 24.
- 25. ตัวอย่าง การใช้ประโยชน์จากระบบเฝ้า ระวังโรคไข้หวัดใหญ่จังหวัดเชียงใหม่ สสจ ใช้ข้อมูลเพื่อกำรปรับยุทธวิธีในกำรป้องกันควบคุม โรค ใช้ติดตำมแนวโน้มของกำรระบำด โรงพยำบำล เพื่อติดตำมสถำนกำรณ์และปรับแผนกำรดำเนินงำน สร้ำงควำมรู้ใหม่สำหรับกำรใช้กำหนด
- 26.
- 27.
- 28. ธรรมชาติของระบบเฝ้าระวังเชิงรับ ควำมครอบคลุมของกำรรำยงำนไม่ร้อย เปอร์เซ็นต์ กำรรำยงำนผู้ป่วยอำจไม่ทันเวลำ ต้องระมัดระวังเกี่ยวกับควำมถูกต้องของข้อมูล คุณภำพของข้อมูลขึ้นกับจำนวนบุคลำกร ผู้ป่วยที่ได้รับรำยงำนอำจไม่ตรงกับนิยำมผู้ป่วย ของระบบเฝ้ำระวัง
- 29. ความไวของระบบเฝ้าระวัง ดูในกลุ่มที่ควรจะถูกรำยงำนว่ำ มีอยู่เท่ำไรที่ได้มี กำรรำยงำนจริง สำมำรถพิจำรณำได้ ระดับ ควำมครบถ้วนของกำรรำยงำนจำนวนผู้ป่วย เข้ำสู่ระบบเฝ้ำระวัง
- 30. ความไวของการรายงาน Sensitivity (coverage) =A/ (A+ C) โรคที่พบในพื้นที่ที่ศึกษา (กษ หนดด้วยนิย มผู้ป่ วย) + - โรคที่ถูกษแจ้ง ม ในระบบ ร ยง น + A Case reported B Non-case reported A+B - C Case not reported D Non-case Not reported C+D A+C B+D
- 31. Sensitivity of Chikungunyasurveillance report Met case definition Not met case definition Report 506 383 49 Not report 506 248 1088 Total 631 1137 Sensitivity in 5 hospitals = (383/631) *100 = 60%
- 32. % Sensitivity of surveillancereport by studied hospital hospital
- 34. ค่ พย กษรณ์บวกษของระบบเฝ ้ระวัง (Positive Predictive Value) ดูว่าในกลุ่มที่ถูกรายงานว่าเป็ นโรคที่เราเฝ้ าระวัง จะ มีสัดส่วนของผู้ที่เป็ นโรคนั้นๆ (ที่ถูกต้อง) อยู่เท่าไหร่ PPV สามารถบอกถึงความถูกต้องในการรายงาน ของระบบเฝ้ าระวัง
- 35. ค่ พย กษรณ์บวกษของกษรร ยง น (PPV) PVP= A/(A+B) โรคที่พบในพื้นที่ที่ศึกษา (กษ หนดด้วยนิย มผู้ป่ วย) + - โรคที่ถูกษแจ้ง ม ในระบบ ร ยง น + A Case reported B Non-case reported A+B - C Case not reported D Non-case Not reported C+D A+C B+D
- 36. PPV of Chikungunyasurveillance report Met case definition Not met case definition T otal Report 506 383 49 432 Not report 248 1088 1336 PPV in 5 hospital = 383/432 *100 = 89 %
- 38. คุณภ พข้อมูลของระบบเฝ ้ ระวัง (Dataquality) บอกความครบถ้วน (Completeness) และความถูก ต้อง (Accuracy) ของข้อมูลเฝ้ าระวัง Completeness = มีการลงบันทึกข้อมูล Accuracy = ข้อมูลที่บันทึกมีค่าถูกต้องตรงกับข้อเท็จจริง (นาไปเปรียบเทียบกับเอกสารอื่นที่มีความน่าเชื่อถือ) มักจะประเมินในตัวแปรหลักๆ เช่น อายุ เพศ วันเริ่ม ป่วย
- 39. Data quality ofChikungunya surveillance in hospitals, Pattalung province V ariables Range Median Gender 97-100 100 Age (+/- 1 day) 88-100 98 Onset date (not different > 3 days) 40-92 76
- 40. คว มเป็ นตัวแทนของระบบเฝ ้ระวัง (Representativeness) ประเมินว่าข้อมูลเฝ้ าระวังสามารถเป็ นตัวแทนของสิ่ง ที่น่าจะเกิดขึ้นจริงได้แค่ไหนในแง่แนวโน้มและการ กระจายของโรค มักจะดูในแง่ของบุคคล เวลา สถานที่
- 41. 0 10 20 30 40 50 60 70 0-4 5-9 10-14 15-19 20-24 25-29 30-34 35-39 40-44 45-49 50-54 55-59 >60 Age groups Cases Surveillance Active case finding Representativenessof age distribution in AIDS surveillance, Sukhothai, 2003 Source: Darin Areechokchai, 2003
- 42. 0 20 40 60 80 100 120 Farmer Employee UnemployMerchance Child Occupation Cases Surveillance Active case finding Representativeness of case’s occupation in AIDS surveillance, Sukhothai, 2003 Source: Darin Areechokchai, 2003
- 43. 0 10 20 30 40 50 60 70 Tungsaleam Sawankalok Srisut Kirimas Srinakorn Muang Bandan Srisumrong Kongkrilas District cases per 100,000 pop. Surveillance Activecase finding Representativeness of incidence by district, AIDS surveillance, Sukhothai, 2003 Source: Darin Areechokchai, 2003
- 44. คว มทันเวล ของระบบเฝ ้ระวัง (Timeliness) บอกระยะเวลาที่ใช ้ในแต่ละขั้นตอนของระบบเฝ้ าระวัง เช่น เวลาจากการวินิจฉัยถึงการรายงานเข้าสู่ระบบ เฝ้ าระวัง ควรประเมินในแง่ความทันเวลาในการรายงานข้อมูล เพื่อใช ้ในการควบคุมโรค (information for action)
- 45. ตัวอย่ ง:กษ รประเมินควมทันเวล ของ ระบบเฝ ้ ระวังโรคไข้หวัดใหญ่จังหวัด เชียงใหม่ ประเมินใน 2 ด้าน คือ – ความทันเวลาของการ รายงาน และความทันเวลาของการตอบสนอง 24 ชม. สสจ. รพ. สสอ. 3 วัน กษ รตอบสนอง 6 วัน
- 46. คว มทันเวล ของกษรร ยง นจ กษรพ.ถึง สสจ. ส หรับระบบเฝ ้ ระวังโรคไข้หวัดใหญ่ จังหวัดเชียงใหม่ (ค.ศ. 2009 & 2010) Nakhon Ping Fang Doi Lo McCormick 2009 2010 2009 2010 2009 2010 2009 2010 มัธยฐ น (วัน) 8 7 10 10 0 0 11 11 พิสัย (วัน) 2-33 3-47 2-24 3-37 0-2 0-3 6-36 9-20
- 47. II. Qualitative attributes (คุณลักษณะเชิงคุณภาพ) ความยอมรับในระบบเฝ้ าระวัง (Acceptability) ความยากง่ายของระบบเฝ้ าระวัง (Simplicity) ความยืดหยุ่นของระบบเฝ้ าระวัง (Flexibility) ความมั่นคงของระบบเฝ้ าระวัง (Stability)
- 48. คว มยอมรับในระบบเฝ ้ ระวัง (Acceptability) ความยอมรับโดยบุคคลและองค์กรในการเข้าร่วมในระบบ เฝ้ าระวัง โรงพยาบาล: แพทย์พยาบาล เจ้าหน้าที่สาธารณสุข หน่วยงานสาธารณสุข: เจ้าหน้าที่ระบาดวิทยา ผู้บริหาร สาธารณสุข
- 49. ตัวอย่ ง: กษรยอมรับในระบบเฝ ้ ระวังโรค ไข้หวัดใหญ่ จังหวัดเชียงใหม่ ผู้บริหารในระดับสสจ.ให้ความสาคัญกับข้อมูลเฝ้ าระวังละ นามาใช้ในการดาเนินกิจกรรมป้องกันโรคในกลุ่มเสี่ยง พยาบาลให้ความร่วมมือในการรายงานผู้ป่วย influenza A(H1N1) 2009 ทันที นักระบาดวิทยาในระดับจังหวัดและอาเภอเห็นว่าระบบเฝ้ า ระวังเป็ นสิ่งที่สาคัญและมีประโยชน์ ปัญหาที่พบคือแพทย์ไม่ค่อยมีคนที่รู้จักระบบเฝ้ าระวังและไม่ ค่อยให้ความสาคัญ
- 50. คว มย กษง่ยของระบบเฝ ้ ระวัง (Simplicity) ความง่ายในการดาเนินการทั้งในแง่โครงสร ้างและ กระบวนการทางาน ระบบเฝ้ าระวังที่ดีควรมีความง่ายในการดาเนินการ แต่ก็ต้อง สามารถตอบวัตถุประสงค์ของระบบฯ
- 51. ตัวอย่ ง: ควมย กษง่ ยของระบบเฝ ้ ระวัง โรคไข้หวัดใหญ่ จังหวัดเชียงใหม่ ขั้นตอนการดาเนินงานไม่ซับซ ้อน คนอื่นสามารถมาช่วย ทางานแทนได้เมื่อจาเป็ น สสจ.เป็ นศูนย์กลางในการรวบรวมและวิเคราะห์ข้อมูลทั้ง ระบบไข้หวัดใหญ่เดิม และระบบ influenza A(H1N1) 2009 ปัญหาที่พบคือในช่วงแรกของการระบาด รพ.ส่งข้อมูลให้ สสจ.โดยการแฟกซ ์และสสจ.ส่งให้สานักระบาด key ข้อมูล เองทั้งหมด
- 52. คว มยืดหยุ่นของระบบเฝ ้ ระวัง (Flexibility) ระบบที่ยืดหยุ่น คือ สามารถปรับตัวให้เข้ากับการ เปลี่ยนแปลงที่จาเป็ นได้โดยไม่ยาก และยังคงทาหน้าที่ ได้อย่างดี เช่น มีการเพิ่มเติมข้อมูลที่ต้องการได้โดยไม่ ต้องใช ้เวลา บุคลากร และงบประมาณเพิ่มขึ้นมากนัก ตัวอย่างเช่นกรณีที่ต้องมีการเพิ่มโรคใหม่ หรือการ ปรับนิยามผู้ป่วย เป็ นต้น
- 53. ตัวอย่ ง: ควมยืดหยุ่นของระบบเฝ ้ ระวัง โรคไข้หวัดใหญ่ จังหวัดเชียงใหม่ ระบบเฝ้ าระวังเดิมที่มีอยู่สามารถปรับให้รองรับโรคใหม่ได้โดย ไม่ต้องใช ้ทรัพยากรและเวลาเพิ่มมากนัก ในช่วงการระบาดพยาบาลตึกผู้ป่วยนอกสามารถบริหาร จัดการให้เกิดการโทรแจ้งงานระบาดฯได้ทันทีเมื่อแพทย์สงสัย influenza A(H1N1) 2009 ส่วนที่เป็ นปัญหาคือในช่วงต้นๆของระบบใหม่ เจ้าหน้าที่ที่ เกี่ยวข้องค่อนข้างสับสนกับวิธีการรายงาน
- 54. คว มมั่นคงของระบบเฝ ้ ระวัง (Stability) หมายถึง ความสามารถในการดาเนินงานของระบบโดย ไม่มีการสะดุด ล่ม ในสภาวะแวดล้อมที่เปลี่ยนไป ปัจจัยที่อาจมีผลกระทบต่อความมั่นคงของระบบ: นโยบายของผู้บริหาร งบประมาณ บุคลากรที่มีความรู้ และประสบการณ์ การปรับโครงสร ้างของระบบสุขภาพ เป็ นต้น
- 55. ตัวอย่ ง: ควมมั่นคงของระบบเฝ ้ ระวังโรค ไข้หวัดใหญ่ จังหวัดเชียงใหม่ ผู้บริหารส่งเจ้าหน้าที่ไปอบรมเพิ่มเติมเพื่อเพิ่มความรู้ เกี่ยวกับโรคใหม่ บางโรงพยาบาลมีการจัดเตรียมงบประมาณเพื่อจ่ายเป็ น ค่าตอบแทนในการทางานล่วงเวลา บางโรงพยาบาลมีการจัดประชุม/อบรมเกี่ยวกับระบบเฝ้ า ระวังเพื่อให้เจ้าหน้าที่ได้รับข้อมูลเกี่ยวกับการเปลี่ยนแปลง ของระบบ ปัญหาที่พบคืองบประมาณไม่เพียงพอในการดาเนินการ ควบคุมโรค โดยเฉพาะในระดับสสอ.และสอ. มีเจ้าหน้าที่ระบาดวิทยาไม่เพียงพอ โดยเฉพาะในช่วงที่เกิด การระบาด
- 56. สรุปขั้นตอนกษ รประเมินระบบเฝ ้ ระวัง 1.กาหนดเป้าหมายของการประเมินโดยผู้มีส่วนได้ส่วน เสีย เข้าร่วม 2. ศึกษาภาพรวมของระบบที่จะประเมิน 3. เลือกประเด็นหรือคุณลักษณะของระบบที่ต้องการ ประเมินและกาหนดวิธีการศึกษา 4. ดาเนินการประเมินโดยการรวบรวมข้อมูลและ หลักฐานต่างๆ 5. วิเคราะห์แปลความ และสรุปผลการประเมิน 6. นาเสนอผลและให้ข้อเสนอแนะกับผู้เกี่ยวข้อง
- 57. หนังสือ/ เอกษส รแนะน US CDC. Updated Guidelines for Evaluating Public Health Surveillance Systems. 2001. US CDC. Framework for Program Evaluation in Public Health. 1999. Steven M. Teutsch and R. Elliott Churchill. Principles and Practice of Public Health Surveillance , 3rd Ed.