Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
VALIDASI KUALITATIF DAN KUANTITATIF METODE ANALISIS    FOOD MICROBIOLOGY      MARLIA SINGGIH WIBOWO        SEKOLAH FARMASI...
Validasi Metode AnalisisDefinisi : Validasi Metode Analisis adalah proses pembuktian atau konfirmasi pengujian yang  obyek...
Validation• The confirmation by examination and provision   of objective evidence that the particular   requirements for a...
Why validate?• Benefits   – Defines method performance characteristics &     operational requirements (time, temp, etc)  –...
Validation resources• ISO 16140 – Microbiology of food & animal feeding   stuffs – Protocol for the validation of alternat...
Jenis Validasi Metode• Validasi primer (Primary Validation) dilakukan  jika laboratorium menggunakan metode   analisis “ba...
Primary validation• Exploratory process – aim to establish   operational conditions and performance   characteristics of a...
Validation ‐ Performance indicators• Accuracy   – Relative recovery• Precision   – Repeatability (within lab)   – Reproduc...
Inclusivity and exclusivity• Inclusivity or sensitivity is the ability of the   alternative method to detect the target   ...
Accuracy“the closeness of agreement between a test result or a   measurement result and the true value” ISO 3534‐2:2003• A...
Precision“closeness of agreement between independent test results    obtained under stipulated conditions” ISO/TR 13843• M...
Precision vs Accuracy ‐ 1Source: UBC, Canada
Precision vs Accuracy – 2
Assay in Food Microbiology• Qualitative method• Quantitative method
Qualitative method• method of analysis whose response is either the   presence or absence of the analyte/microbes   detect...
Quantitative method• method of analysis whose response is the   amount of the analyte measured either directly   (e.g. enu...
Uji kolaborasi• Precollaborative Study : methods comparison or   precollaborative study : a study, performed by   the orga...
Studi Pre‐Kolaborasi• Tujuan Precollaborative Study :  is to define   the applicability claims of a proposed OMA   method ...
Tahapan Pre‐Kolaborasi1. Pilih metode yang akan divalidasi2. Lakukan in‐house ruggedness testing (prosedur   pilihan)3. La...
Collaborative Study• The purpose of the Collaborative Study is to   provide a realistic estimate of the attributes of   a ...
AOAC Validation protocol• Pre‐collaborative study  – 2 methods (reference and test methods), 1 lab  – 20 food types using ...
Perencanaan dalam tahap validasi• Tetapkan spesifikasi sesuai tujuan  – What is the target organism?  – What matrix?  – Qu...
Perencanaan dalam tahap validasi• Personnel – experienced, trained, competent   analysts• Equipment – traceable calibratio...
Seleksi sample & penyiapan nya• Numbers & Food categories • Naturally contaminated?   – Availability• Inoculation of sampl...
Food categories• Raw (tanpa proses)• Processed (dengan proses)  – Heat  – Fermented  – Cured  – Frozen  – Smoked   – etc
Type of Food•   Meat and Meat product•   Poultry •   Fish and Seafood products•   Fruits and Vegetables based products•   ...
Persyaratan mikroorganisme• Typically a different isolate, strain, serotype or   species is used for each food type. The p...
• Raw, unprocessed foods may be inoculated   with unstressed organisms. Lyophilized inocula  are generally used for dry po...
Jumlah mikroba dalam inokulum dan kontrol• Each food type is divided into at least 2   portions. One portion serves as the...
Jumlah Sampel• The number of test portions per inoculum level is   20. • To use the statistic, test samples must be paired...
• The target for the low inoculum level is   typically set at the lowest detection limit of   the test method, e.g. 1‐5 cf...
Naturally contaminated test samples• At least 2 lots of each naturally contaminated   food type are required. However, nat...
• Generate inclusivity and exclusivity data to   substantiate that the method is reactive for   the major serotypes of the...
• For Salmonella methods, this number of   target analyte strains is increased to at least   100 strains that are selected...
Contaminated controls• Inoculated test samples and uninoculated  controls are prepared at the same time. If any   uninocul...
Jumlah laboratorium peserta             uji kolaborasi• A minimum of 10 valid laboratories data sets per   food type is ne...
Berapa macam makanan yang diperlukan        utk uji batas mikroba?• The number of different food categories depends   on t...
Jumlah inokulum• Each food type is divided into 3 portions. One portion   serves as the negative control, one portion is  ...
Uji statistik untuk validasi• The proportion confirmed positive for the   alternative method must not be statistically   d...
(a – b – 1) 2        X 2   =   ‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐                      a + b    • Where a = test samples confirmed posi...
• A Chi‐square value < 3.84 indicates that the   proportions positive for the alternative and   reference methods are not ...
• A Chi‐square value ≥ 3.84 indicates that the   proportions confirmed positive for the alternative   and reference method...
Performance indicators              untuk uji kualitatif• The four performance indicators for   qualitative methods are se...
Fractional recovery• validation criterion that is satisfied when a   common set of samples (e.g. inoculation   level), yie...
Sensitifitas dan Spesifisitas                                   Uji Presumtif                  Jumlah                     ...
• For the artificially contaminated food types, 3   inoculated levels (high, medium, and low) and   one uninoculated contr...
Pengelolaan data pada             analisis kuantitatif• In microbiology, the data often does not show   a normal statistic...
• Data from study results should first be plotted.   The vertical y‐axis (dependent variable) is used   for  the  alternat...
Data dianggap tidak valid jika :(1) the method is not followed; (2) a nonlinear calibration curve is found although     a ...
Outliers• Data should be examined to determine   whether any laboratory shows consistently   high or low values or an occa...
Performance indicators            untuk uji kuantitatif• for quantitative methods include :  – repeatability,   – reproduc...
Repeatability• The repeatability is within laboratory   precision, designated Sr or the closeness of   agreement between s...
The repeatability value• The repeatability value is the value below   which the absolute difference between 2   single tes...
Reproducibility• The reproducibility is among laboratories   precision, designated SR, or the closeness of   agreement bet...
Reproducibility value• The reproducibility value is the value below   which the absolute difference between single   test ...
Relative standard deviation (RSD)• Relative standard deviation (RSD) is a useful   measure of precision in quantitative st...
AcuanAOAC International Methods Committee Guidelines for Validation of Qualitative and Quantitative Food Microbiological O...
Acknowledgement• Agnes Tan Microbiological Diagnostic Unit (MDU),  Public Health Laboratory,  University of Melbourne, Aus...
Sekian dan terima kasih
Upcoming SlideShare
Loading in …5
×

Validasi metode analisis mikrobiologi s2

3,808 views

Published on

  • Be the first to like this

Validasi metode analisis mikrobiologi s2

  1. 1. VALIDASI KUALITATIF DAN KUANTITATIF METODE ANALISIS  FOOD MICROBIOLOGY MARLIA SINGGIH WIBOWO SEKOLAH FARMASI ITB Juni 2010
  2. 2. Validasi Metode AnalisisDefinisi : Validasi Metode Analisis adalah proses pembuktian atau konfirmasi pengujian yang  obyektif di Laboratorium, dan bahwa metode itu memenuhi persyaratan yang telah ditentukan, yang sesuai dengan tujuan penggunaannya.
  3. 3. Validation• The confirmation by examination and provision  of objective evidence that the particular  requirements for a specified intended use are  fulfilled – ISO 9000• A process providing evidence that a method is  capable of serving its intended purpose .. – detect or quantify….with adequate precision &  accuracy (ISO/TR 13843:2000)
  4. 4. Why validate?• Benefits  – Defines method performance characteristics &  operational requirements (time, temp, etc) – Results are meaningful – accurate, reproducible,  robust  – Provides confidence in method• Accreditation requirement (ISO 17025) – Labs required to use validated methods
  5. 5. Validation resources• ISO 16140 – Microbiology of food & animal feeding  stuffs – Protocol for the validation of alternative methods• ISO/TR 13843 – Water quality – Guidance on  validation of microbiological methods• AOAC – JAOAC, 2002.  85(5):1187‐1200, AOAC website• Standards : for example, Australian Standard  – AS4659 series : 4 parts – qualitative, quantitative, confirmation  tests, antibiotic tests
  6. 6. Jenis Validasi Metode• Validasi primer (Primary Validation) dilakukan jika laboratorium menggunakan metode  analisis “baru” hasil pengembangan , atau metode yang di modifikasi terhadap suatu  metode standard. • Validasi sekunder (Secondary validation)  dilakukan untuk verifikasi, jika laboratorium  menggunakan atau mengadopsi metode standard yang telah divalidasi.
  7. 7. Primary validation• Exploratory process – aim to establish  operational conditions and performance  characteristics of a new, modified, or  otherwise inadequately characterised method  – ISO/TR 13843 e.g. modified standard method, in‐house method,  extension of matrix, introducing new technology
  8. 8. Validation ‐ Performance indicators• Accuracy – Relative recovery• Precision – Repeatability (within lab) – Reproducibility (between lab )• Sensitivity – False negative rate – Inclusivity• Specificity – False positive rate – Exclusivity• Measurement Uncertainty
  9. 9. Inclusivity and exclusivity• Inclusivity or sensitivity is the ability of the  alternative method to detect the target  analyte from a wide range of strains.• Exclusivity or specificity is the lack of  interference in the alternative method from a  relevant range of non‐target strains, which are  potentially cross‐reactive.
  10. 10. Accuracy“the closeness of agreement between a test result or a  measurement result and the true value” ISO 3534‐2:2003• Absence of bias • Applies to results ‐ not method, equipment etc• When applied to a set of test results, involves a  combination of random & systematic errors, i.e. total  error
  11. 11. Precision“closeness of agreement between independent test results  obtained under stipulated conditions” ISO/TR 13843• Measure of distribution of random error – Standard deviation• Not related to true value of result• Stipulated conditions – Repeatability: Same sample, procedure, operator (within lab)  – Intermediate reproducibility: As above except different operator – Reproducibility:  Same sample, procedure, different lab (between labs)
  12. 12. Precision vs Accuracy ‐ 1Source: UBC, Canada
  13. 13. Precision vs Accuracy – 2
  14. 14. Assay in Food Microbiology• Qualitative method• Quantitative method
  15. 15. Qualitative method• method of analysis whose response is either the  presence or absence of the analyte/microbes  detected• either directly or indirectly in a certain amount of  sample• The four performance indicators for qualitative  methods are sensitivity, specificity, false negative
  16. 16. Quantitative method• method of analysis whose response is the  amount of the analyte measured either directly  (e.g. enumeration in a mass or a volume), or  indirectly (e.g. color absorbance, impedance,  etc.) in a certain amount of sample• for quantitative methods, parameter indicators  include those of qualitative tests and : – repeatability,  – reproducibility   – relative standard deviations.
  17. 17. Uji kolaborasi• Precollaborative Study : methods comparison or  precollaborative study : a study, performed by  the organizing laboratory or Study Director (SD)  of the alternative method against the reference  method  • Collaborative Studies : interlaboratory collaborative study : study of the alternative  method’s performance using common samples in  numerous laboratories and under the control of  the organizing laboratory or SD
  18. 18. Studi Pre‐Kolaborasi• Tujuan Precollaborative Study :  is to define  the applicability claims of a proposed OMA  method by demonstrating the applicability of  the method to various food categories. • For OMA methods, the applicability statement  immediately follows the method title. The  applicability statement for microbiological  methods is generally concerned with target  analyte and food type coverage.
  19. 19. Tahapan Pre‐Kolaborasi1. Pilih metode yang akan divalidasi2. Lakukan in‐house ruggedness testing (prosedur pilihan)3. Lakukan Methods Comparison/Pre‐ collaborative Study  dan laporkan ke AOACI  untuk persetujuan4. Siapkan Collaborative Study protocol  dan laporkan ke AOACI  untuk persetujuan5. Siapkan sampel, kirim ke participants, lakukan study dan evaluasi hasilnya6. Siapkan laporan berisi hasil analisis, sesuai format laporan yang telah ditetapkan. 
  20. 20. Collaborative Study• The purpose of the Collaborative Study is to  provide a realistic estimate of the attributes of  a method, particularly systematic and random  deviations, to be expected when the method  is used in actual practice.
  21. 21. AOAC Validation protocol• Pre‐collaborative study – 2 methods (reference and test methods), 1 lab – 20 food types using 3 inoculum levels• Collaborative study – 2 methods, 12‐15 different labs – 6 food types using 3 inoculum levels
  22. 22. Perencanaan dalam tahap validasi• Tetapkan spesifikasi sesuai tujuan – What is the target organism? – What matrix? – Qualitative or Quantitative test? – Level of confidence required – Client needs
  23. 23. Perencanaan dalam tahap validasi• Personnel – experienced, trained, competent  analysts• Equipment – traceable calibration• The experiment – Samples – Type of samples – naturally contaminated? – If inoculated samples – how – Competitive flora• Analysis – Chi Square test
  24. 24. Seleksi sample & penyiapan nya• Numbers & Food categories • Naturally contaminated? – Availability• Inoculation of samples – Condition of cultures (how to mimic natural stress) – Levels of target to inoculate – Competitive flora – inoculate at 10x target levels
  25. 25. Food categories• Raw (tanpa proses)• Processed (dengan proses) – Heat – Fermented – Cured – Frozen – Smoked  – etc
  26. 26. Type of Food• Meat and Meat product• Poultry • Fish and Seafood products• Fruits and Vegetables based products• Dairy products• Chocolate and Bakery products• Pasta dan Noodle• Animal Feed• Lain‐lain
  27. 27. Persyaratan mikroorganisme• Typically a different isolate, strain, serotype or  species is used for each food type. The product  inoculation should be conducted with a pure  culture of one strain. Mixed cultures are not  recommended. • Microorganisms in processed foods are typically  stressed, thus the contaminating microorganisms  are also stressed for these types of foods.  Microorganism stress may occur at the time of  inoculation or during preparation of the food. 
  28. 28. • Raw, unprocessed foods may be inoculated  with unstressed organisms. Lyophilized inocula are generally used for dry powder/granulated  foods and wet inocula are used for wet foods.  Inoculated samples of solid food types, if  included, are held at appropriate storage  conditions to stabilize the population prior to  analysis.
  29. 29. Jumlah mikroba dalam inokulum dan kontrol• Each food type is divided into at least 2  portions. One portion serves as the negative  control, one portion is inoculated at a level  that will produce fractional recovery • Control and inoculated test samples should  be prepared at the same time. It may be  advisable to prepare a third portion that has a  high inoculum level. 
  30. 30. Jumlah Sampel• The number of test portions per inoculum level is  20. • To use the statistic, test samples must be paired.  If, for example, the test and reference methods  each require a separate 25 g test portion because  the primarily enrichment media are different,  then 20 test samples of at least 50 g each should  be drawn from the inoculated or control portions.  From each 50 g test sample, paired 25 g test  portions are prepared
  31. 31. • The target for the low inoculum level is  typically set at the lowest detection limit of  the test method, e.g. 1‐5 cfu/25 g test portion.  The high inoculum is set at 10‐50 cfu/25 g test  portion. Additional inoculum levels may be  added as necessary.
  32. 32. Naturally contaminated test samples• At least 2 lots of each naturally contaminated  food type are required. However, naturally  contaminated products are infrequently available  to most analysts. An effort should be made to  obtain them as they are most representative of  the method usage environment. • For these products, there is no negative control.  Twenty replicates are analyzed per lot. • If all test portions are positive, dilute the test  sample to obtain fractional positives and repeat  analysis of the lot.
  33. 33. • Generate inclusivity and exclusivity data to  substantiate that the method is reactive for  the major serotypes of the specified  microorganism and is non‐reactive to other  related genera and/or species.• Select at least 50 pure strains of the specific  microorganism and select at least 30 strains of  potentially competitive strains to be analyzed  as pure culture preparations
  34. 34. • For Salmonella methods, this number of  target analyte strains is increased to at least  100 strains that are selected to represent the  majority of known serovars of Salmonella.
  35. 35. Contaminated controls• Inoculated test samples and uninoculated controls are prepared at the same time. If any  uninoculated control test portion is positive  for the inoculated microorganism, the results  are invalid and the run is repeated because it  is assumed that cross contamination has  occurred. • Control samples are not included with  naturally contaminated food types.
  36. 36. Jumlah laboratorium peserta uji kolaborasi• A minimum of 10 valid laboratories data sets per  food type is needed• Untuk analisis kuantitatif A minimum of eight  laboratories reporting valid data for each food  type is required. It is suggested that at least 10‐14  laboratories begin the analysis. • In special cases involving very expensive  equipment or specialized laboratories, the study  may be conducted with a minimum of five  laboratories.
  37. 37. Berapa macam makanan yang diperlukan utk uji batas mikroba?• The number of different food categories depends  on the applicability of the method. If the method  is specific to only one category (e.g. detection of  Campylobacter in oysters), only one type of food  need be included. If the applicability is wider (e.g.  detection of Salmonella in all foods), then 6 food  categories shall be included in the CS. As  mentioned previously, the data from both the  PCS and CS studies form the basis for defining the  method applicability statement
  38. 38. Jumlah inokulum• Each food type is divided into 3 portions. One portion  serves as the negative control, one portion is  inoculated at a level ( usually the low inoculum level)  that will produce fractional recovery and a third  portion is inoculated at a high inoculum level. • Control and inoculated test samples should be  prepared at the same time. The target for the low  inoculum level is typically set at the lowest detection  limit of the test method, e.g. 1‐5 cfu/25 g test portion.  The high inoculum is set at 10‐50 cfu/25 g test portion.
  39. 39. Uji statistik untuk validasi• The proportion confirmed positive for the  alternative method must not be statistically  different from the proportion confirmed  positive to the reference method for each  food type and each inoculation level.• McNemar’s test (a Chi square test) is used to  compare the proportions for the methods
  40. 40. (a – b – 1) 2 X 2 =   ‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐ a + b    • Where a = test samples confirmed positive by  the alternative method but tested negative by  the reference method, b= test samples that  tested negative by the alternative method but  are confirmed positive by the reference  method
  41. 41. • A Chi‐square value < 3.84 indicates that the  proportions positive for the alternative and  reference methods are not statistically different  at the 5% level of significance. This criterion must  be satisfied for each level of each food type.• However, a significant difference between the  proportions positive for the two methods is  acceptable provided that the alternative method  demonstrates superior recovery to the reference  method
  42. 42. • A Chi‐square value ≥ 3.84 indicates that the  proportions confirmed positive for the alternative  and reference methods differ significantly at P ≤   0.05. • If the McNemar test indicates statistical significance  when applied to the analytical results from the  analysis of a food at an inoculum level, that food  must be removed from the applicability statement or  the method must be modified and additional testing  performed to demonstrate that the results are now  acceptable.
  43. 43. Performance indicators  untuk uji kualitatif• The four performance indicators for  qualitative methods are sensitivity, specificity,  false negative• rate and false positive rate
  44. 44. Fractional recovery• validation criterion that is satisfied when a  common set of samples (e.g. inoculation  level), yields a partial number of positive  determinations and a partial number of  negative determinations on that same set of  samples. The proportion of positive samples  should approximate 50% of the total number  of samples in the set
  45. 45. Sensitifitas dan Spesifisitas Uji Presumtif Jumlah positif (+)     negatif (‐)Uji Konfirmatif Positif (+) a b a + b Negatif (‐)                        c d c + dJumlah uji a + c                b +d a+b+c+d =n Sensitifitas = a/(a+b) Spesifisitas = d/(c+d) Rasio positif palsu = c/(a+c) Rasio negatif palsu = b/(b+d) Efisiensi = (a+d)/n Selektifitas absolut = RS = log (a/n) Selektifitas apparent = F = log [(a+c)/n]
  46. 46. • For the artificially contaminated food types, 3  inoculated levels (high, medium, and low) and  one uninoculated control are required. • For each of these 3 levels and for the controls,  test 5 samples by the alternative method and 5  samples by the reference method. • The low level should be at the limit of detection,  and the medium and high levels may be  approximately one and 2 log units higher,  respectively. Intermediate levels may be added to  improve precision but they are not required
  47. 47. Pengelolaan data pada analisis kuantitatif• In microbiology, the data often does not show  a normal statistical distribution. In order to get  a more symmetric distribution, counts should  be transformed into logarithms.
  48. 48. • Data from study results should first be plotted.  The vertical y‐axis (dependent variable) is used  for  the  alternative  method and the  horizontal  x‐axis (independent variable) for the reference  method.• This independent variable x is considered to be  accurate and have known values. Usually major  discrepancies will be apparent. Usually major  discrepancies will be apparent: displaced means,  unduly spread replicates, outlying values,  differences between methods, consistently high  or low laboratory rankings, etc.
  49. 49. Data dianggap tidak valid jika :(1) the method is not followed; (2) a nonlinear calibration curve is found although  a linear curve is expected; (3) system suitability specifications were not met; (4) resolution is inadequate; (5) distorted absorption curves arise; (6) unexpected reactions occur; or (7) other atypical phenomena materialize
  50. 50. Outliers• Data should be examined to determine  whether any laboratory shows consistently  high or low values or an occasional result,  which differs from the rest of the data by a  greater amount than could be reasonably  expected or found by chance alone. • Perform outlier tests (Cochran, Dixon, Grubbs)  in order to discard the outlying values and to  obtain a better estimate
  51. 51. Performance indicators  untuk uji kuantitatif• for quantitative methods include : – repeatability,  – reproducibility   – relative standard deviations.
  52. 52. Repeatability• The repeatability is within laboratory  precision, designated Sr or the closeness of  agreement between successive and  independent results obtained by the same  method on identical test material, under the  same conditions (e.g. apparatus, operator,  laboratory and incubation time).
  53. 53. The repeatability value• The repeatability value is the value below  which the absolute difference between 2  single test results obtained under repeatability  conditions may be expected to lie within 95%  probability.
  54. 54. Reproducibility• The reproducibility is among laboratories  precision, designated SR, or the closeness of  agreement between single test results on  identical test material using the same method  and obtained by operators in different  laboratories using different equipment
  55. 55. Reproducibility value• The reproducibility value is the value below  which the absolute difference between single  test results under reproducibility conditions  may be expected to lie within 95% probability.
  56. 56. Relative standard deviation (RSD)• Relative standard deviation (RSD) is a useful  measure of precision in quantitative studies.• RSD is computed by dividing SR and Sr by the  mean.
  57. 57. AcuanAOAC International Methods Committee Guidelines for Validation of Qualitative and Quantitative Food Microbiological Official Methods of Analysis, May 2002
  58. 58. Acknowledgement• Agnes Tan Microbiological Diagnostic Unit (MDU),  Public Health Laboratory,  University of Melbourne, Australia
  59. 59. Sekian dan terima kasih

×