High throughput technologies in Genomics - Tecnologías de alto rendimiento en genómica.
Session 3: Statistical Analysis
Course held at Vall d'Hebron Research Institute (VHIR), in Barcelona, Catalonia, Spain, on October 5th, 2011.
5. And Fisher said…
To consult the statistician after an
experiment is finished is often merely
to ask him to conduct a post mortem
examination.
He can perhaps say what the experiment
died of.
Sir Ronald A. Fisher
Father of modern Mathematical Statistics
and Developer of Experimental Design
and ANOVA
6. The three basic principles of
Experimental Design
• Apply the following principles to best
attain the objectives of experimental
design
– Replication
– Local control or Blocking
– Randomization
7. 1. Replication
• Each treatment must be applied independently
to several experimental units.
• Provides the means to estimate the EE variance
in the absence of systematic differences among
EUs treated alike which is important because
treatment differences are judged against
the EE variance.
• Provides the capacity to increase the precision
for estimates of treatment means.
• By itself, does not guarantee valid estimates of
EE or treatment differences.
9. Replication vs Pooling
• mRNA from different samples are often combined to form
a ``pooled-sample’’ or pool. Why?
– If each sample doesn’t yield enough mRNA
– To compensate an excess of variability ?
• Statisticians tend not to like it but pooling may
be OK if properly done
– Combine several samples in each pool
– Use several pools from different samples
– Do not use pools when individual information is
important (e.g.paired designs)
10. Examples of “pooling”
• Study with 12 patients 12 chips Expensive
– Optiob 1:
• Group A: 6 individuals 1 pool of 6 1 chip
• Group B: 6 individuals 1 pool of 6 1 chip
– Option 2:
• Group A: 12 individuals 4 pools of 3 4 chip
• Grupo B: 12 individuals 4 pools of 3 4 chip
– Option 2 may be cheaper and, at the samae time
have similar precisio
However, without having information about
variability within pools and between individuals it
cannot be assured
11. Local Control
• Group EUs so that the variability of units
within the groups is less than that among all
units prior to grouping
– Differences among treatments are not confused with
differences among experimental units.
– EE is reduced by the variability associated with
environmental differences among groups of units.
– Effects of nuisance factors which contribute
systematic variation to the differences among EUs
can be eliminated.
– Analysis is more sensitive.
12. Confounding block with treatment effects
Awful design Balanced design
Sample Treatment Sex Batch Sample Treatment Sex Batch
1 A Male 1 1 A Male 1
2 A Male 1 2 A Female 2
3 A Male 1 3 A Male 2
4 A Male 1 4 A Female 1
5 B Female 2 5 B Male 1
6 B Female 2 6 B Female 2
7 B Female 2 7 B Male 2
8 B Female 2 8 B Female 1
• Two alternative designs to investigate treatment effects
– Left: Treatment effects confounded with Sex and Batch
effect
– Right: Treatments are balanced between blocks
• Influence of blocks is automatically compensated
• Statistical analysis may separate block from treatment efefect
13. 3. Randomisation
• Randomly assigning samples to groups to
eliminate unspecific disturbances
– Randomly assign individuals to treatments.
– Randomise order in which experiments are
performed.
• Randomisation required to
– ensure validity of statistical procedures.
– Lead to unbiased estimates of variances and
unbiased estimates of treatment differences,
– Simulates the effects of independence among
EUs that are otherwise controlled, selected, and
monitored.
14. Allocating samples to treatments
• A key point in any experiment is the
way that experimental units are
allocated to treatments
– It must be chosen so that random variability
is as small as possible
– It must be chosen so that the best local
control is achieved.
– It implicitly defines the analysis model, so it
must be chosen so that the analysis can be
performed and validity conditions hold.
16. Efecto Batch en Microarrays
Diferencias/variaciones no Solemos conocer la fuente
biológicas observadas en pero no siempre se podrá
experimentos de cuantificar y/o eliminar!!!
microarrays
No suele invalidar el expeimento
aunque si añade una cantidad de ruído no cuantificable
Origen:
•Técnico que procesa las muestras
•Amplificación
•Lote del kit de tinción
•Reparto de muestras en las tandas de amplificación
•Kit de amplificación....
17. Técnico que procesa las muestras
Técnico 1: procesa muestras control
Técnico 2: procesa muestras
problema
Técnico 1: procesa muestras control y problema
Técnico 2: procesa muestras problema y control
SOLUCION
Técnico 1 y 2 no comparten
proyecto
18. Reparto de muestras en las tandas de amplificación
12 muestras máximo por tanda de
amplificación
Proyectos n>12 muestras se han de repartir en diferentes tandas de
amplificación
Tanda 1: Controles
Tanda 2: muestras problema
SOLUCION
Tanda 1: se procesan muestras control y
problema
Tanda 2: se procesan muestras problema y
control
19. Lote del Kit de tinción
Sondas se marcan con Va perdiendo intensidad con el tiempo
ficoeritrina
Hibridar cada tanda de 12
muestras
SOLUCION
Esperar a tener todas las
muestras preparadas e
hibridarlas todas a la vez
20. Eliminación del efecto batch
• Con un diseño experimental apropiado el efecto batch se
puede eliminar o atenuar
• de forma implícita balanceando las muestras entre
distinos lotes
• de forma explícita estimando los efectos del batch y
substrayéndolos de los valores originales.
• Si el diseño no es adecuado, (e.g. hay CONFUSIÓN entre lote
y tratamientos) no se podrá hacer nada.
• Incluso con un buen diseño no se puede realizar la eliminación
de muchos efectos batch de forma indefinida, porque cada vez
se pierde más potencia estadística.
• Es fácil que al final tengamos que aceptar algún efecto batch.
26. In summary
• Good experimental design is essential to
perform good experiments.
• Experimental design means planning
ahead
– Should be done before the experiment starts
– Should consider all the steps: from sampling
to data analysis.
• Not a question of "statistical snobism"
but of saving time and money and of
doing good science
28. Outline
• Common types of qPCR data analyses
• Biostatistical aspects of relative
quantification
• Confirmatory and exploratory statistical
analysis.
29. Real time qPCR data
• RT-qPCR data are CT or threshold cycle values.
– CT= Cycle number at which detectable signal is achieved.
– The Lower/higher the CT Larger/Smaller amount of starting material
30. Basic types of RT-qPCR analysis
• Two basic types of analysis
– Absolute quantification
– Relative quantification
• Choice based on
– Experimental goals
– Available resources
31. Absolute quantification
• Use absolute quantification…
– To understand properties that are intrinsic
to a given sample.
– To answer the question "how many"?
• Examples of applications
– Chromosome or gene copy number
determination
– Viral load measurements
32. Standard curve
• Absolute quantification is achieved by
comparing CT values of each sample to a
standard curve, which is obtained by
– Using different known amounts of sample
– For which CT is calculated
– And plotted vs the (log) (known) quantity
34. Example: determining absolute copy
number from absolute quantification
• The standard curve is used only for interpolation
but not for extrapolation (relation may not be
linear outside the limits tested).
35. Absolute vs Relative quantifications
• Absolute quantification answers the
question "how many" but gives no
information about change.
• Relative quantification can be used to
– Compare levels or changes in gene
expression.
– Answer the question – What is the fold
difference?
36. Relative quantification methods
• For absolute quantification one requires a
standard template with several known
concentrations to build the curve.
• For relative quantification one needs to apply
some form of normalization, that is one has to
transform the data in order to
– Remove possible experimental biases
– Make data from different samples/groups
comparable so that the term "relative" keeps its
meaning.
38. Normalization against a reference gene
• Benefit:
– Circumvents need for accurate
quantification of starting material
• Drawback:
– Requires known reference genes with stable
expression levels
43. Other methods
• Although Livak method is the most used
• The ∆CT method yields equivalent results
but is simpler to calculate.
• The Pfaffl method is preferable when
reaction efficiencies of the target and
reference are not similar.
45. Biostatistical analysis
• Two main types of analyses
– Comparative analyses,
• Relatively rigorous
• Check a predefined hypotheses
• Relies on statistical testing
– Expression profiling: Search for trends and
patterns in the data
• Exploratory, hypothesis generating approach
• Less rigorous
• Cluster analysis or PCA
48. Three basic premises
• Statistical analyses of RT-qPCR data
relies on three assumptions
– One gene-at-a-time
– We are sampling from two different
(unknown) independent populations
– There exist unknown mechanisms that
contribute to variability.
49. From assumptions to strategies (1)
• Use random sampling and randomization to
obtain independent and representative samples.
50. From assumptions to strategies (2)
• Apply experimental design principles to minimize
confounding variability
51. From assumptions to strategies (3)
• Perform statistical testing
• DO NOT FORGET about multiple testing adjustments
59. Esquema de la presentación
Introducción y objetivos
Análisis de datos de microarrays
Tipos de datos y Tipos de estudios. Herramientas.
El proceso de análisis. Ejemplos
Críticas, consensos, consejos y “estado del
arte”
Críticas a los microarrays
Consensos y consejos (“dos and don’ts”)
MAQC-I, MAQC-II
De los microarrays al diagnóstico
¿Porque está siempre por llegar?
60. Para aprender más …
http://www.ub.es/stat/docencia/bioinformatica/microarrays/ADM/
65. Y muchos más …
Time Course
Perfiles de expresión a lo largo del tiempo
Pathway Analysis-(Systems Biology)
Reconstrucción de redes metabólicas a partir
de datos de expressión
Whole Genome, CGH, Alternative
Splicing
Estudios con datos de distintos tipos
Fusión o Integración de datos
67. Programas de análisis de datos
Multitud de herramientas
Gratuítas / Comerciales
[R, BRB, MeV, dChip…] / [Partek, GeneSpring, Ingenuity]
Descargables / En-linea
[R, BRB, MeV…] / [Gepas,…]
Aísladas / Parte de “suites” o de sitios
[BRB, dChip] / [MeV (TM4), OntoTools]
A survey of free microarray data analysis tools:
http://chagall.med.cornell.edu/I2MT/MA-tools.pdf
68. Programas de análisis libres
Programa
R/Bioconductor Potente, flexible, Consola, difícil de
actualizado, dominar
Unix/Windows/Mac
BRB tools Basado en Excel, Si falla, falla.
User-friendly Difícil de extender
dChip Expresión & SNP’s Solo Windows
User-frinedly Pocas opciones
Babelomics Web-based, Web-based
Multiples opciones, Manejo algo rígido
Buen material
…
70. Programas de análisis comerciales
Programa
geneSpring Muy extendido ANOVA limitados
Gráficos potentes CARO
Extensible (R)
Partek ANOVA muy potente Sólo estadística “clásica”
Mult. tipos de datos No extensible. Caro
Visualización 3D
Ingenuity BD de anotaciones Centrada mayormente en
Análisis de redes y de datos de cáncer.
significación biológica Caro.
…
72. Análisis de un experimento con microarrays
(1) Imágenes
(Datos crudos)
(2) C. de calidad
(bajo nivel)
(3) Preprocesado
(4) Exploración
de la Matriz
de Expresión
(5) Análisis
(6) Significación
Biológica
73. (0) Diseño experimental
• Variabilidad
– Sistemática
• Calibrar/Normalizar
– Aleatoria
• Diseño Experimental
• Inferencia
• Decidir acerca de
Awful design :-( Balanced design :-)
– Réplicas,
Sample
1
Treatment Sex
A Male
Batch
1
Sample
1
Treatment Sex
A Male
– Lotes (“Batch effect”)
2
3
A
A
Male
Male
1
1
2
3
A
A
Female
Male
– Pools …
4 A Male 1 4 A Female
5 B Female 2 5 B Male
6 B Female 2 6 B Female
7 B Female 2 7 B Male
8 B Female 2 8 B Female
74. (1) Obtención de la imagen
… • Entra: Microarrays
• Salen:
– Imágenes (1/chip)
– Ficheros de imagen
• Información para cada
sonda individual
• Datos para el análisis
de bajo nivel
… – Control de calidad
– Preprocesado
1.cel, 1.chp 2.cel, 2.chp – Sumarización
75. (2) Control de calidad de bajo nivel
• Entra:
… – Imágenes (.CEL, ...)
1.cel, 1.chp 2.cel, 2.chp
• Proceso
– Diagnósticos y
Control de calidad
– Análisis basado en
modelos (PLM)
• Salen:
– Gráficos
– Estadísticos de
control de calidad
81. Ejemplo de análisis de datos
Comparación de perfiles de expresión
entre tumores BRCA1/BRCA2 y
Construcción de un predictor que
permita distinguir entre ambos.
82. Fuente del ejemplo
Gene Expression Profiles in Hereditary
Breast Cancer
• Hedenfalk, I, et. al., NEJM, Vol. 344,
No. 8, pp 539-548.
Objetivo: Encontrar un predictor basado
en perfiles de expresión para diferenciar
tumores asociados a BRCA1 y BRCA2
83. Esquema del análisis
• Diseño experimental y datos para el
análisis
• Preprocesado
• Exploración
• Selección de genes
• Construcción de varios predictores y
selección del más apropiado
84. Diseño experimental
Patie BRCA1 v
nt PI BRCA2 v • RNA extraido de
Array D Sporadic
s1321 20 Sporadic
– 7 pacientess. BRCA1
s1996 1 BRCA1 – 8 pacients BRCA2
s1822 5 BRCA1 – 7 con cancer “esporádico”
s1714 3 BRCA1
• 6512 sondas
s1224 7 BRCA1
s1252 2 BRCA1 – 5361 genes
s1510 4 BRCA1 • 3226 retenidos para el
s1900 10 BRCA2 análisis
s1787 9 BRCA2
• Diseño de referencia
s1721 8 BRCA2
s1486 22 BRCA2
– Cada muestra comparada
s1572 16 Sporadic
contra linea celular no
s1324 17 Sporadic
tumorgénica (MCF-104)
s1649 15 Sporadic
s1320 18 Sporadic
s1542 19 Sporadic
s1281 21 Sporadic
s1905 6 BRCA1
s1816 13 BRCA2
89. Análisis (1). Selección de genes
(class comparison)
• BRCA1 vs noBRCA1
• Usamos un t-test y
un cutoff de 0.0001
– es decir declaramos
diferencialmenete
expresados los genes
cuyo p-valor sea
inferior a 0.0001
• No hacemos ajustes
– Mínimo FC
– Multiple testing
91. Análisis (2):
Construcción de un predictor
• Construímos
predictores por 6
métodos distintos.
• Genes candidatos por
class-comparison.
• Elegimos el que
presente menor tasa
de error de predicción
(estimada por leave
one out)
92. Resumiendo…
El análisis de microarrays puede visualizarse
como un proceso.
Es importante conocer
Los métodos apropiados para cada problrma,
los parámetros, el significado, las limitaciones de
cada paso.
Una aplicación adecuada del proceso
proporciona información relevante como...
una lista de genes diferencialmente expresados
(biomarcadores).
un modelo con capacidad de predecir (firma)
95. An array of problems?
• Poca reproducibilidad entre estudios
– Poca coincidencia entre las listas de genes
– No reproducción de las predicciones en
nuevos conjuntos de test
• Falta de estándares
• Falta de consenso en los métodos
• El paso a la clínica siempre por llegar
• Mediados de la década: ¿Promesa o
realidad?
97. Algunos consensos
(Allison 2006)
• Diseño
– Biological replication is essential
– There is strength in numbers: power & sample size
– Pooling biological samples can be useful
• Seleccion de genes diferencialmente expresados
– Using FC alone as a differential expression test is not valid
– 'Shrinkage' is a good thing
– FDR is a good alternative to conventional multiple-testing approaches
• Clasificación y Predicción
– Unsupervised classification is overused
– Unsupervised classification should be validated using resampling-
– Supervised-classification requires independent cross-validation
98. No todos los estudios se
hacen bien...
• Dupuy & Simon estudian 90 publicaciones.
– Análisis detallado de los métodos usados en 42.
• Ecuentran algunos errores comunes
– Objetivos pobremente definidos.
– No hay control de la multiplicidad
104 genes 104 tests P(Falso+) muy alta
– Ni se informa bien de la fiabilidad de un predictor.
– No se utiliza un conjunto de test independiente.
– Se abusa por doquier del análisis de clusters.
99. Aunque es posible hacerlo bien si...
• Se procura... (do’s) • Se evita... (don’t)
– Definir bien objetivos. – Basar la selección tan
– Combinar el p-valor y sólo en “Fold Change”
el FC al seleccionar – Usar p-valores de 0.05
genes. – Usar métodos de cluster
– Usar la FDR para el si lo que se deseara es
control de clasificar muestras.
multiplicidad. – Violar el principio básico
– Validar un predictor de la validación (no debe
con un conjunto de usarse el cjto de prueba
prueba independiente. antes de la validación).
– Contar con un
estadístico
... Hasta 40 “do’s” y “don’ts” en la tabla 3 de Dupuy y Simon (JNCI 99 (2): 147-157).
100. Resumiendo
• Los microarrays tienen algunas
limitaciones –razonables e intrínsecas-
• Un adecuado uso de los métodos de
análisis puede generar información útil,
fiable y reproducible.
• Aún así el paso de la clínica al diagnóstico
es más lento de lo que se esperaba.
¿Por qué?
101. De la investigación básica a los
diagnóstico basados en microarrays
¿Para cuando?
104. Algunas de las dificultades
• Se precisan estudios muy grandes para establecer la
potencia de un (kit) diagnóstico y validarlo en una
cohorte independiente y suficientemente amplio.
• Hacen falta estandarizaciones y sistemas de control de
calidad validados según criterios de laboratorios clínicos.
• Los tests de perfiles de expresión han de cumplir las
normas de la Agencia Médica Europea y/o la FDA.
• Para justificar su desarrollo hay que hacer estudios de
coste efectividad que sugieran una clara mejora en el
tratamiento al paciente y retorno de inversión y
beneficios en el medio/largo plazo.
105. Estado de los diagnósticos basados en
microarrays
Lleno: , Vacío:
106. Resumiendo
• Se espera que la creciente calidad y tamaño de los
estudios genere nuevos perfiles de expresión
transportables al diagnóstico.
• Aspectos como estandarización y automatización
(robótica) para minimizar la intervención humana
están cada vez mejor.
• Otros como la regulación por parte de las agencias y
las políticas de reembolso a los inversores y los
laboratorios deben de irse resolviendo.
• No es improbable un futuro en el que el “lab-on-a-
chip” forme parte de las herramientas de los clínicos.