8 probability overview-it

3,077 views

Published on

Un ripasso della teoria assiomatica e un passo piccolo piccolo nella direzione di una teoria Bayesiana

Published in: Education
0 Comments
2 Likes
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total views
3,077
On SlideShare
0
From Embeds
0
Number of Embeds
2
Actions
Shares
0
Downloads
521
Comments
0
Likes
2
Embeds 0
No embeds

No notes for slide

8 probability overview-it

  1. 1. Un ripasso di probabilità PaulKlee,GiardinodiTunisi,1919 Riccardo Rigon
  2. 2. “Fare Scienza è oggi una attività che non si svolge più nella notte dei secoli bui, nè alla chiara luce dei lumi, ma nel crepuscolo della probabilità ” Paolo Agnoli citando Paolo Vineis che cita John Locke
  3. 3. R. Rigon !3 Sommario • Nella lezione presente ricorderemo alcune proprietà fondamentali della probabilità • Tratteremo anche delle differenze tra probabilità e statistica • Descriveremo alcune distribuzioni di probabilità e le loro caratteristiche • Ricorderemo il teorema del limite centrale
  4. 4. R. Rigon !4 I fatti centrali del CP si possono derivare dal considerare semplici esperimenti come quelli del lancio di una moneta: se si lancia una moneta un numero grande di volte, la proporzione di teste o croce, raggiunge valori prossimi al 50%. Il calcolo delle probabilità
  5. 5. R. Rigon !5 In altre parole mentre il risultato di un lancio è completamente incerto, una lunga serie di lanci porta ad un risultato certo. Il passaggio da una forma di incertezza ad una di certezza è uno dei temi essenziali del CP Il calcolo delle probabilità
  6. 6. R. Rigon !6 Alcune applicazioni del CP •La Fisica Statistica, inclusa la modellazione dei sistemi biologici •La teoria dei giochi •Decisioni in economia e finanza •La teoria dell’informazione •La bioinformatica •L’analisi dei dati idro-meteorologici!
  7. 7. R. Rigon !7 L’esperimento probabilistico Dunque con il CP abbiamo a che fare con: ! • Experimenti il cui esito non può essere predetto con certezza ! • Le realizzazioni dell’esperimento ! Il termine esperimento è qui usato in senso lato, per significare il verificarsi di eventi fisici ( e la loro misura) di cui il calcolo delle probabilità rappresenta una astrazione in senso matematico
  8. 8. R. Rigon !8 Lo spazio degli eventi L’insieme di tutte le possibili realizzazioni di un esperimento è chiamato spazio degli eventi (relativo all’esperimento). ! Ogni singolo elemento dello spazio degli eventi è chiamato campione, evento. ! I campioni e lo spazio degli eventi dipendono da che cosa lo sperimentatore decide di osservare.
  9. 9. R. Rigon !9 Un Esempio classico Piove o non piove L’osservatore può scegliere di osservare il verificarsi di precipitazione in una sequenza di intevalli prefissati. Chiamamo P il caso di istante piovoso e S un istante non piovoso. Allora ! R= {PP, PS, SP, SS} ! Possiamo scegliere di registrare le coppie di istanti non piovosi. Allora lo spazio degli eventi è costituito da: ! S= {0, 1, 2} ! eventi piovosi.
  10. 10. R. Rigon !10 Un Esempio classico Piove o non piove Se invece la nostra osservazione corrisponde al fatto che due giorni successivi hanno lo stesso stato pluviometrico (U) o un diverso stato pluivometrico (D), allora lo spazio degli eventi è: ! T= {U, D}
  11. 11. R. Rigon !11 Una definizione formale • Sia Ω lo spazio degli eventi: – Esso contiene tutte le possibili realizzazioni di un determinato esperimento ! – è un singolo evento – è un insieme di eventi ! – E’ richiesto che sia una sigma-algebra A
  12. 12. R. Rigon !12 Una definizione più formale gli assiomi della probabilità e.g. Feller, 1968
  13. 13. R. Rigon !13 Non perseguiremo qui la prova dei seguenti enunciati. Tuttavia, una evidenza intuitiva deriva dall’associare alla probabilità l’area della figura geometrica disegnata nelle slides che seguono. Altre proprietà della probabilità. dedotte dagli assiomi 1-3:
  14. 14. R. Rigon !14 Altre proprietà della probabilità. dedotte dagli assiomi 1-3: Se A + Ac = Allora: P(A) = 1 P(Ac ) A Ac
  15. 15. R. Rigon !15 Altre proprietà della probabilità. dedotte dagli assiomi 1-3: A ⇥ B =⇤ P(A) P(B) B A B
  16. 16. R. Rigon !16 Altre proprietà della probabilità. dedotte dagli assiomi 1-3: P(A ⇥ B) = P(A) + P(B) P(A ⇤ B) A
  17. 17. R. Rigon !17 Altre proprietà della probabilità. dedotte dagli assiomi 1-3: P(A ⇥ B) = P(A) + P(B) P(A ⇤ B) B
  18. 18. R. Rigon !18 Altre proprietà della probabilità. dedotte dagli assiomi 1-3: P(A ⇥ B) = P(A) + P(B) P(A ⇤ B) A B A B
  19. 19. R. Rigon !19 Il problema centrale non è il calcolo: che risulta “automatico”. Ma l’assegnazione delle probabilità ovvero della forma funzionale della P( ). Quando si conosce la probabilità, si conosce tutto del fenomeno che si va descrivendo: se ne è assegnata “la fisica”.
  20. 20. R. Rigon !20 La probabilità condizionale Si dice che una probabilità è condizionale, se essa è assegnata in seguito alla conoscenza della realizzazione di uno o più eventi e si scrive: L a c o n o s c e n z a c h e c i h a permesso di assegnare la probabilità
  21. 21. R. Rigon !21 La probabilità condizionale Si dice che una probabilità è condizionale, se essa è assegnata in seguito alla conoscenza della realizzazione di uno o più eventi e si scrive: O più semplicemente: se l’evento x è condizionato da y
  22. 22. R. Rigon !22 Probabilità composte Come negli esempi iniziali, è possibile considerare, il contemporaneo realizzarsi di più insiemi di eventi. Si parla allora di Probabilità congiunta, indicata con le due scritture equivalenti: A, B
  23. 23. R. Rigon !23 Probabilità composte Come negli esempi iniziali, è possibile considerare, il contemporaneo realizzarsi di più insiemi di eventi. Si parla allora di Probabilità congiunta: La probabilità è, in questo caso, l’area del trapezio rosso, rispetto all’area di A, B
  24. 24. R. Rigon !24 Probabilità condizionali La probabilità condizionale è invece definita come Pertanto
  25. 25. Riccardo Rigon !25 Dunque La probabilità (pdf) di due eventi A e B congiunti è data da dove P(A | B) è la probabilità di ottenere A da un campione casuale, sapendo che B è certo, èd è chiamata probabilità condizionale di A rispetto ad B, e P(B) è la probabilità di ottenere B. Equivalentemente il teorema si legge anche: vista la simmetria esistente tra gli insiemi A e B Bayes Theorem
  26. 26. Riccardo Rigon !26 La regola di Bayes Vale allora la Regola di Bayes Bayes Theorem Che di solito è scritta come:
  27. 27. R. Rigon !27 Indipendenza statistica: A e B sono detti statisticamente indipendenti se Analogamente, se gli Aj sono indipendenti, allora e
  28. 28. R. Rigon !28 Indipendenza statistica: Il concetto di indipendenza statistica estende quello del calcolo combinatorico di eventi discreti, ma non è affatto intuitivo geometricamente. Esso afferma, nella sostanza, che l’area dell’intersenzione (non nulla) di due insiemi è uguale al prodotto delle aree degli insiemi. L’indipendenza statistica rappresenta perciò una equazione che deve essere soddisfatta. A B
  29. 29. R. Rigon !29 Indipendenza statistica: Sia considerato, per illustrare l’esempio, uno spazio degli eventi rappresentato da un quadrato di lato unitario e i due suoi sottoinsiemi con un lato unitario ed uno, lungo 2/3 A B
  30. 30. R. Rigon !30 Indipendenza statistica: Qualora i due sottoinsiemi siano disposti come in figura, la loro intersezione e’ di area 2/3 x 2/3 = 4/9 e, poichè P(B) = 2/3 e P(A) = 2/3 A B Allora A e B (come disposti in figura) sono eventi indipendenti ! 2/3 1/3 2/3 1/3
  31. 31. R. Rigon !31 Indipendenza statistica: Se i due insiemi A e B sono fatti muovere parallelamente a se stessi, in base alla definizione data, si ottengono altri insieme isomorfi ai primi che rimangono indipendenti. A B 2/3 1/3 2/3 1/3
  32. 32. R. Rigon !32 Indipendenza statistica: In altre configurazioni, some quella rappresentata sotto, non sono più indipendenti statisticamente. A B 2/3 1/3 2/3 1/3
  33. 33. R. Rigon !33 Probabilità in spazi metrici Sinora si è pensata la probabilità come definita su insiemi generici. D’ora in poi assumeremo che lo spazio degli eventi siano uno spazio metrico, isomorfo ad Rn. In questo caso gli insiemi sono generalmente rappresentati da coordinate, di solito cartesiane e la probabilità viene rappresentata da funzioni su Rn che vengono dette • Funzioni di ripartizione Se tali funzioni sono funzioni sono di una sola variabile (P: R ->R ) , il processo viene detto: •univariato Altrimenti viene detto •multivariato ! !
  34. 34. R. Rigon !34 D’ora in poi Faremo assumeremo sempre di lavorare in Rn o R. Quindi: In genere, A e B saranno intervalli di
  35. 35. R. Rigon !35 D’ora in poi Per indicare la probabilità di ottenere valori minori di x useremo la notazione: oppure la probabilità di ottenere valori compresi tra x1 ed x2: con ovvie generalizzazioni ai casi molti-dimensionali
  36. 36. R. Rigon !36 La regola di Bayes con questa notazione diviene ?
  37. 37. Riccardo Rigon !37 Vista la simmetria tra le variabili vale anche: che può essere riscritto: Ciò che qui appare un semplice rimaneggaimento algebrico è in effetti la nascita di una nuova visione della disciplina. Bayes Theorem
  38. 38. Riccardo Rigon !38 Bayes Theorem Infatti: Si assuma infatti la conoscenza a priori della variabile x, definita dalla la distribuzione a priori. Il teorema di Bayes afferma che la conoscenza introdotta dalla variabile y (o meglio dai fatti che y descrive), modifica la conoscenza della variabile x (o meglio: della sua distribuzione), e che questa conoscenza è garantita della distribuzione a posteriori: che è proporzionale, ma non necessariamente uguale alla prima. , ,
  39. 39. Riccardo Rigon !39 Bayes Theorem Il fattore di proporzionalità è chiamato verosimiglianza: Cosicchè: la probabilità a posteriori (di x) uguaglia il prodotto della verosimiglianza per la probabilità a priori (di x) diviso per l’evidenza Alcuni distinguono tra numeratore, la verosimiglianza e denominatore che è chiamato evidenza. Noi adotteremo quest’ultima convenzione.
  40. 40. R. Rigon !40 Probabilità e causalità La probabilità non riguarda necessariamente la rapporti causali non significa che y causa x. Solo accenna alle relazioni tra y ed x. Paradossalmente l’evento y può precedere x !
  41. 41. R. Rigon !41 Distribuzioni delle variabili casuali • La funzione di ripartizione o Cumulative Probability Distribution (CDF) è definita: • La sua derivata (se esiste) è la funzione densità di probabilità Probability Density Function (PDF):
  42. 42. R. Rigon !42 • Dalle due equazioni precedenti segue: Distribuzioni delle variabili casuali
  43. 43. R. Rigon !43 La distribuzione uniforme • Una variabile random X è uniformemente distribuita tra x1 e x2 se ha funzione densità: X1 X2
  44. 44. R. Rigon !44 La distribuzione Gaussiana o Normale • La densità di probabilità ! ! • La probabilità
  45. 45. R. Rigon • Si dice standard se μ = 0 e σ2 = 1 La distribuzione Gaussiana o Normale -2 -1 1 2 0.2 0.4 0.6 0.8 1.0
  46. 46. Riccardo Rigon Un Ripasso sulla Probabilità Calcolo delle probabilità • Probabilità di ottenere un intervallo di valori ! ! • Significato della deviazione standard ! ! !
  47. 47. Riccardo Rigon Un Ripasso sulla Probabilità • Esempio » X è una variabile random con μ = 0.8 & σ2 = 4 Calcolo delle probabilità
  48. 48. R. Rigon !48 Uno sguardo più sistematico 1. Distribuzioni a valori discreti 2. Altre distribuzioni continue
  49. 49. R. Rigon !49 Distribuzioni di Probabilità ! ! • La distribuzione di probabilità ! – Determina la probabilità di un particolare evento – Le distribuzioni discrete sono quelle che assumono un valori nel campo dei numeri naturali o razionali – Le distribuzioni continue sono quelle che assumono valori nel campo dei numeri reali.
  50. 50. R. Rigon • Se una variabile casuale X può assumere solo valori discreti: x1, x2, x3, … • La funzione densità di probabilità f(x) è del tipo: ! ! ! ! ! ! ! • La CDF: !50 Distribuzioni di probabilità discrete
  51. 51. R. Rigon • Se una variabile casuale X può assumere solo valori discreti: x1, x2, x3, … ! ! • Tra le sue proprietà !51 Distribuzioni di probabilità discrete
  52. 52. R. Rigon !52 Distribuzioni di probabilità discrete
  53. 53. R. Rigon !53 Distribuzioni di probabilità discrete
  54. 54. R. Rigon !54 Distribuzioni di probabilità discrete • Nei fatti, un istogramma e la ECDF sono delle distribuzioni a valori discreti e la scrittura formale delle entità statistiche e probabilistiche può coincidere. ! • E’ bene ricordare però che mentre le entità statistiche rappresentano campioni, le entità probabilistiche rappresentano popolazioni (l’ontologia è diversa).
  55. 55. R. Rigon !55 • Varianza di X: • Deviazione standard di X: Caratterizzazione delle distribuzioni
  56. 56. R. Rigon !56 Caratterizzazione delle distribuzioni • Si può definire, in generale, il momento n-esimo di una distribuzione come: M(n) := ⇥ ⇥ xn pX(x) dx
  57. 57. R. Rigon Funzione caratteristica La funzione caratteristica è definita come il valore atteso della della funzione a valori complessi - eitx
  58. 58. R. Rigon Funzione generatrice dei momenti ! ! ! La funzione generatrice dei momenti è definita come (il valore atterso di etx ): ! ! Il momento n-esimo può,, una volta ottenuto l’integrale di cui sopra essere calcolati da: ! ! ! Ovvero mediante la derivata n-esima dell funzione generatrice dei momenti, calcolata per t=0
  59. 59. R. Rigon !59 La distribuzione Binomiale • Governa la probabilità nel campo dei giochi, nell’analisi di qualità, nello studio delle opinioni, etc. ! ! !
  60. 60. R. Rigon !60 La distribuzione Binomiale • Supponiamo di fare n tentativi, ovvero di avere n copie del processo descritto a A e !A. Allora, la probabilità di avere x volte A è:
  61. 61. R. Rigon !61 La distribuzione Binomiale ! • La media e la varianza della distribuzione sono
  62. 62. R. Rigon !62 Poisson Distribution • Infiniti eventi possibili A1, A2, A3 ... An La probabilità dei singoli eventi ma
  63. 63. R. Rigon !63 Poisson Distribution • Allora • Il valore numerico di media e varianza della distribuzione di Poisson sono uguali
  64. 64. R. Rigon !64 Poisson Distribution • Un calcolo esemplificativo
  65. 65. R. Rigon !65 Altre distribuzioni continue •Gaussiana o Normale •Esponenziale •Gamma •Lognormale •Chi square •F and T
  66. 66. R. Rigon Esponenziale P[X < x; ] := 1 e x 0 ⇥ x ⇥ ⇤ f(x; ) := e x 0 x ⇥ V ar[x; ] = 1 2 E[X; ] = 1
  67. 67. R. Rigon Esponenziale
  68. 68. R. Rigon Esponenziale More information on Wikipedia (Exponential distribution)
  69. 69. R. Rigon Gamma La distribuzione Gamma può essere considerata una generalizzazione della distribuzione esponenziale e ha forma: ! !! Il suo integrale, cioè la probabilità è una funzione trascendente, che si trova tabulata (o si può calcolare con appropriati metodi numerici) e si chiama funzione gamma uncompleta f(x; k, ) := xk 1 e x/ k (k) 0 x ⇥ k, > ( ) ⇥ ( 1)!
  70. 70. R. Rigon !70 Gamma
  71. 71. R. Rigon !71 Gamma
  72. 72. R. Rigon !72 Gamma V ar(x; k, ) = k 2 Mode(x; k, ) = (k 1) k > 1 E[x; k, ] = k More information on Wikipedia (Gamma distribution)
  73. 73. R. Rigon !73 Lognormale
  74. 74. R. Rigon !74 Lognormale
  75. 75. R. Rigon !75 Lognormale
  76. 76. R. Rigon !76 Lognormale E[x; µ, ⇥] = eµ+⇥2 /2 Median[x; µ] = eµ Mode[x; µ, ⇥] = emu 2 V ar[x; µ, ⇥] = (e⇥2 1)e2µ+⇥2 More information on Wikipedia (Lognormal distribution)
  77. 77. R. Rigon χ2 Le distribuzione della somma dei quadrati di n variabili random standardizzate ha una distribuzione χ2 con n gradi di libertà. La funzione densità e la funzione di ripartizione sono rispettivamente: f(x; k) = 1 2k/2 (k/2) x(k/2 1) e x/2 x > 0 0 x 0 F[x; k] = (k/2, x/2) k/2
  78. 78. R. Rigon !78 χ2
  79. 79. R. Rigon !79 χ2
  80. 80. R. Rigon !80 E[x; k] = k V ar[x; k] = 2k χ2 More information on Wikipedia (Chi square distribution) Mode[x; k] = k 2 k ⇥ 2
  81. 81. R. Rigon !81 χ2
  82. 82. Inferenza statistica e statistica descrittiva Riccardo Rigon !82 Perchè la distribuzione Normale è così importante ? -2 -1 1 2 0.2 0.4 0.6 0.8 1.0
  83. 83. Inferenza statistica e statistica descrittiva Riccardo Rigon !83 4 Simulazione 3 4 Simulazione 3 In un terzo esempio, considereremo la distribuzione campionaria della media nel caso di una variabile continua. 1. Verr`a utilizzata una popolazione teorica distribuita normalmente con media e varianza conosciute: N(125, 33). 2. Usando R, verranno estratti da questa popolazione 50000 campioni causali di grandezza n = 10. 3. Verr`a calcolata la media di ciascuno di questi campioni di grandezza n = 10; 4. Verranno calcolate la media e la varianza della distribuzione delle medie dei 50000 campioni di grandezza n = 10. Tecniche di Ricerca Psicologica e di Analisi dei Dati 30 CorradoCaudek
  84. 84. Inferenza statistica e statistica descrittiva Riccardo Rigon !84 4 Simulazione 3 n <- 10 nSamples<- 50000 Mean <- 125 SD <- sqrt(33) SampDistr <- rep(0,nSamples) for (i in 1:nSamples){ samp <- rnorm(n, Mean, SD) SampDistr[i] <- mean(samp) } MeanSampDistr <- mean(SampDistr) VarSampDistr <- var(SampDistr)*(nSamples-1)/nSamples Tecniche di Ricerca Psicologica e di Analisi dei Dati 31 CorradoCaudek
  85. 85. Inferenza statistica e statistica descrittiva Riccardo Rigon !85 4 Simulazione 3 Risultati della simulazione > Mean [1] 125 > Var [1] 33 > MeanSampDistr [1] 125.0029 > VarSampDistr [1] 3.277463 > Var/n [1] 3.300000 Tecniche di Ricerca Psicologica e di Analisi dei Dati 32 CorradoCaudek
  86. 86. Inferenza statistica e statistica descrittiva Riccardo Rigon !86 4 Simulazione 3 • Popolazione: µ = 125, 2 = 33. • Distribuzione campionaria della media: µ¯x = 125, 2 ¯x = 3.3. • Risultati della simulazione: ˆµ¯x = 125.0029, ˆ2 ¯x = 3.277463. Tecniche di Ricerca Psicologica e di Analisi dei Dati 33 CorradoCaudek
  87. 87. Inferenza statistica e statistica descrittiva Riccardo Rigon !87 4 Simulazione 3 110 120 130 140 0.00.20.40.6 Media di campioni di grandezza n = 2 Densità 110 120 130 1400.00.20.40.6 Media di campioni di grandezza n = 10 Densità 110 120 130 140 0.00.20.40.6 Media di campioni di grandezza n = 100 Densità Tecniche di Ricerca Psicologica e di Analisi dei Dati 34 CorradoCaudek
  88. 88. Inferenza statistica e statistica descrittiva Riccardo Rigon !88 5 Simulazione 4 0 1 2 3 4 5 6 0.00.51.01.52.0 Media di campioni di grandezza n = 2 Densità 0 1 2 3 4 5 6 0.00.51.01.52.0 Media di campioni di grandezza n = 5 Densità 0 1 2 3 4 5 6 0.00.51.01.52.0 Media di campioni di grandezza n = 25 Densità 0 1 2 3 4 5 6 0.00.51.01.52.0 Media di campioni di grandezza n = 100 Densità Tecniche di Ricerca Psicologica e di Analisi dei Dati 38 CorradoCaudek
  89. 89. Inferenza statistica e statistica descrittiva Riccardo Rigon !89 6 Conclusioni 6 Conclusioni • Da questi esempi possiamo concludere le seguenti regole generali. Supponiamo che ¯x sia la media di un campione casuale estratto da una popolazione avente media µ e varianza 2 . – La media della distribuzione campionaria di ¯x `e uguale alla media della popolazione: µ¯x = µ. – La varianza della distribuzione campionaria di ¯x `e uguale a 2 ¯x = 2 n . Tecniche di Ricerca Psicologica e di Analisi dei Dati 39 CorradoCaudek
  90. 90. Inferenza statistica e statistica descrittiva Riccardo Rigon !90 6 Conclusioni Legge dei grandi numeri • Di conseguenza, al crescere della numerosit`a del campione, la media del campione ¯x diventa via via pi`u simile alla media della popolazione µ. – In un campione molto grande, ¯x sar`a quasi certamente molto simile a µ. Tale fatto `e chiamato legge dei grandi numeri. Tecniche di Ricerca Psicologica e di Analisi dei Dati 40 CorradoCaudek
  91. 91. Inferenza statistica e statistica descrittiva Riccardo Rigon !91 6 Conclusioni Teorema del limite centrale • Indipendentemente dalla forma della distribuzione della popolazione, la distribuzione campionaria di ¯x `e approssimativamente normale e quest’approssimazione `e tanto migliore quanto maggiori sono le dimensioni del campione: ¯x N(µ, n ). Tale fatto `e chiamato teorema del limite centrale. – Quanto debba essere grande n a nch´e questa approssimazione sia accettabile dipende dalla forma della distribuzione della popolazione – in generale, comunque, n = 30 `e su ciente. Tecniche di Ricerca Psicologica e di Analisi dei Dati 41 CorradoCaudek
  92. 92. Inferenza statistica e statistica descrittiva Riccardo Rigon !92 6 Conclusioni Distribuzione campionaria nel caso di una popolazione gaussiana • Se la distribuzione della popolazione `e gaussiana allora la distribuzione campionaria di ¯x sar`a normale, indipendentemente dalla numerosit`a n del campione. Tecniche di Ricerca Psicologica e di Analisi dei Dati 42 CorradoCaudek
  93. 93. Riccardo Rigon Grazie per l’attenzione! G.Ulrici,2000?

×