Rationament probabilistic

Inteligență artificială
10. Raționament probabilistic
Florin Leon
Universitatea Tehnică „Gheorghe Asachi” din Iași
Facultatea de Automatică și Calculatoare
http://florinleon.byethost24.com/curs_ia.htm
Florin Leon, Inteligenta artificiala, http://florinleon.byethost24.com/curs_ia.htm

2
Raționament probabilistic
1. Rețele bayesiene
2. Inferențe cu rețele bayesiene
3. Teoria evidențelor
4. Concluzii

3
4. Concluzii

4
Probabilități
 P(A) – fracțiunea de lumi posibile în care A este adevărată
 Interpretarea frecventistă (număr de experimente)
 Interpretarea fizică (proprietăți ale obiectelor)
 Interpretarea subiectivistă (caracterizarea convingerilor)

5
Paradoxuri
 Problema “Monty Hall”

6
Paradoxuri

7
 Eroarea jucătorului de ruletă
 Dacă a ieșit roșu, data următoare sunt mai multe
șanse să iasă negru
 1913, Monte Carlo – negrul a ieșit de 26 de ori la rând
Paradoxuri

8
 Eroarea procurorului
 Grupa de sânge găsită la fața locului este o grupă rară, AB cu Rh
negativ, care are 1% frecvență în populație
 S-au mai găsit urme de păr blond, persoanele blonde constituind
tot 1% din populație
 Suspectul are grupa de sânge respectivă și este blond, prezența
împreună a acestor trăsături având împreună probabilitatea de
0,01% ⇒ vinovat cu o probabilitate de 99,99%
 Orașul în care s-a petrecut crima are o populație de 100.000 de
locuitori, deci alți 10 oameni au aceleași trăsături
⇒ vinovat cu o probabilitate de 10%
 Două camere video identifică suspectul cu o probabilitate de 70%,
deci suspectul este nevinovat cu o probabilitate de 0,9 ∙ 0,3 ∙ 0,3
⇒ vinovat cu o probabilitate de 91,9%
Paradoxuri

9
Probabilități condiționate
 P(A|B) este fracțiunea de lumi posibile în care
B este adevărată și atunci și A este adevărată
 Probabilitatea lui A, dat fiind B
 D = durere de cap, P(D) = 1/10
 G = gripă, P(G) = 1/40
 P(D|G) = 1/2
 Dacă cineva are gripă,
probabilitatea de a avea și dureri
de cap este de 50%
 P(D|G) = P(D⋂G) / P(G)

11
Teorema lui Bayes
 P(B|A) = P(A|B) · P(B) / P(A)
 Thomas Bayes (1763). An essay
towards solving a problem in the
doctrine of chances. Philosophical
Transactions of the Royal Society
of London, vol. 53, pp. 370-418

12
Diagnoză
 Probabilități cunoscute
 Meningită: P(M) = 0,002%
 Gât înțepenit: P(G) = 5%
 Meningita cauzează gât înțepenit în jumătate din
cazuri: P(G|M) = 50%
 Dacă un pacient are gâtul înțepenit, care este
probabilitatea să aibă meningită?
 P(M|G) = P(G|M) · P(M) / P(G) = 0,02%

13
Diagnoză
 Greșeală întâlnită uneori: P(A|B) = P(B|A)
 Diagnostice pentru boli rare
 Trebuie avută în vedere probabilitatea testului de
a returna rezultate fals pozitive
B – boală
T – test

14
Independență și
independență condiționată
 Exemplul 1. Ion și Maria dau cu banul de 100
de ori. Fiecare are un ban diferit
 Evenimente independente
 Rezultatul unui experiment nu influențează
rezultatul celuilalt experiment

15
Independență și
 Exemplul 2. Ion și Maria dau cu același ban
 Dacă banul nu este corect, evenimentul A (Ion)
poate aduce informații asupra evenimentului
B (Maria)
 Evenimentele nu sunt independente
 Rezultatul unui experiment poate influența
cunoștințele despre rezultatul celuilalt

Independență și
 Exemplul 2 (cont.). Fie C variabila „banul este
influențat în favoarea pajurei”
 Dacă știm C, experimentul A nu mai aduce
informații noi asupra lui B
 P(B|A,C) = P(B|C)
 A și B sunt independente condițional dat fiind C
 Situație numită „cauză comună”
16Florin Leon, Inteligenta artificiala, http://florinleon.byethost24.com/curs_ia.htm

Independență și
 Exemplul 3. Ion și Maria locuiesc în zone diferite ale
orașului și vin la serviciu cu tramvaiul, respectiv
mașina
 „Ion a întârziat” și „Maria a întârziat” pot fi considerate
independente
 Dacă vatmanii sunt în grevă, atunci și traficul rutier crește.
Evenimentele devin condițional independente
 Există multe situații în viața reală în care evenimente
considerate independente sunt de fapt condițional
independente

Independență și
 Exemplul 4. Atât răceala cât și alergia îl pot
determina pe Ion să strănute
 Dacă nu știm că Ion a strănutat, răceala și alergia sunt
independente
 Dacă știm că Ion a strănutat, răceala și alergia nu mai sunt
independente
 Dacă mai știm că Ion este răcit, probabil că răceala
determină strănutul, iar probabilitatea alergiei scade
 Situație numită „revocare prin explicare” (engl. “explaining
away”)

Distribuție comună de
probabilitate
 3 variabile binare: 23 – 1 = 7 parametri independenți
19
1 – suma celorlalți

20
Reprezentarea cunoștințelor
incerte
 O situație cu 5 variabile binare (exemplul următor)
 Specifică o distribuție comună de probabilitate
cu 25 – 1 = 31 parametri
 Fezabil
 Un sistem expert cu 37 de variabile binare
pentru monitorizarea pacienților de la terapie
intensivă
 237 – 1 ≈ 1011 parametri
 Nefezabil

Reprezentarea distribuției
comune de probabilitate
Este adevărată doar dacă fiecare
nod este independent condițional
de predecesorii din șirul ordonat al
nodurilor, dați fiind părinții nodului
“chain rule”
(regula de înmulțire
a probabilităților)
Dacă efectele sunt considerate
independente  “Naïve Bayes”

22
Rețea bayesiană
 S-a instalat un nou sistem
de alarmă, care sună în
cazul unei spargeri dar și în
cazul unui cutremur
 Vecinii John și Mary îl sună
pe proprietar la serviciu
dacă aud alarma
 10 parametri independenți
față de 31
Rețea bayesiană (J. Pearl, 1985)

23
Comparație
 Sistem expert pentru
monitorizarea
pacienților de la
terapie intensivă
 37 variabile
 509 parametri
în loc de 1011

24
Interogări simple
 Care este probabilitatea ca
alarma să se declanșeze fără
să fi fost nicio spargere și
niciun cutremur iar John și
Mary să sune?

25
Validitatea unei rețele bayesiene
 O rețea bayesiană este un graf orientat aciclic
 Arcele pot forma bucle, dar nu pot forma cicluri

Algoritmul Bayes-Ball
 Reprezintă o modalitate simplă de a determina
relațiile de independență și independență
condiționată într-o rețea bayesiană
 Se presupune că o minge este trimisă dintr-un nod
în rețea
 Mingea trece în moduri diferite, în funcție de cine o
trimite (fiu sau părinte) și starea nodului care o
primește (observat/evidență sau neobservat)
 Nodurile la care mingea nu ajunge sunt independente
(condițional) de nodul de start

Reguli de trimitere a mingii
27
noduri evidență (gri) noduri neobservate (albe)

Exemple
28
o cale activănicio cale activă

29
Ordonarea nodurilor
 Rețelele din dreapta sunt create prin introducerea succesivă a noilor noduri,
de sus în jos
 Ambele sunt echivalente cu distribuția comună de probabilitate
 Nu sunt optime din punct de vedere al compactității
 Necesită mai mulți parametri
 Rețeaua (b) necesită 31 de parametri, la fel ca distribuția comună

30
2.1. Inferența probabilităților marginale
2.2. Inferența prin enumerare
2.3. Eliminarea variabilelor
4. Concluzii

31
Inferența probabilităților
marginale

32
Nodul Febră
FD = (Febră = Da)
FN = (Febră = Nu)

Nodul Oboseală
33
OD = (Oboseală = Da)
ON = (Oboseală = Nu)

Nodul Anorexie
34
XD = (Anorexie = Da)
XN = (Anorexie = Nu)

35
Probabilitățile marginale ale
nodurilor

36
Inferența prin enumerare
 Interogare: Care este probabilitatea ca o
persoană să aibă gripă, dacă prezintă
simptome de oboseală şi anorexie?

37
Rezolvare
Evidența observată
Variabila interogată
Variabilele neobservate
Coeficient de normalizare
Sumă după toate valorile posibile ale lui y,
de exemplu afirmat și negat

Rezolvare
 Vom calcula independent 𝑃 𝐺 𝐷|𝑂 𝐷, 𝑋 𝐷 şi 𝑃 𝐺 𝑁|𝑂 𝐷, 𝑋 𝐷
 Pentru 𝑃 𝐺 𝐷|𝑂 𝐷, 𝑋 𝐷 , variabilele rămase sunt Abcesul şi
Febra
 Vom suma probabilităţile corespunzătoare tuturor valorilor
acestor variabile: 𝑎 ∈ {𝐴 𝐷, 𝐴 𝑁} şi 𝑓 ∈ {𝐹 𝐷, 𝐹 𝑁}
 Pentru a creşte eficienţa calculelor, se recomandă ca
variabilele rămase să fie mai întâi sortate topologic, astfel
încât părinţii să apară înaintea copiilor
 În acest caz, se vor putea descompune mai uşor sumele,
scoţând în faţă factorii care nu depind de o anumită variabilă

39
Observație
 Toate variabilele care nu sunt predecesori ai
unei variabile de interogare sau de evidență
sunt irelevante și pot fi ignorate în calcule

40
Rezolvare

Rezolvare
41

Structura de rezolvare
 Se repetă unele calcule:

44
Eliminarea variabilelor
 Se fac sumări de la dreapta la stânga, stocând
rezultatele intermediare (factori) pentru evitarea
recalculărilor

45
Operații de bază
 Produs punct cu punct (engl. “pointwise
product”)

46
Operații de bază
 Eliminarea prin sumare (engl. “sum out”)
a unei variabile dintr-un produs de factori:
mutarea tuturor factorilor constanți în afara
sumării, presupunând că fi nu depind de X

47
Factorul OX

Factorul FOX

Eliminarea prin sumare

Factorul AFOX

Factorul GAFOX
51
Aceleași valori ca la exemplul
de la inferența prin enumerare

52
3.1. Regula Dempster-Shafer
3.2. Regula Yager
4. Concluzii

53
Teoria evidențelor
 Probabilitățile evaluează o situație folosind un singur număr
 Teoria evidențelor acordă propozițiilor intervale pentru gradele
de încredere [Bel, Pl]
 Bel = convingerea (engl. “belief”)
 Pl = plauzibilitatea: Pl(A) = 1 – Bel(A)
 Se calculează independent A și A
 Dacă nu avem informații nici despre A nici despre A, intervalul
de încredere este [0, 1]
 În loc de probabilitatea 0.5
 Pe măsură ce se acumulează informații, intervalul se micșorează
 Bel(A) ≤ P(A) ≤ Pl(A)

54
Aruncarea unui ban
 Dacă nu avem nicio informație despre ban, dacă este corect
sau nu, atunci:
 Bel(cap) = 0 și Bel(cap) = 0
 Pl(cap) = 1 – Bel(cap) = 1
 Intervalul de încredere pentru cap este [0, 1]
 Dacă un expert este 90% sigur că banul este corect, adică
P(cap) = 0.5, atunci:
 Bel(cap) = 0.9 · 0.5 = 0.45
 Bel(cap) = 0.9 · 0.5 = 0.45
 Pl(cap) = 1 – Bel(cap) = 0.55
 Intervalul de încredere pentru cap este [0.45, 0.55]

55
Formalizare
 Θ este cadrul de discernământ (se mai notează cu
H și se mai numește universul ipotezelor mutual
exclusive)
 m este o funcție de masă (sau atribuire de
convingeri de bază, engl. “Basic Belief
Assignement”, BBA)
 m : (Θ) → [0, 1], unde (Θ) este mulțimea părților lui Θ
 m() = 0
 ∑A(Θ) m(A) = 1

56
Combinarea evidențelor
 Regula Dempster-Shafer ne permite să
combinăm convingerile m care apar din
surse multiple de evidențe

Exemplul 1
 Două site-uri de știri relatează despre o
demonstrație
 Primul site are nivelul de încredere de 80%
iar al doilea are nivelul de încredere de 60%
 Ambele afirmă că demonstrația a fost una
mare, cu peste 10000 de participanți

Rezolvare
58
Nu există evidențe împotriva faptului că demonstrația a fost mare

Exemplul 2
 Primul site afirmă că demonstrația a fost mare iar al doilea
afirmă contrariul
 Ar fi incorect să considerăm m2({Mare}) = 0,4, deoarece
al doilea site a spus doar că demonstrația a fost mică,
nu a spus nimic despre o demonstrație mare
 Valoarea asociată mulțimii vide este 0,48 și deci numitorul
fracției va fi: 1 – 0,48 = 0,52

Rezolvare

61
Exemplul 3
 Un pacient poate avea răceală (Cold), gripă
(Flu), Meningită sau Nimic (e sănătos)
 Mulțimea de ipoteze H = {C, F, M, N}
 Din studii anterioare:
 Febra susține ipoteza {C, F } la nivelul 0.5 și
{M } la nivelul 0.2
 Grețurile susțin ipoteza {C, F, N } la nivelul 0.7

62
Combinarea evidențelor
Singura combinație care produce mulțimea vidă are produsul 0.14,
deci numitorul va fi 1 – 0.14 = 0.86
Avem un pacient cu febră și grețuri (m1 și m2).

63
Noua BBA
Posibilitatea de răceală sau gripă: [0.581, 0.93]
Posibilitatea de meningită: [0.07, 0.175]
0.825 = 0.581 + 0.244
suma tuturor
submulțimilor

64
Altă evidență
 Dacă se face un test de laborator și acesta
iese pozitiv, indicând ipoteza { M } la nivelul
0.8, cum se schimbă convingerile?

Evidențe conflictuale
 Exemplu de rezultat neplauzibil (Zadeh):
 Un pacient este examinat de doi medici, care
stabilesc că ar putea avea meningită (M),
o contuzie (C) sau o tumoare pe creier (T)
 Ambii medici consideră că tumoarea este
improbabilă, dar nu se pun de acord asupra
diagnosticului cel mai probabil

Evidențe conflictuale
 Valoarea corespunzătoare mulţimii vide este în acest caz
0,9801 + 0,0099 + 0,0099 = 0,9999 şi deci numărătorul fracţiei
va fi 0,0001
 Funcţia de masă m3 va fi doar: m3({T}) = 0,0001 / 0,0001 = 1

67
Discuție
 O convingere puternică atribuită mulțimii vide
indică evidențe conflictuale în mulțimea de
convingeri
 Când avem mulțimi mari de ipoteze și mulțimi
complexe de evidențe, calculele devin
laborioase

Regula Yager
 Regula Yager nu normalizează conflictul, ci îl adaugă la
mulțimea Θ
 Regula generală:
 Pentru două evidențe:

Exemplul lui Zadeh
69
 Funcțiile de masă:
 m1{(M)} = 0.99, m1({T}) = 0.01
 m2{(C)} = 0.99, m2({T}) = 0.01
 Cu regula lui Yager:

Exemplul cu demonstrația,
evidențe convergente
70
Același rezultat ca la
regula Dempster-Shafer

Exemplul cu demonstrația,
evidențe conflictuale

Aplicații din viața reală
 Sisteme expert
 Sisteme de diagnoză
 Combinarea informațiilor provenite de la mai mulți
senzori (engl. “sensor fusion”)

73
Concluzii
 Rețelele bayesiene asigură un mod concis de a
reprezenta relațiile de independență condițională
într-un domeniu și de a face inferențe
 Teoria evidențelor permite combinarea informațiilor
oferite de surse de evidențe posibil contradictorii. Se
face o distincție între probabilitatea unei propoziții
dată fiind o evidență incertă și probabilitatea unei
propoziții în lipsa oricărei evidențe

Rationament probabilistic

Recommended

Recommended

More Related Content

More from Florin Leon

More from Florin Leon (20)

Rationament probabilistic