1. Modelarea și analiza
sistemelor multi-agent
4. Teoria jocurilor (I)
Florin Leon
Universitatea Tehnică „Gheorghe Asachi” din Iași
Facultatea de Automatică și Calculatoare
http://florinleon.byethost24.com/curs_masma.htm
Florin Leon, Modelarea si analiza sistemelor multi-agent, http://florinleon.byethost24.com/curs_masma.htm
2. 2
Teoria jocurilor (I)
Jocuri de sumă nulă cu doi agenți
1. Introducere
2. Dominanța
3. Diagramele de mișcare
4. Echilibru minimax pur
5. Echilibru minimax mixt
6. Jocuri matriceale (2 x n) și (m x 2)
7. Jocuri matriceale (m x n)
Florin Leon, Modelarea si analiza sistemelor multi-agent, http://florinleon.byethost24.com/curs_masma.htm
3. 3
Teoria jocurilor (I)
Jocuri de sumă nulă cu doi agenți
1. Introducere
2. Dominanța
3. Diagramele de mișcare
4. Echilibru minimax pur
5. Echilibru minimax mixt
6. Jocuri matriceale (2 x n) și (m x 2)
7. Jocuri matriceale (m x n)
Florin Leon, Modelarea si analiza sistemelor multi-agent, http://florinleon.byethost24.com/curs_masma.htm
4. 4
Teoria jocurilor
Studiază interacțiunile strategice între
jucători/agenți raționali care aleg diferite
acțiuni pentru a-și maximiza câștigul
Mai formal, reprezintă studiul modelelor
matematice de conflict și cooperare între
decidenți inteligenți și raționali
Florin Leon, Modelarea si analiza sistemelor multi-agent, http://florinleon.byethost24.com/curs_masma.htm
5. 5
Bazele teoriei jocurilor
Teoria jocurilor este o abordare
interdisciplinară menită să studieze
comportamentul uman
John von Neumann, Oskar Morgenstern:
Theory of Games and Economic Behavior
(1944)
Florin Leon, Modelarea si analiza sistemelor multi-agent, http://florinleon.byethost24.com/curs_masma.htm
6. Întrebări fundamentale
Ce înseamnă alegerea rațională a unor strategii când rezultatele
depind de strategiile necunoscute alese de alții?
În jocuri care permit câștiguri colective, este rațională
cooperarea sau urmărirea scopurilor individuale? Când este
rațională cooperarea și când este rațional comportamentul
egoist?
Sunt diferite interacțiunile continue de cele singulare?
Pot apărea spontan reguli de cooperare din interacțiunile
indivizilor egoiști?
Este „rațional” comportamentul uman real? Care sunt
diferențele: sunt oamenii mai cooperanți sau mai egoiști decât
ar fi „rațional”?
6Florin Leon, Modelarea si analiza sistemelor multi-agent, http://florinleon.byethost24.com/curs_masma.htm
7. 7
Raționalitatea
Teoria jocurilor studiază modul în care se comportă
agenții raționali
Potrivită pentru modelarea agenților inteligenți
Fiecare agent încearcă să-și maximizeze recompensele
(venituri, profituri, alte beneficii)
Ajută studiul alocării resurselor
Restrânge numărul posibilităților de analizat (comportamentul
rațional este mai predictibil decât cel irațional)
Furnizează un criteriu pentru evaluarea eficienței unui sistem
economic (ineficiență: reducerea recompenselor unora fără
compensații suplimentare pentru alții)
Florin Leon, Modelarea si analiza sistemelor multi-agent, http://florinleon.byethost24.com/curs_masma.htm
8. 8
Interacțiunile indivizilor
În economia neoclasică, se consideră că indivizii raționali
interacționează cu un sistem de instituții (constrângeri):
drepturi de proprietate, schimburi bazate pe bani,
competitivitatea economică
Indivizii nu interacționează direct, ci pe baza „condițiilor pieței”
Teoria jocurilor analizează interacțiunile directe, nu prin
intermediul „pieței”
„Jocurile” sunt o metaforă pentru probleme care presupun luarea
unor decizii sau alegerea unei strategii
Se poate aplica la jocuri propriu-zise, dar și la interacțiuni din
lumea reală: competiția economică, strategiile militare, poluarea
mediului etc.
Florin Leon, Modelarea si analiza sistemelor multi-agent, http://florinleon.byethost24.com/curs_masma.htm
9. 9
Maximizarea recompenselor
Fiecare agent trebuie să-și maximizeze recompensele
într-un mediu influențat de strategiile celorlalți agenți
Alegerile unui agent depind de alegerile tuturor celorlalți
agenți
Fiecare agent încearcă să-și maximizeze câștigul indiferent
de acțiunile celorlalți agenți
Conflicte, cooperare
Decizii sociale: cu cine și cum să coopereze
Alegerea rațională a strategiilor poate presupune și
maximizarea recompenselor grupului de agenți
Florin Leon, Modelarea si analiza sistemelor multi-agent, http://florinleon.byethost24.com/curs_masma.htm
10. 10
Aplicații
Oriunde există interacțiuni strategice între
agenți raționali
Economie
Strategii geo-politice
Psihologie
Sociologie
Ştiința calculatoarelor (rețele etc.)
Florin Leon, Modelarea si analiza sistemelor multi-agent, http://florinleon.byethost24.com/curs_masma.htm
11. 11
Elementele unui joc
Un joc este orice situație în care:
Există cel puțin 2 agenți
Fiecare agent are la dispoziție un număr de
strategii posibile
Strategiile alese de fiecare agent determină
rezultatul (engl. “outcome”) jocului
Pentru fiecare rezultat, există un câștig
(engl. “payoff”) numeric pentru fiecare agent
Florin Leon, Modelarea si analiza sistemelor multi-agent, http://florinleon.byethost24.com/curs_masma.htm
12. 12
Dilema inculpaților
engl. “prisoner’s dilemma”
Agenți
2 inculpați
Acțiuni
Inculpatul 1: Mărturisește, Neagă
Inculpatul 2: Mărturisește, Neagă
Strategii
Inculpații își aleg acțiunile simultan,
fără a cunoaște acțiunea celuilalt
Rezultate
Numărul de ani de închisoare
Câștigul
Mai puțini ani câștig mai mare
Florin Leon, Modelarea si analiza sistemelor multi-agent, http://florinleon.byethost24.com/curs_masma.htm
13. 13
Reprezentarea în forma
normală (strategică)
O matrice care conține agenții, strategiile și
câștigurile
Se presupune că agenții acționează simultan
Pentru dilema inculpaților:
Florin Leon, Modelarea si analiza sistemelor multi-agent, http://florinleon.byethost24.com/curs_masma.htm
14. 14
Jocuri de sumă nulă
Numite și „jocuri de sumă zero”
Pentru orice rezultat al jocului, câștigurile
agenților au suma 0
Câștigul lui Rose (“rows”) = – câștigul lui Colin (“columns”)
Pentru un joc de sumă generală, sunt necesare perechi
Pentru un joc de sumă nulă, (2) este echivalent cu (2, –2)
În limba română ar
putea fi Laura și Cristi
Florin Leon, Modelarea si analiza sistemelor multi-agent, http://florinleon.byethost24.com/curs_masma.htm
15. 15
Teoria jocurilor (I)
Jocuri de sumă nulă cu doi agenți
1. Introducere
2. Dominanța
3. Diagramele de mișcare
4. Echilibru minimax pur
5. Echilibru minimax mixt
6. Jocuri matriceale (2 x n) și (m x 2)
7. Jocuri matriceale (m x n)
Florin Leon, Modelarea si analiza sistemelor multi-agent, http://florinleon.byethost24.com/curs_masma.htm
16. 16
Dominare. Definiții
O strategie S domină o strategie T (T este dominată
de S) dacă orice rezultat al lui S este cel puțin la fel
de bun ca rezultatul corespunzător al lui T
Un agent rațional nu trebuie să joace niciodată o
strategie dominată
Dacă fiecare agent are o strategie dominantă și o
joacă, atunci combinația acestora și câștigurile
corespunzătoare constituie echilibrul strategiilor
dominante ale jocului
Florin Leon, Modelarea si analiza sistemelor multi-agent, http://florinleon.byethost24.com/curs_masma.htm
21. 21
Teoria jocurilor (I)
Jocuri de sumă nulă cu doi agenți
1. Introducere
2. Dominanța
3. Diagramele de mișcare
4. Echilibru minimax pur
5. Echilibru minimax mixt
6. Jocuri matriceale (2 x n) și (m x 2)
7. Jocuri matriceale (m x n)
Florin Leon, Modelarea si analiza sistemelor multi-agent, http://florinleon.byethost24.com/curs_masma.htm
22. 22
Diagrame de mișcare
În fiecare linie, trasăm o
săgeată de la fiecare intrare
către intrarea minimă de pe
linie
Colin vrea să-și maximizeze
câștigul, minimizând negatul
câștigului lui Rose
În fiecare coloană, trasăm o
săgeată de la fiecare intrare
către intrarea maximă de pe
coloană
Rose vrea să-și maximizeze
câștigul
Florin Leon, Modelarea si analiza sistemelor multi-agent, http://florinleon.byethost24.com/curs_masma.htm
23. 23
Diagrame de mișcare
Florin Leon, Modelarea si analiza sistemelor multi-agent, http://florinleon.byethost24.com/curs_masma.htm
24. 24
Exemplu mai complex
Florin Leon, Modelarea si analiza sistemelor multi-agent, http://florinleon.byethost24.com/curs_masma.htm
25. 25
Teoria jocurilor (I)
Jocuri de sumă nulă cu doi agenți
1. Introducere
2. Dominanța
3. Diagramele de mișcare
4. Echilibru minimax pur
5. Echilibru minimax mixt
6. Jocuri matriceale (2 x n) și (m x 2)
7. Jocuri matriceale (m x n)
Florin Leon, Modelarea si analiza sistemelor multi-agent, http://florinleon.byethost24.com/curs_masma.htm
26. 26
Echilibru minimax pur
Un rezultat al unui joc matriceal este numit
punct șa (engl. “saddle point”) sau echilibru
minimax pur dacă este minimul liniei și
maximul coloanei sale
Echilibrul minimax este un caz particular al
echilibrului Nash pentru jocuri de sumă generală
(vezi cursul 5)
Florin Leon, Modelarea si analiza sistemelor multi-agent, http://florinleon.byethost24.com/curs_masma.htm
27. 27
Rezultate teoretice
Principiul punctului șa: Dacă o matrice are un punct șa,
ambii agenți trebuie să joace strategia indicată de acesta
Pentru orice joc matriceal, există un număr v numit
valoarea jocului, astfel încât Rose are o strategie care
garantează că va câștiga cel puțin v, iar Colin are o
strategie care garantează că Rose nu va câștiga mai mult
decât v
Teoremă: Într-un joc de sumă nulă cu doi agenți, dacă
intrarea (Ri, Cj) este un echilibru de strategii dominante,
atunci aceasta este și un echilibru minimax pur
Florin Leon, Modelarea si analiza sistemelor multi-agent, http://florinleon.byethost24.com/curs_masma.htm
29. 29
Teoremă
Oricare două puncte șa dintr-un joc matriceal
au aceeași valoare
Demonstrație:
Presupunem că a și b sunt puncte șa
Deci a = b
a ≤ c
a ≥ d
b ≤ d
b ≥ c
a ≤ c ≤ b
b ≤ d ≤ a
a ≤ c ≤ b ≤ d ≤ a
Florin Leon, Modelarea si analiza sistemelor multi-agent, http://florinleon.byethost24.com/curs_masma.htm
30. 30
Teoria jocurilor (I)
Jocuri de sumă nulă cu doi agenți
1. Introducere
2. Dominanța
3. Diagramele de mișcare
4. Echilibru minimax pur
5. Echilibru minimax mixt
6. Jocuri matriceale (2 x n) și (m x 2)
7. Jocuri matriceale (m x n)
Florin Leon, Modelarea si analiza sistemelor multi-agent, http://florinleon.byethost24.com/curs_masma.htm
31. 31
Jocuri fără echilibru minimax pur
Florin Leon, Modelarea si analiza sistemelor multi-agent, http://florinleon.byethost24.com/curs_masma.htm
32. 32
Echilibru minimax mixt
von Neumann a demonstrat că pentru orice
joc de sumă nulă cu doi agenți se poate găsi
întotdeauna un echilibru minimax mixt
Strategie mixtă = combinație de strategii cu
probabilități fixe
De exemplu, agentul alege strategia
A cu probabilitatea de 25% și strategia
B cu probabilitatea de 75%
Florin Leon, Modelarea si analiza sistemelor multi-agent, http://florinleon.byethost24.com/curs_masma.htm
34. 34
Strategii mixte
Strategia lui Rose: (y, 1 – y)
Strategia lui Colin: (x, 1 – x)
Câștigul așteptat al lui Rose: E[P] = y G xT
Rose încearcă să maximizeze E[P] variind y
Colin încearcă să minimizeze E[P] variind x
Florin Leon, Modelarea si analiza sistemelor multi-agent, http://florinleon.byethost24.com/curs_masma.htm
35. 35
Model de calcul: Colin (I)
Câștigurile așteptate ale strategiilor lui Rose:
3 situații posibile pentru Colin
Florin Leon, Modelarea si analiza sistemelor multi-agent, http://florinleon.byethost24.com/curs_masma.htm
36. 36
Model de calcul: Colin (II)
Rose ar alege y = 1 și ar câștiga mai mult de -1/2
Rose ar alege y = 0 și ar câștiga mai mult de -1/2
Florin Leon, Modelarea si analiza sistemelor multi-agent, http://florinleon.byethost24.com/curs_masma.htm
37. 37
Câștigurile R1 și R2
Florin Leon, Modelarea si analiza sistemelor multi-agent, http://florinleon.byethost24.com/curs_masma.htm
38. 38
Model de calcul: Rose
La fel se poate calcula strategia optimă a lui
Rose
Florin Leon, Modelarea si analiza sistemelor multi-agent, http://florinleon.byethost24.com/curs_masma.htm
39. 39
Metoda resturilor (I)
engl. “oddment method”
Florin Leon, Modelarea si analiza sistemelor multi-agent, http://florinleon.byethost24.com/curs_masma.htm
40. 40
Metoda resturilor (II)
Metoda funcționează numai pentru jocuri 2 x 2 fără echilibru pur!
Florin Leon, Modelarea si analiza sistemelor multi-agent, http://florinleon.byethost24.com/curs_masma.htm
41. 41
Jocuri cu echilibru pur
Diferențele au același semn
Prima linie domină linia a doua
Strategia (3/4, 1/4) nu este optimă pentru Colin
Rose alege sigur R1 iar
Colin ar trebui să aleagă C1
Florin Leon, Modelarea si analiza sistemelor multi-agent, http://florinleon.byethost24.com/curs_masma.htm
42. 42
Teorema Minimax
Orice joc de sumă nulă m x n cu doi agenți are o
soluție, un număr unic v numit valoarea jocului și
există strategii optime (pure sau mixte) pentru
Rose și Colin astfel încât:
Dacă Rose joacă strategia optimă, câștigul său așteptat
nu va fi mai mic decât v, indiferent ce joacă Colin
Dacă Colin joacă strategia optimă, negatul câștigului
său așteptat nu va fi mai mare decât v, indiferent ce
joacă Rose
Florin Leon, Modelarea si analiza sistemelor multi-agent, http://florinleon.byethost24.com/curs_masma.htm
43. 43
Teoria jocurilor (I)
Jocuri de sumă nulă cu doi agenți
1. Introducere
2. Dominanța
3. Diagramele de mișcare
4. Echilibru minimax pur
5. Echilibru minimax mixt
6. Jocuri matriceale (2 x n) și (m x 2)
7. Jocuri matriceale (m x n)
Florin Leon, Modelarea si analiza sistemelor multi-agent, http://florinleon.byethost24.com/curs_masma.htm
44. 44
Rezultat
Jocurile (2 x n) și (m x 2) pot fi întotdeauna
reduse la jocuri (2 x 2) și deci pot fi rezolvate
prin metodele prezentate anterior
Florin Leon, Modelarea si analiza sistemelor multi-agent, http://florinleon.byethost24.com/curs_masma.htm
45. 45
Jocuri (m x 2)
Florin Leon, Modelarea si analiza sistemelor multi-agent, http://florinleon.byethost24.com/curs_masma.htm
46. 46
Exemplu
Câștigul minim al lui Rose
Strategia optimă a lui Colin
x1 = R1 ∩ R2
5 x1 – 3 = 2 – 2 x1
x1 = 5/7
Florin Leon, Modelarea si analiza sistemelor multi-agent, http://florinleon.byethost24.com/curs_masma.htm
47. 47
Reducerea la (2 x 2)
Strategia optimă a lui Colin este (5/7, 2/7)
Dacă Colin alege punctul x1, Rose poate
răspunde doar cu R1 și R2
R3 i-ar aduce câștig mai mic
Deci Rose nu va juca R3 deloc
Jocul se reduce la (2 x 2)
Florin Leon, Modelarea si analiza sistemelor multi-agent, http://florinleon.byethost24.com/curs_masma.htm
48. 48
Rezolvare
Valoarea jocului se poate afla și calculând, de exemplu:
R1(x1) = 2 · 5/7 – 3 · 2/7 = 4/7
Florin Leon, Modelarea si analiza sistemelor multi-agent, http://florinleon.byethost24.com/curs_masma.htm
49. 49
Exemplul 2
Florin Leon, Modelarea si analiza sistemelor multi-agent, http://florinleon.byethost24.com/curs_masma.htm
50. 50
Rezolvare
Contează doar R4 și R5, care se intersectează în
punctul x:
Strategia optimă a lui Colin este (3/5, 2/5)
Valoarea jocului este: 3/5 + 6 · (1 – 3/5) = 3 (pe R4)
Jocul se reduce la (2 x 2)
Florin Leon, Modelarea si analiza sistemelor multi-agent, http://florinleon.byethost24.com/curs_masma.htm
51. 51
Jocuri (2 x n)
Se transpune matricea și se transformă jocul
în (n x 2)
G’ = –GT
Prin transpunere, Colin devine „noua Rose”
iar Rose devine „noul Colin”
Se rezolvă cu metoda prezentată anterior
Florin Leon, Modelarea si analiza sistemelor multi-agent, http://florinleon.byethost24.com/curs_masma.htm
53. 53
Rezolvare
Intervin 4 segmente:
R2, R3, R1, R5
Minimul este R1 ∩ R3
x0 = 4/7
Strategia optimă a noului
Colin este (4/7, 3/7)
Valoarea jocului este 1/7
Florin Leon, Modelarea si analiza sistemelor multi-agent, http://florinleon.byethost24.com/curs_masma.htm
54. 54
Jocul devine (2 x 2)
Strategia optimă pentru noua Rose este:
(R1, R2, R3, R4, R5) = (2/7, 0, 5/7, 0, 0)
Pentru jocul inițial, strategiile optime sunt:
Rose: (4/7, 3/7)
Colin: (2/7, 0, 5/7, 0, 0)
Rezolvare
Florin Leon, Modelarea si analiza sistemelor multi-agent, http://florinleon.byethost24.com/curs_masma.htm
55. 55
Teoria jocurilor (I)
Jocuri de sumă nulă cu doi agenți
1. Introducere
2. Dominanța
3. Diagramele de mișcare
4. Echilibru minimax pur
5. Echilibru minimax mixt
6. Jocuri matriceale (2 x n) și (m x 2)
7. Jocuri matriceale (m x n)
Florin Leon, Modelarea si analiza sistemelor multi-agent, http://florinleon.byethost24.com/curs_masma.htm
56. 56
Jocul culorilor
Florin Leon, Modelarea si analiza sistemelor multi-agent, http://florinleon.byethost24.com/curs_masma.htm
57. 57
Exemplu
Jocul culorilor nu are echilibru minimax pur
Florin Leon, Modelarea si analiza sistemelor multi-agent, http://florinleon.byethost24.com/curs_masma.htm
58. 58
Programare liniară
Jocurile matriceale (m x n) nu pot fi reduse la jocuri (2 x 2)
Se rezolvă prin metode de programare liniară
Pentru cazul n-dimensional, este
nevoie de ajutorul calculatorului
Florin Leon, Modelarea si analiza sistemelor multi-agent, http://florinleon.byethost24.com/curs_masma.htm
59. 59
Rezolvare
Vom considera mai întâi un joc (2 x 5) pentru
a ilustra metoda și a verifica rezultatele
Strategia lui Colin este dată de probabilitățile
(x1,..., x5)
Florin Leon, Modelarea si analiza sistemelor multi-agent, http://florinleon.byethost24.com/curs_masma.htm
60. 60
Transformarea pentru PL (I)
Câștigurile posibile ale lui Rose
Rose dorește câștigul maxim
Colin încearcă minimizarea acestuia
Florin Leon, Modelarea si analiza sistemelor multi-agent, http://florinleon.byethost24.com/curs_masma.htm
61. 61
Transformarea pentru PL (II)
Florin Leon, Modelarea si analiza sistemelor multi-agent, http://florinleon.byethost24.com/curs_masma.htm
62. 62
Rezolvarea cu Excel (I)
Florin Leon, Modelarea si analiza sistemelor multi-agent, http://florinleon.byethost24.com/curs_masma.htm
63. 63
Rezolvarea cu Excel (II)
Din meniu: Tools Solver (sau Data Solver)
Dacă Solver nu există în meniul Tools, se adaugă din Tools Add-Ins
Florin Leon, Modelarea si analiza sistemelor multi-agent, http://florinleon.byethost24.com/curs_masma.htm
64. 64
Rezolvarea cu Excel (III)
Florin Leon, Modelarea si analiza sistemelor multi-agent, http://florinleon.byethost24.com/curs_masma.htm
65. 65
Soluția
Valoarea jocului:
1/7
Strategia optimă a lui Colin:
(2/7, 0, 5/7, 0, 0)
Strategia optimă a lui Rose:
(4/7, 3/7)
valorile negate ale multiplicatorilor Lagrange
Florin Leon, Modelarea si analiza sistemelor multi-agent, http://florinleon.byethost24.com/curs_masma.htm
66. 66
Exemplu de joc (m x n)
Colin: (4/13, 4/13, 5/13)
Rose: (5/13, 2/13, 6/13)
Valoarea jocului: -1/13
Florin Leon, Modelarea si analiza sistemelor multi-agent, http://florinleon.byethost24.com/curs_masma.htm
67. 67
Jocul culorilor
Colin: (1/2, 1/2, 0)
Rose: (1/2, 1/2, 0)
Valoarea jocului: 0
nimeni nu trebuie
să joace cartea „2”
Florin Leon, Modelarea si analiza sistemelor multi-agent, http://florinleon.byethost24.com/curs_masma.htm
68. 68
Problema pescarilor (I)
În Jamaica pescarii pescuiesc la țărm sau
în larg (sau ambele) în funcție de curenți
Strategia optimă a pescarilor: (0.67, 0, 0.33)
Strategia optimă a curentului (!): (0.31, 0.69)
Florin Leon, Modelarea si analiza sistemelor multi-agent, http://florinleon.byethost24.com/curs_masma.htm
69. 69
Problema pescarilor (II)
Pescarii urmează această strategie cu un câștig de
13.3
Curenții sunt prezenți în 25% din timp
Valoare apropiată de 31%, dar nu egală
Pescarii ar putea alege strategia (0,1,0) cu un câștig
de 14.35
Florin Leon, Modelarea si analiza sistemelor multi-agent, http://florinleon.byethost24.com/curs_masma.htm
70. 70
Avantajul soluției minimax
Însă cu strategia (0.67, 0, 0.33) ei își
garantează un câștig de cel puțin 13.3
Dacă ar alege strategia (0,1,0) și într-un an
curenții ar fi prezenți 35% din timp, ar câștiga
doar 11.85
Avantajul principal al soluției minimax este
garantarea unui câștig minim, independent de
decizia celuilalt agent
Florin Leon, Modelarea si analiza sistemelor multi-agent, http://florinleon.byethost24.com/curs_masma.htm
71. Referințe
Raymond Chan
Games and Strategic Thinking
Department of Mathematics, The Chinese University of Hong Kong
http://www.math.cuhk.edu.hk/course/0910/ugb253na
Florin Leon, Modelarea si analiza sistemelor multi-agent, http://florinleon.byethost24.com/curs_masma.htm