Teoria jocurilor (I)

Modelarea și analiza
sistemelor multi-agent
4. Teoria jocurilor (I)
Florin Leon
Universitatea Tehnică „Gheorghe Asachi” din Iași
Facultatea de Automatică și Calculatoare
http://florinleon.byethost24.com/curs_masma.htm
Florin Leon, Modelarea si analiza sistemelor multi-agent, http://florinleon.byethost24.com/curs_masma.htm

2
Teoria jocurilor (I)
Jocuri de sumă nulă cu doi agenți
1. Introducere
2. Dominanța
3. Diagramele de mișcare
4. Echilibru minimax pur
5. Echilibru minimax mixt
6. Jocuri matriceale (2 x n) și (m x 2)
7. Jocuri matriceale (m x n)

3
1. Introducere
2. Dominanța

4
Teoria jocurilor
 Studiază interacțiunile strategice între
jucători/agenți raționali care aleg diferite
acțiuni pentru a-și maximiza câștigul
 Mai formal, reprezintă studiul modelelor
matematice de conflict și cooperare între
decidenți inteligenți și raționali

5
Bazele teoriei jocurilor
 Teoria jocurilor este o abordare
interdisciplinară menită să studieze
comportamentul uman
 John von Neumann, Oskar Morgenstern:
Theory of Games and Economic Behavior
(1944)

Întrebări fundamentale
 Ce înseamnă alegerea rațională a unor strategii când rezultatele
depind de strategiile necunoscute alese de alții?
 În jocuri care permit câștiguri colective, este rațională
cooperarea sau urmărirea scopurilor individuale? Când este
rațională cooperarea și când este rațional comportamentul
egoist?
 Sunt diferite interacțiunile continue de cele singulare?
 Pot apărea spontan reguli de cooperare din interacțiunile
indivizilor egoiști?
 Este „rațional” comportamentul uman real? Care sunt
diferențele: sunt oamenii mai cooperanți sau mai egoiști decât
ar fi „rațional”?
6Florin Leon, Modelarea si analiza sistemelor multi-agent, http://florinleon.byethost24.com/curs_masma.htm

7
Raționalitatea
 Teoria jocurilor studiază modul în care se comportă
agenții raționali
 Potrivită pentru modelarea agenților inteligenți
 Fiecare agent încearcă să-și maximizeze recompensele
(venituri, profituri, alte beneficii)
 Ajută studiul alocării resurselor
 Restrânge numărul posibilităților de analizat (comportamentul
rațional este mai predictibil decât cel irațional)
 Furnizează un criteriu pentru evaluarea eficienței unui sistem
economic (ineficiență: reducerea recompenselor unora fără
compensații suplimentare pentru alții)

8
Interacțiunile indivizilor
 În economia neoclasică, se consideră că indivizii raționali
interacționează cu un sistem de instituții (constrângeri):
drepturi de proprietate, schimburi bazate pe bani,
competitivitatea economică
 Indivizii nu interacționează direct, ci pe baza „condițiilor pieței”
 Teoria jocurilor analizează interacțiunile directe, nu prin
intermediul „pieței”
 „Jocurile” sunt o metaforă pentru probleme care presupun luarea
unor decizii sau alegerea unei strategii
 Se poate aplica la jocuri propriu-zise, dar și la interacțiuni din
lumea reală: competiția economică, strategiile militare, poluarea
mediului etc.

9
Maximizarea recompenselor
 Fiecare agent trebuie să-și maximizeze recompensele
într-un mediu influențat de strategiile celorlalți agenți
 Alegerile unui agent depind de alegerile tuturor celorlalți
agenți
 Fiecare agent încearcă să-și maximizeze câștigul indiferent
de acțiunile celorlalți agenți
 Conflicte, cooperare
 Decizii sociale: cu cine și cum să coopereze
 Alegerea rațională a strategiilor poate presupune și
maximizarea recompenselor grupului de agenți

10
Aplicații
 Oriunde există interacțiuni strategice între
agenți raționali
 Economie
 Strategii geo-politice
 Psihologie
 Sociologie
 Ştiința calculatoarelor (rețele etc.)

11
Elementele unui joc
 Un joc este orice situație în care:
 Există cel puțin 2 agenți
 Fiecare agent are la dispoziție un număr de
strategii posibile
 Strategiile alese de fiecare agent determină
rezultatul (engl. “outcome”) jocului
 Pentru fiecare rezultat, există un câștig
(engl. “payoff”) numeric pentru fiecare agent

12
Dilema inculpaților
 engl. “prisoner’s dilemma”
 Agenți
 2 inculpați
 Acțiuni
 Inculpatul 1: Mărturisește, Neagă
 Inculpatul 2: Mărturisește, Neagă
 Strategii
 Inculpații își aleg acțiunile simultan,
fără a cunoaște acțiunea celuilalt
 Rezultate
 Numărul de ani de închisoare
 Câștigul
 Mai puțini ani  câștig mai mare

13
Reprezentarea în forma
normală (strategică)
 O matrice care conține agenții, strategiile și
câștigurile
 Se presupune că agenții acționează simultan
 Pentru dilema inculpaților:

14
Jocuri de sumă nulă
 Numite și „jocuri de sumă zero”
 Pentru orice rezultat al jocului, câștigurile
agenților au suma 0
Câștigul lui Rose (“rows”) = – câștigul lui Colin (“columns”)
Pentru un joc de sumă generală, sunt necesare perechi
Pentru un joc de sumă nulă, (2) este echivalent cu (2, –2)
În limba română ar
putea fi Laura și Cristi

15
1. Introducere
2. Dominanța

16
Dominare. Definiții
 O strategie S domină o strategie T (T este dominată
de S) dacă orice rezultat al lui S este cel puțin la fel
de bun ca rezultatul corespunzător al lui T
 Un agent rațional nu trebuie să joace niciodată o
strategie dominată
 Dacă fiecare agent are o strategie dominantă și o
joacă, atunci combinația acestora și câștigurile
corespunzătoare constituie echilibrul strategiilor
dominante ale jocului

17
Exemple

18
Exemple

19
Exemple

20
Echilibrul strategiilor dominante

21
1. Introducere
2. Dominanța

22
Diagrame de mișcare
 În fiecare linie, trasăm o
săgeată de la fiecare intrare
către intrarea minimă de pe
linie
 Colin vrea să-și maximizeze
câștigul, minimizând negatul
câștigului lui Rose
 În fiecare coloană, trasăm o
săgeată de la fiecare intrare
către intrarea maximă de pe
coloană
 Rose vrea să-și maximizeze
câștigul

23
Diagrame de mișcare

24
Exemplu mai complex

25
1. Introducere
2. Dominanța

26
Echilibru minimax pur
 Un rezultat al unui joc matriceal este numit
punct șa (engl. “saddle point”) sau echilibru
minimax pur dacă este minimul liniei și
maximul coloanei sale
 Echilibrul minimax este un caz particular al
echilibrului Nash pentru jocuri de sumă generală
(vezi cursul 5)

27
Rezultate teoretice
 Principiul punctului șa: Dacă o matrice are un punct șa,
ambii agenți trebuie să joace strategia indicată de acesta
 Pentru orice joc matriceal, există un număr v numit
valoarea jocului, astfel încât Rose are o strategie care
garantează că va câștiga cel puțin v, iar Colin are o
strategie care garantează că Rose nu va câștiga mai mult
decât v
 Teoremă: Într-un joc de sumă nulă cu doi agenți, dacă
intrarea (Ri, Cj) este un echilibru de strategii dominante,
atunci aceasta este și un echilibru minimax pur

28
Exemple

29
Teoremă
 Oricare două puncte șa dintr-un joc matriceal
au aceeași valoare
 Demonstrație:
 Presupunem că a și b sunt puncte șa
 Deci a = b
a ≤ c
a ≥ d
b ≤ d
b ≥ c
a ≤ c ≤ b
b ≤ d ≤ a
a ≤ c ≤ b ≤ d ≤ a

30
1. Introducere
2. Dominanța

31
Jocuri fără echilibru minimax pur

32
Echilibru minimax mixt
 von Neumann a demonstrat că pentru orice
joc de sumă nulă cu doi agenți se poate găsi
întotdeauna un echilibru minimax mixt
 Strategie mixtă = combinație de strategii cu
probabilități fixe
 De exemplu, agentul alege strategia
A cu probabilitatea de 25% și strategia
B cu probabilitatea de 75%

33
Exemplu

34
Strategii mixte
 Strategia lui Rose: (y, 1 – y)
 Strategia lui Colin: (x, 1 – x)
 Câștigul așteptat al lui Rose: E[P] = y G xT
 Rose încearcă să maximizeze E[P] variind y
 Colin încearcă să minimizeze E[P] variind x

35
Model de calcul: Colin (I)
 Câștigurile așteptate ale strategiilor lui Rose:
 3 situații posibile pentru Colin

36
Model de calcul: Colin (II)
Rose ar alege y = 1 și ar câștiga mai mult de -1/2
Rose ar alege y = 0 și ar câștiga mai mult de -1/2

37
Câștigurile R1 și R2

38
Model de calcul: Rose
 La fel se poate calcula strategia optimă a lui
Rose

39
Metoda resturilor (I)
 engl. “oddment method”

40
Metoda resturilor (II)
Metoda funcționează numai pentru jocuri 2 x 2 fără echilibru pur!

41
Jocuri cu echilibru pur
Diferențele au același semn
Prima linie domină linia a doua
Strategia (3/4, 1/4) nu este optimă pentru Colin
Rose alege sigur R1 iar
Colin ar trebui să aleagă C1

42
Teorema Minimax
 Orice joc de sumă nulă m x n cu doi agenți are o
soluție, un număr unic v numit valoarea jocului și
există strategii optime (pure sau mixte) pentru
Rose și Colin astfel încât:
 Dacă Rose joacă strategia optimă, câștigul său așteptat
nu va fi mai mic decât v, indiferent ce joacă Colin
 Dacă Colin joacă strategia optimă, negatul câștigului
său așteptat nu va fi mai mare decât v, indiferent ce
joacă Rose

43
1. Introducere
2. Dominanța

44
Rezultat
 Jocurile (2 x n) și (m x 2) pot fi întotdeauna
reduse la jocuri (2 x 2) și deci pot fi rezolvate
prin metodele prezentate anterior

45
Jocuri (m x 2)

46
Exemplu
Câștigul minim al lui Rose
Strategia optimă a lui Colin
x1 = R1 ∩ R2
5 x1 – 3 = 2 – 2 x1
 x1 = 5/7

47
Reducerea la (2 x 2)
 Strategia optimă a lui Colin este (5/7, 2/7)
 Dacă Colin alege punctul x1, Rose poate
răspunde doar cu R1 și R2
 R3 i-ar aduce câștig mai mic
 Deci Rose nu va juca R3 deloc
 Jocul se reduce la (2 x 2)

48
Rezolvare
Valoarea jocului se poate afla și calculând, de exemplu:
R1(x1) = 2 · 5/7 – 3 · 2/7 = 4/7

49
Exemplul 2

50
Rezolvare
 Contează doar R4 și R5, care se intersectează în
punctul x:
 Strategia optimă a lui Colin este (3/5, 2/5)
 Valoarea jocului este: 3/5 + 6 · (1 – 3/5) = 3 (pe R4)
 Jocul se reduce la (2 x 2)

51
Jocuri (2 x n)
 Se transpune matricea și se transformă jocul
în (n x 2)
 G’ = –GT
 Prin transpunere, Colin devine „noua Rose”
iar Rose devine „noul Colin”
 Se rezolvă cu metoda prezentată anterior

52
Exemplu

53
Rezolvare
Intervin 4 segmente:
R2, R3, R1, R5
Minimul este R1 ∩ R3
 x0 = 4/7
Strategia optimă a noului
Colin este (4/7, 3/7)
Valoarea jocului este 1/7

54
 Jocul devine (2 x 2)
 Strategia optimă pentru noua Rose este:
(R1, R2, R3, R4, R5) = (2/7, 0, 5/7, 0, 0)
 Pentru jocul inițial, strategiile optime sunt:
 Rose: (4/7, 3/7)
 Colin: (2/7, 0, 5/7, 0, 0)
Rezolvare

55
1. Introducere
2. Dominanța

56
Jocul culorilor

57
Exemplu
 Jocul culorilor nu are echilibru minimax pur

58
Programare liniară
 Jocurile matriceale (m x n) nu pot fi reduse la jocuri (2 x 2)
 Se rezolvă prin metode de programare liniară
Pentru cazul n-dimensional, este
nevoie de ajutorul calculatorului

59
Rezolvare
 Vom considera mai întâi un joc (2 x 5) pentru
a ilustra metoda și a verifica rezultatele
 Strategia lui Colin este dată de probabilitățile
(x1,..., x5)

60
Transformarea pentru PL (I)
 Câștigurile posibile ale lui Rose
 Rose dorește câștigul maxim
 Colin încearcă minimizarea acestuia

61
Transformarea pentru PL (II)

62
Rezolvarea cu Excel (I)

63
Rezolvarea cu Excel (II)
Din meniu: Tools  Solver (sau Data  Solver)
Dacă Solver nu există în meniul Tools, se adaugă din Tools  Add-Ins

64
Rezolvarea cu Excel (III)

65
Soluția
 Valoarea jocului:
 1/7
 Strategia optimă a lui Colin:
 (2/7, 0, 5/7, 0, 0)
 Strategia optimă a lui Rose:
 (4/7, 3/7)
valorile negate ale multiplicatorilor Lagrange

66
Exemplu de joc (m x n)
 Colin: (4/13, 4/13, 5/13)
 Rose: (5/13, 2/13, 6/13)
 Valoarea jocului: -1/13

67
Jocul culorilor
 Colin: (1/2, 1/2, 0)
 Rose: (1/2, 1/2, 0)
 Valoarea jocului: 0
 nimeni nu trebuie
să joace cartea „2”

68
Problema pescarilor (I)
 În Jamaica pescarii pescuiesc la țărm sau
în larg (sau ambele) în funcție de curenți
 Strategia optimă a pescarilor: (0.67, 0, 0.33)
 Strategia optimă a curentului (!): (0.31, 0.69)

69
Problema pescarilor (II)
 Pescarii urmează această strategie cu un câștig de
13.3
 Curenții sunt prezenți în 25% din timp
 Valoare apropiată de 31%, dar nu egală
 Pescarii ar putea alege strategia (0,1,0) cu un câștig
de 14.35

70
Avantajul soluției minimax
 Însă cu strategia (0.67, 0, 0.33) ei își
garantează un câștig de cel puțin 13.3
 Dacă ar alege strategia (0,1,0) și într-un an
curenții ar fi prezenți 35% din timp, ar câștiga
doar 11.85
 Avantajul principal al soluției minimax este
garantarea unui câștig minim, independent de
decizia celuilalt agent

Referințe
 Raymond Chan
 Games and Strategic Thinking
 Department of Mathematics, The Chinese University of Hong Kong
 http://www.math.cuhk.edu.hk/course/0910/ugb253na

Teoria jocurilor (I)

More Related Content

More from Florin Leon

Recently uploaded

Teoria jocurilor (I)