Παρουσίαση του άρθρου "Data Mining Using Learning Automata".

1. Αποκικεσ δεδομζνων και εξόρυξθ
γνϊςθσ
Data Mining Using Learning Automata
Γιαννάκθσ Κωνςταντίνοσ
27/4/2011

2. Ειςαγωγι
• προτείνεται ζνασ νζοσ αλγόρικμοσ για το ηιτθμα τθσ
κατθγοριοποίθςθσ ςτθν εξόρυξθ γνϊςθσ (τον ονομάηουν LA-
miner )
• βαςίηεται ςε ζναν αλγόρικμο βελτιςτοποίθςθσ που
χρθςιμοποιεί learning automata (LA, ςτα ελλθνικά αυτόματα
μάκθςθσ)
• Γίνεται ςφγκριςι του με δφο άλλουσ αλγόρικμουσ (τον Ant-
miner και τον CN2)

3. • θ γνϊςθ που εξάγεται από τον LA-miner εκφράηεται
με τθν μορφι κανόνων “IF-THEN”
• Στο πρϊτο ςκζλοσ ζχουν ζνα ςφνολο ςυνκθκϊν (ι όρων)
που ςυνδζεται με λογικοφσ τελεςτζσ ςυνζνωςθσ (π.χ.
AND)
• το δεφτερο κακορίηει τθν κλάςθ που προβλζπει για
περιπτϊςεισ των οποίων τα προβλεπόμενα
χαρακτθριςτικά ικανοποιοφν που ορίςτθκαν ςτο “IF…”
IF < term1 AND term2 AND ...> THEN <class>

4. Learning automata
• Είναι προςαρμοςτικζσ μονάδεσ λιψθσ
αποφάςεων
• Μποροφν να «μάκουν» να επιλζγουν τθν
βζλτιςτθ λειτουργία από ζνα ςετ ενεργειϊν
«επικοινωνϊντασ» με ζνα περιβάλλον (χϊροσ
αναηιτθςθσ ι search space)
• Με άλλα λόγια είναι ςτοχαςτικά αυτόματα
που αλλθλεπιδροφν με ζνα τυχαίο
περιβάλλον.

5. Learning automata(ςυνζχεια…)
• Δεν χρειάηονται ιδιαίτερθ γνϊςθ για το
περιβάλλον ι τισ υπό βελτιςτοποίθςθ
λειτουργίεσ!
• Χαρακτθρίηονται από:
– Ζνα ςφνολο καταςτάςεων, ενζργειεσ
ειςόδου, κατανομζσ πικανοτιτων για τισ
καταςτάςεισ και ζνα ςχζδιο ενίςχυςθσ (feedback
ςτο περιβάλλον)

6. Το ςχιμα ενόσ LA που αλλθλεπιδρά με
το περιβάλλον
A R

7. Οριςμόσ LA και περιβάλλοντοσ
• Ορίηονται ωσ τα ςφνολα < A,Q, R, L > και < A, R,D > αντίςτοιχα
– A = {α1,α2 ,…,αr } είναι το πλικοσ των ενεργειϊν του αυτόματου όπου α(k)
είναι το αυτόματο τθ ςτιγμι k με α(k)∈ A για k = 0,1,2,... και r είναι ο
ςυνολικόσ αρικμόσ των ενεργειϊν. Στθν πραγματικότθτα, το A είναι το ςφνολο
των εξόδων του αυτομάτου, άρα και ςφνολο των ειςόδων του περιβάλλοντοσ
– R είναι το πεδίο οριςμοφ των αποκρίςεων του περιβάλλοντοσ
- Ζςτω ότι το β(k) δθλϊνει τθν απόκριςθ που λαμβάνει το αυτόματο τθ ςτιγμι k,
όπου β(k)∈ R ∀k. Αντίκετα από το A, αποτελεί τθν ζξοδο του περιβάλλοντοσ και
τθν ταυτόχρονθ είςοδο του αυτόματου

8. Οριςμόσ LA και
περιβάλλοντοσ(ςυνζχεια)
• D = {d1, d2 ,…, dr } είναι το ςφνολο των πικανοτιτων ανταμοιβισ (reward
probabilities), όπου di(k) = E[β(k) |α(k) =αi ]. Οι πικανότθτεσ ανταμοιβισ
είναι άγνωςτεσ για το αυτόματο.
• Q είναι κατάςταςθ του αυτόματου που ορίηεται από τθν ςυνάρτθςθ Q(k)
= [P(k), Ď(k)] όπου:
– P(k) = [ p1(k), p2(k),…, pr(k)] είναι το διάνυςμα των πικανοτιτων ενζργειασ
(action probability) ( 0 ≤ p1(k) ≤ 1 και ) και
– Ď(k) = *ď1(k), ď2(k), , ďr(k)] είναι το διάνυςμα των εκτιμιςεων των
πικανοτιτων ανταμοιβισ τθ ςτιγμι k
• L είναι ο αλγόρικμοσ μάκθςθσ ι το ςχζδιο ενίςχυςθσ που χρθςιμοποιεί το
αυτόματο για να ενθμερϊςει τισ καταςτάςεισ του. Στθν πραγματικότθτα:
Q(k +1) = L(Q(k),α(k),β(k))

9. LA (ςυνοπτικά)
• Κάκε ςτιγμι k, το αυτόματο επιλζγει ζνα α(k)
από το A ανάλογα με το P(k). Το α(k) γίνεται θ
είςοδοσ του περιβάλλοντοσ και αυτό με τθ ςειρά
του δίνει μια τυχαία απάντθςθ β(k) ςαν είςοδο
πίςω ςτο αυτόματο με αναμενόμενθ τιμι di(k) αν
α(k) = αi . Ζπειτα υπολογίηει το Q(k +1)
χρθςιμοποιϊντασ το L.
• Αυτι θ διαδικαςία ςυνεχίηεται μζχρι να βρεκεί θ
βζλτιςτθ ενζργεια (action) προσ το περιβάλλον
– Βζλτιςτθ ενζργεια δθλϊνουμε ωσ αm με αναμενόμενθ τιμι
dm = Max{di} για όλα τα i =1,2,...,r . Το ιδανικό είναι το αm
να φτάνει τθν μονάδα όςο ο χρόνοσ k πάει ςτο άπειρο.

10. Ο αλγόρικμοσ «Function Optimization
Using LA»(1/2)
 Διαίρεςθ του ςυνόλου των λφςεων ςε r υπερκφβουσ με κάκε ζνα να
αντιςτοιχίηεται ςε μια ενζργεια του αυτόματου
 Με χριςθ του αλγορίκμου εξαντλθτικισ αναηιτθςθσ (continuous Pursuit)
, οι action probabilities και οι εκτιμιςεισ των reward probabilities
ενθμερϊνονται ςε κάκε περίοδο υπολογίηοντασ τθν ςυναρτθςιακι τιμι
ενόσ τυχαίου δείγματοσ τθσ τρζχουςασ ενζργειασ.
 Αν θ εκτίμθςθ μιασ reward probability είναι μικρότερθ από ζνα
προκακοριςμζνο κατϊφλι, τότε ο αντίςτοιχοσ υπερκφβοσ αποτιμάται
ςφμφωνα με τα δείγματα των οποίων οι ςυναρτθςιακζσ τιμζσ ζχουν
υπολογιςτεί
 Αν θ μζςθ τιμι και θ διακφμανςθ αυτϊν των ςυναρτθςιακϊν τιμϊν είναι
αρκετά μικρζσ, ο υπερκφβοσ κεωρείται ωσ ευςτακισ και άχρθςτοσ.
Τότε, απομακρφνεται και ςυνεχίηεται θ βελτιςτοποίθςθ με τουσ
εναπομείναντεσ r-1 υπερκφβουσ
 Αλλιϊσ, ο υπερκφβοσ αυτόσ κεωρείται ωσ μθ ευςτακισ και οι κορυφζσ
και οι κοιλάδεσ τθσ ςυνάρτθςθσ υπολογίηονται ςε αυτόν τον υπερκφβο
από τα δείγματα που περιζχει

11. Ο αλγόρικμοσ «Function Optimization
Using LA»(2/2)
 Ζπειτα αυτόσ ο υπερκφβοσ διαιρείται ςε ζναν αρικμό υπο-υπερκφβων με
κάκε ζναν να περιζχει τα αφξοντα ι τα φκίνοντα δείγματα και ο αρχικόσ
υπερκφβοσ αντικακιςτάται από τον υπο-υπερκφβο με τθ μζγιςτθ
«ανταμοιβι»(reward)
 Οι υπόλοιποι υπο-υπερκφβοι κεωροφνται ωσ άχρθςτοι και
απομακρφνονται. Ζτςι, ο αρικμόσ των ενεργειϊν δεν αλλάηει.
 Η διαδικαςία επαναλαμβάνεται μζχρι να ικανοποιθκεί μια
προκακοριςμζνθ ςυνκικθ.
 Ζπειτα, οι αρχικοί υπερκφβοι είτε απομακρφνονται είτε ςυγκλίνουν ςε
μερικζσ τιμζσ ςτισ οποίεσ περιλαμβάνονται ζνα θμι-κακολικό
βζλτιςτο, δθλαδι μια λφςθ τθσ οποίασ θ ςυναρτθςιακι τιμι είναι ςχεδόν
κοντά ςε ζνα κακολικό βζλτιςτο
 Όπωσ άλλοι ςτοχαςτικοί αλγόρικμοι, αυτι θ μζκοδοσ ςτοχεφει ςτο να
βρει ζνα «ςυμβιβαςμό» ανάμεςα ςτθν εξερεφνθςθ(exploration ) και ςτθν
αξιοποίθςθ (exploitation), ςυγκλίνοντασ, δθλαδι, ςτο κοντινότερο τοπικό
βζλτιςτο και εξερευνϊντασ τθν ςυμπεριφορά τθσ ςυνάρτθςθσ ϊςτε να
ανακαλφψει κακολικό βζλτιςτο πεδίο

13. LA-miner(1/3)
• Αρχικά ασ ςκεφτοφμε τθ δομι των κανόνων
“IF-THEN” ωσ:
IF (att1 είναι quant1 ) AND (att2 είναι quant2 ) AND
... (attn είναι quantn) THEN x ανήκει ςτην Κλάςη j
– Όπου atti ( i = 1,2,...,n ) είναι το i-οςτό
χαρακτθριςτικό του ςτοιχείου που
«δοκιμάηουμε» και x = (att1, att2 ,..., attn ) το
ςτοιχείο που δοκιμάηουμε

14. LA-miner(2/3)
 Οι τιμζσ του quanti είναι οι λογικζσ εκφράςεισ
αρικμθτικϊν ποςοτιτων του i-οςτοφ
χαρακτθριςτικοφ, γι’ αυτό ζχουμε:
 Ζςτω Maxi and Mini η μεγαλφτερη και η μικρότερη
τιμή αντίςτοιχα του atti ,κωδικοποιοφμε το quantity
του atti χρηςιμοποιώντασ τισ παρακάτω ςχζςεισ:

15. LA-miner(3/3)
• Αυτό που κάνει βαςικά ο LA-miner είναι να εξάγει K ξεχωριςτοφσ κανόνεσ
κατθγοριοποίθςθσ M κλάςεων αναφοράσ ςτο n-διάςτατο χϊρο γνωριςμάτων.
Στθν πραγματικότθτα ,για κάκε κανόνα υπάρχουν (n +1) άγνωςτεσ παράμετροι (n
λογικζσ εκφράςεισ του quanti και j είναι ο δείκτθσ μιασ κλάςθσ αναφοράσ)
• Για K κανόνεσ εξάγει K × (n +1) άγνωςτεσ παραμζτρουσ και ςυνεπϊσ ψάχνει για
άγνωςτα ςφνολα τθσ μορφισ:
– Rule_Set = { quant11 , quant12 ,..., quant1n ,j1 ,
{ quant21 , quant22 ,..., quant2n ,j2,
…
{ quantk1 , quantk1 ,..., quantkn ,jk }
– Για να υπολογίςουμε κάκε Rule_Set, ορίηουμε μια ςυνάρτθςθ fitness, fit(Rule _ Set) = T − miss
όπου T ο ςυνολικόσ αρικμόσ των ςτοιχείων που «δοκιμάηουμε» και miss ο αρικμόσ των
ςθμείων που κατθγοριοποιικθκαν λανκαςμζνα
• Τελικά, ο LA-miner χρθςιμοποιεί τον αλγόρικμο Function Optimization Using LA
και μεγιςτοποιεί τθν ςυνάρτθςθ που μόλισ ορίςαμε. Το αποτζλεςμα του
αλγορίκμου είναι ζνα Rule_Set με τα ελάχιςτα λάκοσ κατθγοριοποιθμζνα
ςτοιχεία.

16. Ant-miner και CN2
• Ο αλγόρικμοσ Ant-miner βαςίηεται ςτον αλγόρικμο Ant
Colony Optimization και χρθςιμοποιεί stochastic search
• Ο CN2 ςυνδυάηει τον ID3 με τον AQ αναηθτϊντασ μια λίςτα
κανόνων κατά αφξοντα τρόπο και χρθςιμοποιεί deterministic
search
(πθγζσ: «Data Mining with an Ant Colony Optimization Algorithm»
«The CN2 Induction Algorithm»)

17. Πειραματικά αποτελζςματα
• Χρθςιμοποιικθκαν 3 data sets
– Iris : 50 μετριςεισ τεςςάρων χαρακτθριςτικϊν κακενόσ από τα 3 είδθ
– Wine : 13 χαρακτθριςτικά, 3 κλάςεισ με αντίςτοιχα ςτιγμιότυπα 59, 71 και 48
– Cancer : 683 δείγματα με δφο κλάςεισ με χϊρο κατθγορθμάτων 9 διαςτάςεων
• 50% κεωρικθκαν δεδομζνα εκπαίδευςθσ και το υπόλοιπο 50% δεδομζνα προσ δοκιμι
• Το πείραμα εκτελζςτθκε 10 φορζσ για κάκε δοκιμι και γίνεται αναφορά για τον μζςο όρο των
αποτελεςμάτων
Μ.Ο. recognition score (%) και αρικμόσ κανόνων των δοκιμϊν κατά τθ φάςθ τθσ εκπαίδευςθσ

18. Πειραματικά αποτελζςματα(ςυνζχεια)
Μ.Ο. recognition score (%) των δοκιμϊν κατά τθ φάςθ τθσ δοκιμισ

19. Συμπζραςμα
• Ο LA-miner δείχνει να υπερζχει των άλλων ωσ προσ τον
αρικμό των κανόνων(number of rules), αφοφ ςε κάκε
περίπτωςθ είναι μικρότεροσ από τα αποτελζςματα των
άλλων αλγορίκμων. Τα παραπάνω ιςχφουν τθν φάςθ τθσ
εκπαίδευςθσ αλλά και τθσ δοκιμισ. Σχετικά με το Μ.Ο. του
recognition score, υπερζχει και πάλι ο LA-miner πλθν των
cancer data τθσ φάςθσ δοκιμισ και των wine data τθσ φάςθσ
εκπαίδευςθσ όπου οριακά «νικάει» ο Ant-miner.

20. Πθγι
• Data Mining Using Learning Automata
– M. R. Aghaebrahimi, S. H. Zahiri, and M. Amiri

21. Τζλοσ παρουςίαςθσ
Ευχαριςτϊ πολφ
Ερωτήςεισ ;