2. Ο ΜΙΜΗΣΙΜΟ ΣΩΝ ΣΕΧΝΗΣΩΝ
ΝΕΤΡΩΝΙΚΩΝ ΔΙΚΣΤΩΝ
Σα νευρωνικά δίκτυα προςπαθοφν να
μιμηθοφν ακριβζςτερα την
δραςτηριότητα του εγκεφάλου:
ε μικροςκοπικό επίπεδο (βιολογικοί
νευρώνεσ)
ε μακροςκοπικό επίπεδο (γενική
λειτουργία και δραςτηριότητα του
ανθρωπίνου εγκεφάλου).
3. Ο ΜΙΜΗΣΙΜΟ ΣΩΝ ΣΕΧΝΗΣΩΝ
ΝΕΤΡΩΝΙΚΩΝ ΔΙΚΣΤΩΝ
Αίτιο
• Σάςθ μιμθτιςμοφ • Η κεωρία του
των βιολογικϊν • υνεχισ Χάουσ ςτα
νευρωνικϊν αναηιτθςθ νζων νευρωνικά δίκτυα
δικτφων τεχνικϊν
Αρχι Αποτζλεςμα
4. Η ΘΕΩΡΙΑ ΣΟΤ ΦΑΟΤ
Σο φαινόμενο αυτό χαρακτθρίηεται:
Από τθν ευαίςκθτθ εξάρτθςθ από τισ αρχικζσ
ςυνκικεσ (ζχει επικρατιςει να αποκαλείται θ
ςυγκεκριμζνθ εξάρτθςθ ωσ φαινόμενο τθσ
πεταλοφδασ)
Και από μθ περιοδικότθτα.
Η ευαιςκθςία αυτι προκαλεί τθν φαινομενικι
τυχαιότθτα τθσ παρατθροφμενθσ ςυμπεριφοράσ των
ςυςτθμάτων, χωρίσ ιδιότθτα αυτι να επθρεάηεται
από τθν αιτιοκρατικότθτα του ςυςτιματοσ
κεωρϊντασ ότι οι νόμοι τθσ εξζλιξθσ τουσ είναι
οριςμζνοι ςε ορκι βάςθ και δεν περιζχουν τυχαίεσ
παραμζτρουσ.
υςτιματα που παρουςιάηουν μακθματικό χάοσ
είναι αιτιοκρατικά (ντετερμινιςτικά) και επομζνωσ
εφτακτα Ο όροσ χάοσ ζρχεται ςε αντίκεςθ με τθν
κακομιλουμζνθ όπου με τθν λζξθ χάοσ
υποδθλϊνεται θ παντελι ζλλειψθ τάξθσ
5. ΠΟΣΕ ΕΝΑ ΤΣΗΜΑ ΦΑΡΑΚΣΗΡΙΖΕΣΑΙ
ΦΑΟΣΙΚΟ? [ΚΑΣA DEVANEY]
Για να χαρακτθρίςουμε τθν ςυμπεριφορά
ενόσ ςυςτιματοσ ωσ χαοτικι το ςφςτθμα κα
πρζπει ζχει τισ παρακάτω ιδιότθτεσ:
Να παρουςιάηει ευαίςκθτθ εξάρτθςθ από τισ
αρχικζσ ςυνκικεσ.
Να είναι μεταβατικό ςε τοπολογικό επίπεδο.
Να παρουςιάηει πυκνό ςφνολο περιοδικϊν
τροχιϊν.
6. ΟΠΣΙΚΗ ΑΠΕΙΚΟΝΙΗ ΣΟΤ ΦΑΟΤ
• Η οπτικι απεικόνιςθ τθσ χαοτικισ κίνθςθσ γίνεται μζςω τθσ
καταςκευισ διαγράμματοσ φάςθσ τθσ κίνθςθσ.
• Ζνα τζτοιο παράδειγμα είναι αυτό τθσ κζςθσ ενόσ
εκκρεμοφσ ςε ςχζςθ με τθν ταχφτθτα του.
• Σο εκκρεμζσ ςε ακινθςία κα ςχεδιαςτεί ωσ ζνα ςθμείο και
το εκκρεμζσ που βρίςκεται ςε κατάςταςθ περιοδικισ
κίνθςθσ κα ςχεδιαςτεί ωσ μια απλι κλειςτι καμπφλθ.
• Όταν το ςχζδιο ςχθματίηει κλειςτι καμπφλθ θ καμπφλθ
αυτι λζγεται τροχιά.
• Σο εκκρεμζσ παρουςιάηει άπειρεσ τζτοιεσ τροχιζσ.
• Σελικά το ςφςτθμα εκτελεί τθν ίδια κίνθςθ για τισ αρχικζσ
καταςτάςεισ ςε μια περιοχι γφρω από τθν κίνθςθ ςχεδόν
ςαν να ζλκεται το ςφςτθμα ςε αυτι τθν κίνθςθ.
• Μια τζτοια ελκυςτικι κίνθςθ καλείται ελκυςτισ του
ςυςτιματοσ.
8. ΣΟ ΦΑΟ ΣΟΝ ΑΘΡΩΠΙΝΟ ΕΓΚΕΥΑΛΟ
• Εν αντικζςει με τισ μζχρι πρότινοσ πεποικιςεισ
ότι το χάοσ αντιπροςϊπευε μια πικανι πθγι
επιβλαβοφσ διαταραχισ για τον εγκζφαλο οι
επιςτιμονεσ κατζλθξαν ςτο ςυμπζραςμα ότι το
χάοσ ιταν ουςιαςτικό για τθν ορκι λειτουργία
του ανκρωπίνου εγκεφάλου
• «Ένα άτομο αναγνωρίηει ζνα γνωςτό πρόςωπο
ι τθν μυρωδιά τθσ ςχάρασ ι τθν γεφςθ μιασ
ςοκολάτασ ςχεδόν μόλισ παρουςιάηεται εκείνο
το ερζκιςμα… Πωσ μια τζτοια αναγνώριςθ
ςυμβαίνει με τόςθ ακρίβεια και ταχφτθτα
ακόμα και όταν τα ερεκίςματα είναι ςφνκετα
και το πλαίςιο ςτο οποίο προκφπτουν
ποικίλλει» [Freeman et.al. 1991]
9. ΣΟ ΦΑΟ ΣΟΝ ΑΘΡΩΠΙΝΟ ΕΓΚΕΥΑΛΟ
• Οι Skarda και Freeman το 1987 διαπίςτωςαν ότι
υπάρχει ςτακερι δραςτθριότθτα ςτον οςφρθτικό
φλοιό και αυτι θ δραςτθριότθτα είναι χαοτικι
• Είναι πικανό το υπόλοιπο μζροσ του εγκεφάλου να
ςυμπεριφζρεται με παρόμοιο τρόπο και για τθν
υποςτιριξθ τθσ κζςθσ του αυτι ειςθγικθκε ότι το
χάοσ αποτελεί τθν βαςικι μορφι ςυλλογικισ
νευρωνικισ δραςτθριότθτασ για όλεσ τισ
αντιλθπτικζσ διαδικαςίεσ και λειτουργεί ωσ
ελεγχόμενθ πθγι κορφβου ωσ μζςο για τθν
εξαςφάλιςθ τθσ ςυνεχοφσ πρόςβαςθσ ςτα
προθγοφμενα (από πλευράσ χρόνου) εκμακθμζνα
αιςκθτθριακά πρότυπα.
10. ΣΟ ΦΑΟ ΣΟΝ ΑΘΡΩΠΙΝΟ ΕΓΚΕΥΑΛΟ
• Γενικά ζνα χαοτικό ςφςτθμα και το χάοσ του
ανκρωπίνου εγκεφάλου εναλλάςςονται ςυχνά με
ζνα ΦΑΙΝΟΜΕΝΙΚΑ τυχαίο τρόπο μεταξφ των
διαφόρων περιοχϊν (ι των ομάδων
ςυμπεριφορϊν) του φαςικοφ διαςτιματοσ.
• Αυτζσ οι περιοχζσ είναι όπωσ αναφζρκθκε
προθγουμζνωσ είναι οι χαοτικοί ελκυςτζσ. (βλ. φωτ.
Ελκυςτισ του Λορενη).
• Ο τρόποσ που ο εγκζφαλοσ χρθςιμοποιεί το χάοσ
για να εξαςφαλίςει τθν ςυνεχι πρόςβαςθ ςτα
προθγοφμενα (από πλευράσ χρόνου) εκμακθμζνα
αιςκθτθριακά πρότυπα είναι να «αναπτφξει» αυτά
τα φτερά για διαφορετικά εκμακθμζνα πρότυπα
ειςόδου.
11. ΣΟ ΦΑΟ ΣΟΝ ΑΘΡΩΠΙΝΟ ΕΓΚΕΥΑΛΟ
Εάν θ είςοδοσ δεν ςτζλνει το ςφςτθμα ςε
ζνα από αυτά τα φτερά κεωρείται νζα
ειςαγωγι (πχ. μια άγνωςτθ μυρωδιά)
Αντί για τθν παραγωγι ενόσ από τα
προθγοφμενα εκμακθμζνα αιςκθτθριακά
πρότυπα το ςφςτθμα τίκεται ςε χαοτικι
κατάςταςθ υψθλοφ επιπζδου.
Αυτι θ διαδικαςία επιτρζπει ςτο ςφςτθμα
να αποφεφγει προθγοφμενα
αιςκθτθριακά πρότυπα και να παράγει
καινοφργια.
12. SPIN [ΚΤΚΛΙΗ] ΣΟΝ
ΑΝΘΡΩΠΙΝΟ ΕΓΚΕΥΑΛΟ
•Αυτο–εποπτευόμενθ εκπαίδευςθ: Tο δίκτυο ελζγχει τον εαυτό
του και διορκϊνει τα ςφάλματα ςτα δεδομζνα με ζνα μθχανιςμό
ανάδραςθσ .
• Μια αρχικι ειςαγωγι ςε ζνα τζτοιο ςφςτθμα κα προκαλοφςε
μια πυροδότθςθ θ οποία δεν κα ιταν αρκετι ζτςι ϊςτε να
διεγείρει (trigger) τθν πυροδότθςθ οποιοδιποτε νευρϊνα
ειςόδου του δεφτερου επιπζδου
13. SPIN [ΚΤΚΛΙΗ] ΣΟΝ
ΑΝΘΡΩΠΙΝΟ ΕΓΚΕΥΑΛΟ
Η ειςαγωγι όμωσ κα ιταν
ικανι αρκετά ϊςτε να
ανατροφοδοτιςει τον εαυτό
του (ο νευρϊνασ του πρϊτου
επιπζδου) ϊςτε να
επαναπυροδοτθκεί.
Λειτουργϊντασ ζτςι
αναδραςτικά.
Σϊρα ασ υποκζςουμε ότι ςτο ςφςτθμα δϊςουμε τθν ίδια
είςοδο για δεφτερθ φορά. ε αυτιν τθν χρονικι ςτιγμι ο
νευρϊνασ δεν κα πάρει μόνο το νζο ερζκιςμα ειςόδου αλλά κα
πάρει και το ερζκιςμα τθσ προθγοφμενθσ χρονικισ ςτιγμισ που
προζρχεται από τθν κυκλικι ανατροφοδότθςθ
14. SPIN [ΚΤΚΛΙΗ] ΣΟΝ
ΑΝΘΡΩΠΙΝΟ ΕΓΚΕΥΑΛΟ
Σο προθγοφμενο
ςφςτθμα που
μελετιςαμε δεν είναι
τίποτα άλλο από μια
απλι προςομοίωςθ
τθσ λειτουργίασ του
ανκρωπίνου
εγκεφάλου
Η αναδραςτικι
αυτι κφκλιςθ τθσ
Η φπαρξθ χάουσ ςτα
πλθροφορίασ βιολογικά νευρωνικά
παρουςιάηει δίκτυα του ανκρϊπινου
χαοτικι εγκεφάλου ιταν μια
ανακάλυψθ που ζγειρε
ςυμπεριφορά (βλ. το ενδιαφζρον αρκετϊν
Ελκυςτι Lorenz) επιςτθμϊν που
αςχολικθκαν με τα
τεχνθτά νευρωνικά
δίκτυα.
15. ΣΟ ΦΑΟ ΣΑ ΣΕΦΝΗΣΑ
ΝΕΤΡΩΝΙΚΑ ΔΙΚΣΤΑ
Αρχικά οι επιςτιμονεσ χρθςι-
μοποίθςαν το χάοσ ςτα τεχνθτά
νευρωνικά δίκτυα για να προςο-
μοιϊςουν το χάοσ ςτα βιολογικά
δίκτυα
Σο 1988 ο Freeman ζκανε τθν αρχι με
μια προςομοίωςθ του οςφρθτικοφ
φλοιοφ (ο οποίοσ είχε αποδειχτεί ότι είχε
χαοτικι ςυμπεριφορά) ςτον υπολογιςτι
με 8 τεχνθτοφσ νευρϊνεσ
16. ΣΟ ΦΑΟ ΣΑ ΣΕΦΝΗΣΑ
ΝΕΤΡΩΝΙΚΑ ΔΙΚΣΤΑ
• Σο 1990 αρκετοί ερευνθτζσ αναπαρζςτθςαν τθν χαοτικι
ςυμπεριφορά μζςω τεχνθτϊν νευρωνικϊν δικτφων με
ςχετικά απλά τεχνθτά νευρωνικά δίκτυα.
• Μακροςκοπικά θ χαοτικι ςυμπεριφορά μπορεί να
αναπαραςτακεί από πιο παραδοςιακά πρότυπα τεχνθτϊν
νευρωνικϊν δικτφων, με καλφτερο τρόπο ςε ςχζςθ με τα
απλοϊκά μοντζλα που αρχικά αναπτφχκθκαν.
• Επόμενεσ ζρευνεσ ςτθν μακροςκοπικι χαοτικι
ςυμπεριφορά ςτα τεχνθτά νευρωνικά δίκτυα αναηθτοφςαν
πωσ κα μποροφςαν να «καλλιεργιςουν» το χάοσ ωσ ζνα
ακοφςιο υποπροϊόν ενόσ μοντζλου εμπροςκοδιάδοςθσ
(feedforward) και οπιςκοδιάδοςθσ(feedback), όπωσ για
παράδειγμα ζνα δίκτυο Hopfield.
• Διαπιςτϊκθκε ότι αυτοφ του είδουσ τα ςυςτιματα ζχουν
ςυγχρόνωσ ενιςχυτικζσ και αναςταλτικζσ ςυνδζςεισ μεταξφ
των νευρϊνων και μποροφν να επιδείξουν χαοτικι
ςυμπεριφορά
17. ΣΟ ΦΑΟ ΣΑ ΣΕΦΝΗΣΑ
ΝΕΤΡΩΝΙΚΑ ΔΙΚΣΤΑ
Χαοτικι τροχιζσ που δθμιουργοφνται από ζνα
επαναλαμβανόμενο (recurrent) νευρωνικό
δίκτυο με τρεισ νευρϊνεσ.
18. ΣΟ ΦΑΟ ΣΑ ΣΕΦΝΗΣΑ
ΝΕΤΡΩΝΙΚΑ ΔΙΚΣΤΑ
• Σο 1990 οι Fukai και Shiino βρικαν
παρόμοια αποτελζςματα ανακζτοντασ ςε
ςυγκεκριμζνουσ νευρϊνεσ τθν λειτουργία
είτε τθσ διζγερςθσ(excitation) είτε τθσ
παρεμπόδιςθσ(inhibition).
• Αυτι θ μζκοδοσ προτιμικθκε από το να
κρατιςουν του νευρϊνεσ ουδζτερουσ και
να αποδϊςουν ςτα ςτα βάρθ ενιςχυτικι ι
αναςταλτικι ςυμπεριφορά.
• Η όλθ διαδικαςία βαςίςτθκε ςτθν υπόκεςθ
Dale (Dale hypothesis) περιζχομενο τθσ
οποίασ ιταν ότι «ςτον ανκρϊπινο εγκζ-
φαλο ο κάκε νευρϊνασ ζχει ενιςχυτικι θ
αναςταλτικι ςυμπεριφορά».
19. ΣΟ ΦΑΟ ΣΑ ΣΕΦΝΗΣΑ
ΝΕΤΡΩΝΙΚΑ ΔΙΚΣΤΑ
• Οι προςπάκειεσ για τθν εκμετάλευςθ
του χάουσ ςτα τεχνθτά νευρωνικά
δίκτυα για τθν παραγωγι αποτε-
λεςμάτων παρόμοια με αυτά του
Freeman είχαν αρκετι επιτυχία.
• Σο 1990 ο Sandler ανακάλυψε ότι
προςκζτοντασ χάοσ ςε ζνα δίκτυο
τφπου Hopfield ιταν δφνατθ θ
αναγνϊριςθ ςυγκεκριμζνων ειςόδων
και όχι ολόκλθρων προτφπων(form
patterns), μια κεωρία που ςυνζβαλε
ςτθν εκλεκτικι μάκθςθ των
νευρωνικϊν δικτφων.
20. ΣΟ ΦΑΟ ΣΑ ΣΕΦΝΗΣΑ
ΝΕΤΡΩΝΙΚΑ ΔΙΚΣΤΑ
• Οι προςπάκειεσ για τθν εκμετάλευςθ
του χάουσ ςτα τεχνθτά νευρωνικά
δίκτυα για τθν παραγωγι αποτε-
λεςμάτων παρόμοια με αυτά του
Freeman είχαν αρκετι επιτυχία.
• Σο 1990 ο Sandler ανακάλυψε ότι
προςκζτοντασ χάοσ ςε ζνα δίκτυο
τφπου Hopfield ιταν δφνατθ θ
αναγνϊριςθ ςυγκεκριμζνων ειςόδων
και όχι ολόκλθρων προτφπων(form
patterns), μια κεωρία που ςυνζβαλε
ςτθν εκλεκτικι μάκθςθ των νευρω-
νικϊν δικτφων.
21. ΣΟ ΤΠΑΡΞΙΑΚΟ ΑΙΝΙΓΜΑ ΣΟΤ ΦΑΟΤ ΣΑ
ΣΕΦΝΗΣΑ ΝΕΤΡΩΝΙΚΑ ΔΙΚΣΤΑ
• Μερικοί επιςτιμονεσ αναρωτιοφνται
κατά πόςο είναι χριςιμθ θ κεωρία του
χάουσ ςτα τεχνθτά νευρωνικά ςυςτι-
ματα που επιδιϊκουν να αναπαράγουν
τισ δυνατότθτεσ του ανκρωπίνου
εγκεφάλου
• Μζχρι ποιο ςθμείο το χάοσ μπορεί να
χρθςιμοποιθκεί για τθν βελτίωςθ τθσ
απόδοςθσ των τεχνθτϊν νευρωνικϊν
ςυςτθμάτων(?)
• Σο κατά πόςο είναι απαραίτθτο το χάοσ
ςτα τεχνθτά νευρωνικά δίκτυα ςαν
ερϊτθμα δεν ζχει απαντθκεί ακόμα...
22. ΓΙΑΣΙ ΦΑΟΣΙΚΑ ΝΕΤΡΩΝΙΚΑ ΔΙΚΣΤΑ ΚΑΙ ΟΦΙ
«ΑΠΛΑ» ΣΕΦΝΗΣΑ ΝΕΤΡΩΝΙΚΑ ΔΙΚΣΤΑ ?
• Μεγαλφτερθ ταχφτθτα
• Ακριβζςτερθ αναγνϊριςθ προτφπων
• Καλφτερθ προςομοίωςθ και επίλυςθ
προβλθμάτων που χρθςιμοποιοφν
χαοτικά και ντετερμινιςτικά ςυςτι-
ματα
• Πικανά καλφτερθ προςομοίωςθ λει-
τουργίασ ανκρωπίνου εγκεφάλου ςε
ςχζςθ με τθν ςυμβατικι κεωρία των
τεχνθτϊν νευρωνικϊν δικτφων
23. ΕΥΑΡΜΟΓΕ ΣΕΦΝΗΣΩΝ ΦΑΟΣΙΚΩΝ
ΝΕΤΡΩΝΙΚΩΝ ΔΙΚΣΤΩΝ –Η ΑΡΦΗ-
• Σο 1991 ζνα χαοτικό νευρωνικό ςφςτθμα
ςχεδιάςτθκε για τθν αναγνϊριςθ τεςςάρων
διαφορετικϊν τφπων βιομθχανικϊν
εξαρτθμάτων με ςκοπό τθν απόκριςθ για
το αν είναι ελαττωματικό θ όχι το κάκε
εξάρτθμα.
• Για τθν μελζτθ τθσ επίδοςθσ θ τεχνικι αυτι
ςυγκρίκθκε με μθ-χαοτικζσ τεχνικζσ.
• Σο αποτζλεςμα ιταν ότι τα χαοτικά
τεχνθτά νευρωνικά δίκτυα είχαν καλφτερθ
επίδοςθ ςε ςχζςθ με τα μθ-χαοτικά, τόςο
ςτθν εφρεςθ ελαττωματικϊν όςο και
αποδεκτϊν από τον ζλεγχο βιομθχανικϊν
εξαρτθμάτων.
25. ΣΕΛΟ
[Bower 1988] «Σο χάοσ είναι θ
ποιότθτα που κάνει τθν διαφορά ςτθν
επιβίωςθ μεταξφ ενόσ πλάςματοσ με
εγκζφαλο ςτον πραγματικό κόςμο και
ενόσ ρομπότ που δεν μπορεί να
λειτουργιςει ζξω από ζνα ελεγχό-
μενο περιβάλλον»…
26. ΒΙΒΛΙΟΓΡΑΥΙΑ
• The Importance of Chaos Theory in the Development of Artificial Neural Systems, Dave Gross
• Bower, B. Chaotic Connections (1988) Science News, 133 58-59
• Yao, Y., Freeman, W. J., Burke, B., & Yang, Q. (1991) Pattern Recognition by a Distributed Neural
Network: An Industrial Application
• Sandler, Yu. M. (1990) Model of neural networks with selective memorization and chaotic
behavior Physics Letters A, 144 462-466
• Fukai, T. & Shiino, M. (1990) Asymmetric Neural Networks Incorporating the Dale Hypothesis and
Noise-Driven Chaos Physical Review Letters, 64, 1465-1468
• Choi, M.Y. & Huberman, B.A. (1983) Dynamic behavior of nonlinear networks Physical Review A,
28, 1204-1206
• Aihara, K., Takabe, T., & Toyoda, M (1990) Chaotic Neural Networks Physics Letters A, 144, 333-
340
• Eisenberg, J., Freeman, W. J., & Burke, B. (1989) Hardware Architecture of a Neural Network
Model Simulating Pattern Recognition by the Olfactory Bulb Neural Networks, 2 315-325
• Skarda, C. A. & Freeman, W. J. (1987) How brains make chaos in order to make sense of the world
Behavioral and Brain Sciences, 10, 161-195 with Open Peer Commentary
• Freeman, W. J. & Yao, Y. (1990) Model of Biological Pattern Recognition with Spatially Chaotic
Dynamics Neural Networks, 3, 153-170
• Guevara, M.R., Glass, L., Mackey, M.C., & Shrier, A. (1983) Chaos in Neurobiology IEEE
Transactions on Systems, Man, and Cybernetics, SMC-13, 790-798 ]
• Freeman, W. J. & Yao, Y. (1990) Model of Biological Pattern Recognition with Spatially Chaotic
Dynamics Neural Networks, 3, 153-170
• ON DEVANEY’S DEFINITION OF CHAOS J. Banks, J. Brooks, G. Cairns, G. Davis and P. Stacey
Department of Mathematics, La Trobe University, Melbourne, Australia
• R.L. Devaney, An Introduction to Chaotic Dynamical Systems, Addison-Wesley, 1989
• J-P. Eckmann and D. Ruelle, Ergodic theory of chaos and strange attractors, Rev. Mod. Phy. 57
(1985), 617–656