Σε αυτή την εργασία παρουσιάστηκε συνοπτικά το ανοικτό επιστημονικά ζήτημα της συμβολής της μη γραμμικής δυναμικής στη μελέτη των τεχνητών νευρωνικών δικτύων, παρατέθηκε αναλυτικά ένας νέος αλγόριθμος σύνθεσης ελκυστών καθώς και σύγχρονες τοπολογικές θεωρίες για τη μελέτη ύπαρξης χάους με χρήση τοπολογικής θεωρίας πετάλων. Στη συνέχεια τα εργαλεία της θεωρίας χρησιμοποιήθηκαν για την ποιοτική ανάλυση του πεδίου φάσεων ενός δικτύου Hopfield τριών νευρώνων, όπου και παρουσιάστηκε το μοναδικό στα χρονικά καταγεγραμμένο φαινόμενο της συνύπαρξης ενός χαοτικού ελκυστή με έναν οριακό κύκλο.

1. TEXNHTA ΝΕΥΡΩΝΙΚΑ ΔΙΚΤΥΑ
Δραγώνας Κωνσταντίνος
Α.Μ.: 09315008
Δ.Π.Μ.Σ.
ΜΑΘΗΜΑΤΙΚΗ ΠΡΟΤΥΠΟΠΟΙΗΣΗ ΣΤΙΣ ΣΥΓΧΡΟΝΕΣ
ΤΕΧΝΟΛΟΓΙΕΣ ΚΑΙΤΗΝ ΟΙΚΟΝΟΜΙΑ

2.  Εισαγωγή
 Μη Γραμμική Δυναμική και Νευρωνικά Δίκτυα
 Η Πολύπλοκη Δυναμική ως προσπάθεια βελτίωσης
τωνΤΝΔ
 Χαοτική δυναμική σε μη διατηρητικά δυναμικά
συστήματα
 A new chaotic Hopfield neural network

3.  Tι είναι τα Τεχνητά Νευρωνικά Δίκτυα?
 Τομείς μελέτης ΤΝΔ:
Στατιστική
Επιστήμη των Υπολογιστών
Βιολογία
Μη Γραμμική Δυναμική

4. Direct functional representation: Το αποτέλεσμα της εξόδου
προέρχεται από έναν αριθμό ρητών μετασχηματισμών της
εισόδου.
Dynamical systems mapping I:
𝛸 = 𝛼𝛼𝛼𝛼𝛼𝛼𝛼 𝜎𝜎𝜎𝜎𝜎𝜎𝜎𝜎, 𝑌 = 𝜏𝜏𝜏𝜏𝜏𝜏 𝜅𝜅𝜅𝜅𝜅𝜅𝜅𝜅𝜅 (𝜀𝜀𝜀𝜀𝜀𝜀𝜀𝜀)
Αυτά τα δίκτυα έχουν ενδιαφέρον μόνο όταν έχουν πολλαπλούς
ελκυστές (multiple attractor networks)
Dynamical systems mapping II:
Ο ρόλος της εισόδου είναι η μεταχείριση ενός μόνο ελκυστή
κατά έναν κατάλληλο τρόπο γι’ αυτό το λόγο ονομάζουμε αυτή
την προσέγγιση attractor manipulation
Hamiltonian neural networks

5. Όλα τα δίκτυα πολλαπλών ελκυστών έχουν κοινές ιδιότητες:
 τα αποθηκευμένα πρότυπα αποτελούν τους ελκυστές του
συστήματος
 η ταξινόμηση ή η αναγνώριση προτύπου γίνεται βάση του
πεδίου έλξης του ελκυστή
 η σύγκλιση σε έναν από τους ελκυστές θεωρείται ως η
διαδικασία της αναγνώρισης ή ταξινόμησης προτύπου.

6.  Local instability (τοπική αστάθεια)
 Creation of information (Δημιουργία πληροφορίας)
 Wandering along attractor
 Resemblance with complex behaviour of the brain
 Tο χάος μπορεί να χρησιμοποιηθεί χωρίς κάποιον
συγκεκριμένο λόγο: μπορούμε να δημιουργήσουμε δίκτυα
πολλαπλών ελκυστών με περιοδικά ή χαοτικά πεδία έλξης
αντί των στάσιμων σημείων

7. Παρουσίαση ενός απλού σχήματος για τη σύνθεση κάποιου
επιθυμητού ελκυστή σε δυναμικά συστήματα με γραμμική
εξάρτηση από την παράμετρο διακλάδωσης
𝒙̇ = 𝑓𝑝 𝒙 , 𝒙 0 = 𝒙0 (1)
ή πιο αναλυτικά
𝑓𝑝 𝒙 = 𝑔 𝒙 + 𝑝𝑝𝑝 (2)
Σημείωση 1. Θεωρούμε το πρόβλημα αρχικών συνθηκών (1).
Έστω 𝒜 το σύνολο όλων των ολικών ελκυστών για κάθε
αποδεκτή τιμή της παράμετρο 𝑝. Έστω επίσης 𝒫 να είναι το
σύνολο των αποδεκτών τιμών της παραμέτρου 𝑝.

8. Κριτήριο 2. Δύο ελκυστές θεωρείται ότι ταυτίζονται αν:
 οι γεωμετρικές τους μορφές στο χώρο φάσεων (σχεδόν)
συμπίπτουν και
 η έννοια της φοράς της κίνησης διατηρείται.
Σημείωση 3. Έστω 𝒫 𝛮 = {𝑝1, 𝑝2, … , 𝑝 𝑁 } ⊂ 𝒫 ένα
πεπερασμένο διατεταγμένο υποσύνολο του 𝒫 με 𝑁 διαφορετικά
στοιχεία και το οποίο καθορίζει το σύνολο των ελκυστών
𝒜 𝛮 = {𝐴 𝑝1
, 𝐴 𝑝2
, … , 𝐴 𝑝 𝑁
} ⊂ 𝒜

9. Εικασία 1. Για κάθε πεπερασμένο σύνολο 𝒜 𝛮, 𝛮 ≥ 2 ελκυστών,
με αντίστοιχο σύνολο παραμέτρων 𝒫 𝛮, υπάρχει ένα ελκυστής 𝒜∗
του συστήματος (1) ο οποίος προκύπτει από μία βασισμένη σε
κάποιους συγκεκριμένους κανόνες κατάλληλη αλλαγή των τιμών
της παραμέτρου p με τιμές από το σύνολο 𝒫 𝛮
Σημείωση 4. Η παραπάνω εικασία έχει και αντίστροφη μορφή:
Κάθε ελκυστής 𝐴 𝑝 ∈ 𝒜 μπορεί να συντεθεί από ένα
πεπερασμένο σύνολο ελκυστών του 𝒜.

10. 𝜓: 𝐼 → 𝒫 𝛮 με 𝜓 𝑡 = 𝑝 𝑘 για 𝑡 ∈ 𝑡𝑖−1, 𝑡𝑖 , 𝑖 ∈ ℕ∗
,
𝑘 ∈ 1,2, … , 𝑁 , 𝑘 ∈ 𝒫 𝛮
Η σύνθεση λοιπόν της εικασίας 1 μπορεί να οριστεί ως η ακόλουθη
(𝑚1 + 𝑚2 + ⋯ + 𝑚 𝛮)ℎ-περιοδική ακολουθία:
[𝑚1 𝑝 𝜑(1), 𝑚2 𝑝 𝜑(2), … , 𝑚 𝑁 𝑝 𝜑(𝛮)],
όπου τα βάρη 𝑚𝑖 είναι θετικοί ακέραιοι και η συνάρτηση 𝜑
αναδιατάσσει το σύνολο 1,2, … , 𝛮 .

11. Εικασία 2. Για κάθε σύνολο ελκυστών 𝐴 𝛮 ∈ 𝒜 υπάρχει ένα σύνολο 𝛮
φυσικών αριθμών, 𝑚𝑖 = 1,2, … , 𝛮 , έτσι ώστε, βάση του σχήματος
σύνθεσης ελκυστών (4), να συντίθεται ένας ελκυστής 𝒜∗
ο οποίος να
ταυτίζεται σύμφωνα με το κριτήριο 2 με ένα ελκυστή 𝐴 𝑝 ∈ 𝒜 με το 𝑝 να
δίνεται από την σχέση:
𝑝 =
∑ 𝑚 𝑘 𝑝 𝜑(𝑘)
𝑁
𝑘=1
∑ 𝑚 𝑘
𝑁
𝑘=1
, (5)

13. Αριθμητική εφαρμογή στο σύστημα του Chen
(Στο paper υπάρχουν αντίστοιχα παραδείγματα και για τa συστήματα των Lorenz και
Rossler)
Chen’s System
𝑥̇1 = 𝑎(𝑥2 − 𝑥1)
𝑥̇ 𝟐 = (𝑝 − 𝑎)𝑥1−𝑥1 𝑥3 + 𝑝𝑥2
𝑥̇ 𝟑 = 𝑥1 𝑥2 − 𝑏𝑥3
με τιμές παραμέτρων 𝛼 = 35 , 𝑏 = 3 και ορίζουμε ως παράμετρο ελέγχου το 𝑝.
Συνθέτουµε τον 𝒜∗ βάση του σχήματος σύνθεσης [1𝑝1, 1𝑝2] με 𝑝1 = 23.014 και
𝑝2 = 26.08 πανομοιότυπο με τον ελκυστή 𝐴 𝑝, όπου 𝑝 =
𝑝1+𝑝2
2
= 24.532. Όμοια
μπορούμε να συνθέσουμε έναν περιοδικό ελκυστή πανομοιότυπο του 𝐴 𝑝, με
𝑝 = 26.083 εφαρμόζοντας το σχήμα σύνθεσης [2𝑝1, 1𝑝2 ] με 𝑝1 = 25.75 και
𝑝2 = 26.25.

15. Έστω 𝑆𝑆𝑚𝑚 = {0,1,…, 𝑚𝑚 − 1}, 𝑚𝑚 ∈ ℕ. Έστω επίσης 𝛴𝛴𝑚𝑚 ο χώρος όλων των άπειρων ή bi-infinite
ακολουθιών, όπου κάθε στοιχείο του 𝛴𝛴𝑚𝑚 είναι της μορφής:
𝑠𝑠 = {…, 𝑠𝑠−𝑛𝑛 ,…, 𝑠𝑠−1 , 𝑠𝑠0, 𝑠𝑠1 ,…, 𝑠𝑠𝑛𝑛,…}, 𝑠𝑠𝑖𝑖 ∈ 𝑆𝑆𝑚𝑚 ,
ή
𝑠𝑠 = {𝑠𝑠0, 𝑠𝑠1 ,…, 𝑠𝑠𝑛𝑛,…}, 𝑠𝑠𝑖𝑖 ∈ 𝑆𝑆𝑚𝑚 ,
Έστω τώρα μία άλλη ακολουθία 𝑠𝑠̅ ∈ 𝛴𝛴𝑚𝑚 , με 𝑠𝑠𝑖𝑖� ∈ 𝑆𝑆𝑚𝑚.
Η απόσταση μεταξύ s και 𝑠𝑠̅ δίνεται από τη μετρική
𝑑𝑑(𝑠𝑠, 𝑠𝑠̅) = �
1
2|𝑖𝑖|
𝑑𝑑𝑖𝑖(𝑠𝑠𝑖𝑖 , 𝑠𝑠𝑖𝑖�)
1 + 𝑑𝑑𝑖𝑖(𝑠𝑠𝑖𝑖 , 𝑠𝑠𝑖𝑖�)
∞
−∞
όπου 𝑑𝑑𝑖𝑖 είναι 𝑑𝑑𝑖𝑖 η διακριτή μετρική στον 𝑆𝑆𝑚𝑚.

16. Πρόταση 2.
(α) 𝜎(𝛴 𝑚 ) = 𝛴 𝑚 , (β) H απεικόνιση μετατόπισης σ (shift map σ) ως δυναμικό
σύστημα ορισμένη στον 𝛴 𝑚 έχει τις ακόλουθες ιδιότητες:
i. η σ έχει ένα σύνολο περιοδικών τροχιών άπειρα αριθμήσιμο, όλων των
περιόδων
ii. η σ έχει ένα υπεραριθμήσιμο σύνολο μη περιοδικών τροχιών
iii. η σ έχει μία πυκνή τροχιά.
Πρόταση 1.
Ο χώρος 𝛴 𝑚 είναι
i. Συμπαγής,
ii. Πλήρως μη συνεκτικός
iii. Τέλειος (perfect)

17. 𝛺𝛺𝑋𝑋: 𝜊𝜊 𝛸𝛸 𝜀𝜀ί𝜈𝜈𝜈𝜈𝜈𝜈 έ𝜈𝜈𝜈𝜈𝜈𝜈 𝛿𝛿𝛿𝛿𝛿𝛿𝛿𝛿𝛿𝛿𝛿𝛿ί𝜎𝜎𝜎𝜎𝜎𝜎𝜎𝜎𝜎𝜎 𝜇𝜇𝜇𝜇𝜇𝜇𝜇𝜇𝜇𝜇𝜇𝜇ό𝜍𝜍 𝜒𝜒ώ𝜌𝜌𝜌𝜌𝜌𝜌 (έ𝜒𝜒𝜒𝜒𝜒𝜒 έ𝜈𝜈𝜈𝜈 𝛼𝛼𝛼𝛼𝛼𝛼𝛼𝛼𝛼𝛼ί𝜎𝜎𝜎𝜎𝜎𝜎𝜎𝜎 𝜋𝜋𝜋𝜋𝜋𝜋𝜋𝜋ό 𝜐𝜐𝜐𝜐𝜐𝜐𝜐𝜐ύ𝜈𝜈𝜈𝜈𝜈𝜈𝜈𝜈)
𝛺𝛺𝑄𝑄: 𝜏𝜏𝜏𝜏 𝑄𝑄 ⊂ 𝑋𝑋 𝜀𝜀ί𝜈𝜈𝜈𝜈𝜈𝜈 𝜏𝜏𝜏𝜏𝜏𝜏𝜏𝜏𝜏𝜏ά 𝜎𝜎𝜎𝜎𝜎𝜎𝜎𝜎𝜎𝜎𝜎𝜎𝜎𝜎𝜎𝜎ό 𝜅𝜅𝜅𝜅𝜅𝜅 𝜎𝜎𝜎𝜎𝜎𝜎𝜎𝜎𝜎𝜎𝜎𝜎έ𝜍𝜍
𝛺𝛺𝑓𝑓: 𝜂𝜂 𝛼𝛼𝛼𝛼𝛼𝛼𝛼𝛼𝛼𝛼ό𝜈𝜈𝜈𝜈𝜈𝜈𝜈𝜈 𝑓𝑓: 𝑄𝑄 → 𝑋𝑋 𝜀𝜀ί𝜈𝜈𝜈𝜈𝜈𝜈 𝜎𝜎𝜎𝜎𝜎𝜎𝜎𝜎𝜎𝜎ή𝜍𝜍
𝛺𝛺𝛦𝛦: 𝜏𝜏𝜏𝜏 𝜎𝜎ύ𝜈𝜈𝜈𝜈𝜈𝜈𝜈𝜈 𝑒𝑒𝑒𝑒𝑒𝑒0 ⊂ 𝑄𝑄 𝜅𝜅𝜅𝜅𝜅𝜅 𝑒𝑒𝑒𝑒𝑒𝑒1 ⊂ 𝑄𝑄 𝜀𝜀ί𝜈𝜈𝜈𝜈𝜈𝜈 𝛼𝛼𝛼𝛼𝛼𝛼𝛼𝛼𝛼𝛼ί𝛽𝛽𝛽𝛽𝛽𝛽𝛽𝛽𝛽𝛽 𝜎𝜎𝜎𝜎𝜎𝜎 𝜅𝜅𝜅𝜅𝜅𝜅 𝜎𝜎𝜎𝜎𝜎𝜎𝜎𝜎𝜎𝜎𝜎𝜎ή 𝜅𝜅𝜅𝜅𝜅𝜅 𝜅𝜅ά𝜃𝜃𝜀𝜀
𝑐𝑐𝑐𝑐𝑐𝑐𝑐𝑐𝑐𝑐𝑐𝑐𝑐𝑐𝑐𝑐 𝜏𝜏𝜏𝜏𝜏𝜏 𝑄𝑄 𝜏𝜏𝜏𝜏 𝜏𝜏έ𝜇𝜇𝜇𝜇𝜇𝜇𝜇𝜇 𝜅𝜅𝜅𝜅𝜅𝜅 𝜏𝜏𝜏𝜏 𝛿𝛿ύ𝜊𝜊
𝛺𝛺𝛭𝛭 : 𝜏𝜏𝜏𝜏 𝑄𝑄 έ𝜒𝜒𝜒𝜒𝜒𝜒 𝛼𝛼𝛼𝛼𝛼𝛼𝛼𝛼𝛼𝛼ό 𝛿𝛿𝛿𝛿𝛿𝛿𝛿𝛿𝛿𝛿ί𝜎𝜎𝜎𝜎𝜎𝜎𝜎𝜎 𝑀𝑀 ≥ 2
Αναφερόμαστε σε όλες τις παραπάνω υποθέσεις ως ‘υποθέσεις πετάλων (Horseshoe
Hypothesis)’ 𝛺𝛺. Καλούμε σύνδεσμο 𝛤𝛤 ένα συμπαγές συνεκτικό υποσύνολο του 𝑄𝑄 το οποίο
τέμνει (επί της ουσίας συνδέοντας) τα 𝑒𝑒𝑒𝑒𝑒𝑒0 𝜅𝜅′ 𝑒𝑒𝑒𝑒𝑒𝑒1. Ένας προ-σύνδεσμος 𝛾𝛾 είναι ένα συμπαγές
συνεκτικό υποσύνολο του 𝑄𝑄 για το οποίο ισχύει ότι 𝑓𝑓(𝛾𝛾) είναι μία σύνδεση. Ορίζουμε ως
αριθμό διασχίσεων (crossing number) 𝑀𝑀 τον μεγαλύτερο αριθμό με την ιδιότητα κάθε σύνδεση
να έχει το λιγότερο 𝛭𝛭 ασυμβίβαστες ανά δύο προ-συνδέσμους. Τέλος καλούμε ένα σύνολο 𝑆𝑆
αναλλοίωτο αν 𝑓𝑓(𝑆𝑆) = 𝑆𝑆.

18. Λήμμα 1. Λήμμα του Χάους.
Έστω ότι ισχύουν οι υποθέσεις 𝛺𝛺𝑋𝑋, 𝛺𝛺𝑄𝑄, 𝛺𝛺𝑓𝑓. Έστω επίσης 𝛭𝛭 ένας ακέραιος μεγαλύτερος ή ίσος
του 2 και 𝛦𝛦 ένα μη κενό σύνολο από μη κενά συμπαγή υποσύνολα έτσι ώστε για κάθε γ ∈ 𝛦𝛦
υπάρχει ένα συμπαγές 𝛾𝛾𝑖𝑖 ⊂ 𝛾𝛾⋂𝑆𝑆𝑖𝑖 για το οποίο 𝑓𝑓( 𝛾𝛾𝑖𝑖) ∈ 𝐸𝐸. Έστω 𝑄𝑄𝐼𝐼 το μεγαλύτερο αναλλοίωτο
σύνολο εντός της ένωσης ⋃ 𝑆𝑆𝑖𝑖. Τότε η 𝑓𝑓|𝑄𝑄𝐼𝐼 είναι ημισυζυγής με τη μονόπλευρη απεικόνιση
μετατόπισης (one-sided shift map ) στον infinite χώρο 𝛴𝛴𝛭𝛭 . Αν η 𝑓𝑓|𝑄𝑄𝐼𝐼 είναι 1 − 1 τότε είναι
ημισυζυγής με την δίπλευρη απεικόνιση μετατόπισης στον bi-infinite χώρο 𝛴𝛴𝛭𝛭 .
Λήμμα 2.
Έστω ότι 𝑓𝑓: 𝑋𝑋 → 𝑋𝑋 είναι συνεχής καθώς και ότι η 𝑓𝑓 ικανοποιεί τις υποθέσεις 𝛺𝛺 στο 𝑄𝑄 με αριθμό
διασχίσεων 𝛭𝛭. Τότε υπάρχει μία συλλογή 𝑆𝑆 = {𝑆𝑆1, 𝑆𝑆2,… , 𝑆𝑆𝑀𝑀} από 𝛭𝛭 ασυμβίβαστες ανά δύο
κλειστές γειτονιές στο 𝑄𝑄 με την ιδιότητα ότι 𝑓𝑓(𝑆𝑆𝑖𝑖) ∩ 𝑆𝑆𝑗𝑗 ≠ ∅ για κάθε ζεύγος (𝑖𝑖, 𝑗𝑗) ∈
{1,2,… , 𝑀𝑀}2
. Επομένως 𝑆𝑆 είναι ένα σύνολο από σύνολα συμβόλων για το 𝑄𝑄.

21.  p=0.826

22. Βήμα 1
Εφαρμόζοντας την απεικόνιση 𝛨𝛨 αρκετές φορές θέτοντας ως αρχική συνθήκη ένα τυχαίο σημείο
στον ελκυστή παίρνουμε μία ακολουθία σημείων πάνω στην 𝛭𝛭 και με βάση αυτή την
πληροφορία εντοπίζουμε προσεγγιστικά περιοχές ασταθών περιοδικών τροχιών.
Βήμα 2
Παίρνουμε ένα υποσύνολο 𝐷𝐷1 του οποίου η απεικόνιση είναι τοποθετημένη απέναντι από τον
εαυτό του. Το υποσύνολο 𝐷𝐷1 συνήθως είναι τοποθετημένο γύρω από μία περιοχή όπου ξεκινάει
μία ασταθή περιοδική τροχιά.
Βήμα 3
Παίρνουμε ένα υποσύνολο 𝐷𝐷2 έτσι ώστε 𝛨𝛨( 𝐷𝐷1) → 𝐷𝐷2 και 𝛨𝛨( 𝐷𝐷2) → 𝐷𝐷1.
Συμβολίζουμε με 𝐷𝐷1
1
και 𝐷𝐷1
2
την αριστερή και δεξιά πλευρά του 𝐷𝐷1, και με 𝐷𝐷2
1
και𝐷𝐷2
2
την
αριστερή και δεξιά πλευρά του 𝐷𝐷2. To σχήμα 13 απεικονίζει τα 𝐷𝐷1, 𝐷𝐷2 και τις εικόνες τους υπό
την απεικόνιση 𝑃𝑃. Όπως φαίνεται και από το σχήμα 14 κάθε γραμμή που συνδέει τις πλευρές 𝐷𝐷1
1
και 𝐷𝐷1
2
έχει μη κενές συνδέσεις με τα 𝐷𝐷1 και 𝐷𝐷2. Αντίστοιχα συμβαίνει και με τις πλευρές του
𝐷𝐷2. όπως φαίνεται στο σχήμα 15.

26. [1] A.B. Potapov, M.K. Ali, Nonlinear Dynamics and Chaos in information processing neural
networks, Differential Equations and Dynamical Systems, Vol.9, Nos.3&4, July & October
2001, pp. 259-319
[2] M.-F. Danca, W.K.S. Tang, G. Chen, A switching scheme for synthesizing attractors of
dissipative chaotic systems, Appl. Math. Comput., 201 (2008), pp. 650–667
[3] J. Kennedy, J.A. Yorke, Topological horseshoes, Trans. Amer. Math. Soc., 353 (2001), pp.
2513–2530
[4] J. Kennedy, S. Koçak, J.A. Yorke, A chaos lemma, Amer. Math. Monthly, 108 (2001), pp.
411–423
[5] X.-S. Yang, Y. Tang, Horseshoes in piecewise continuous maps, Chaos Solitons Fractals, 19
(2004), pp. 841–845
[6] Juan Li, Feng Liu, Zhi-Hong Guan, Tao Li, A new chaotic neural network and its synthesis
via parameter switchings, Neurocomputing 117 (2013) 33-39
[7] Stephen Wiggins, Introduction to Nonlinear Dynamics and Chaos