Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

ΠΛΗ31 ΚΑΡΤΕΣ ΜΑΘΗΜΑΤΟΣ 3.4

3,703 views

Published on

.

Published in: Education
  • Be the first to comment

  • Be the first to like this

ΠΛΗ31 ΚΑΡΤΕΣ ΜΑΘΗΜΑΤΟΣ 3.4

  1. 1. ΝΕΥΡΩΝΙΚΑ ΔΙΚΤΥΑΟΠΙΣΘΟΔΙΑΔΟΣΗ ΤΟΥ ΛΑΘΟΥΣ (1 από 4: ΑΡΧΙΚΟΠΟΙΗΣΗ) Συνεπώς: Χρησιμοποιείται ένα πρότυπο εισόδου Είσοδος: x1=0.1 x2=0.6 Εκφώνηση: Δίνεται ένα πολυεπίπεδο ΤΝΔ τοπολογίας 2-1-2 με τη συνδεσμολογία όπως φαίνεται στο παρακάτω σχήμα. Για την εκπαίδευσή του χρησιμοποιείται η μέθοδος οπισθοδιάδοσης του σφάλματος με ρυθμό εκπαίδευσης n=1, χωρίς χρήση ορμής (momentum). Η συνάρτηση ενεργοποίησης σε όλους τους νευρώνες είναι η σιγμοειδής συνάρτηση S, όπου: Σε κάποια στιγμή εκπαίδευσής του για την εκμάθηση του προτύπου [0.1,0.6] με επιθυμητή έξοδο [0.0, 1.0] τα βάρη των συνδέσεων και οι τιμές των κατωφλίων έχουν πάρει τις τιμές που δίνονται στον Πίνακα 1. Θεωρείστε ότι τα κατώφλια είναι συνάψεις με είσοδο –1 και βάρος ίσο με την τιμή του κατωφλίου. Να κάνετε τις πράξεις με ακρίβεια 3 δεκαδικών ψηφίων. Να πραγματοποιήσετε έναν πλήρη κύκλο εκπαίδευσης (προς τα εμπρός και προς τα πίσω πέρασμα) x e xS − + = 1 1 )( Πίνακας 1 Βάρος Τιµή Βάρος Τιµή w13 = 0,5 w30 = θ3 0,4 w14 = 0,5 w40 = θ4 0,4 w23 = 0,4 w50 = θ5 0,4 w25 = 0,4 w 34 = 0,3 w 35 = 0,3 Επιθυμητή Έξοδος: d4=0.0 d5=1.0 Αρχικοποίηση: • Αρχικοποιούμε τα διανύσματα: • Για κάθε πρότυπο 1,…,K: Κατασκευάζουμε το διάνυσμα: , , … , και αρχικοποιούμε την επιθυμητή έξοδο: • Δίνουμε αρίθμηση στους κόμβους (αν αυτή δεν υπάρχει ήδη) • Πρέπει να υπάρχει μία τοπολογική ταξινόμηση στους κόμβους (δηλαδή να μην υπάρχει ακμή από κόμβο σε προηγούμενό του κόμβο) • Αρχικοποιούμε τις τιμές των βαρών σύμφωνα με την εκφώνηση. • Εντοπίζουμε την συνάρτηση ενεργοποίησης για κάθε κόμβο καθώς και την παραγωγό της (θα είναι κάποια συνεχής συνάρτηση) • Δίνουμε τιμή στην παράμετρο μάθησης η: 0<η<1 (από εκφώνηση) Πραγματοποιούμε κύκλους εκπαίδευσης διαδοχικά για τα πρότυπα.
  2. 2. p είναι ο συνολικός αριθμός εισόδων του νευρώνα j Υπολογίζεται το δυναμικό του νευρώνα ως άθροισμα των γινομένων βαρών-εισόδων Συμπεριλαμβάνεται η είσοδος κατωφλίου (αν υπάρχει) ΝΕΥΡΩΝΙΚΑ ΔΙΚΤΥΑΟΠΙΣΘΟΔΙΑΔΟΣΗ ΤΟΥ ΛΑΘΟΥΣ (2 από 4: ΕΜΠΡΟΣ) ΠΡΟΣ ΤΑ ΕΜΠΡΟΣ ΠΕΡΑΣΜΑ: Οι νευρώνες εξετάζονται κατά την αύξουσα αρίθµηση: j=1….N • Για κάθε νευρώνα εισόδου θέτουµε ως την είσοδο που παράγει. • Για κάθε υπολογιστικό νευρώνα j (κρυφό και εξόδου): Υπολόγισε το δυναµικό ως: ∑ Υπολόγισε την έξοδο από την συνάρτηση ενεργοποίησης: φ • Συµβολίζουµε µε την έξοδο µόνο των νευρώνων εξόδου • Για κάθε νευρώνα εξόδου: Υπολόγισε το σφάλµα: (επιθυµητή µείον παραγµατική) ΠΡΟΣ ΤΑ ΕΜΠΡΟΣ ΠΕΡΑΣΜΑ ΝΕΥΡΩΝΑΣ 1 (νευρώνας εισόδου) Η είσοδος μεταφέρεται στην έξοδο, άρα y1=x1=0.1 ΝΕΥΡΩΝΑΣ 2 (νευρώνας εισόδου) Η είσοδος μεταφέρεται στην έξοδο, άρα y2=x2=0.6 ΝΕΥΡΩΝΑΣ 3 (Κρυφός Νευρώνας) Δυναμικό: ∙ ∙ ∙ 1 0,5 ∙ 0,1 0,4 ∙ 0,6 0,4 ∙ 1 0.11 Ενεργοποίηση: y3=φ !"# #$.%% 0.473 ΝΕΥΡΩΝΑΣ 4 (Νευρώνας Εξόδου) Δυναμικό: ( ( ∙ ( ∙ ( ∙ 1 0,5 ∙ 0,1 0,3 ∙ 0,473 0,4 ∙ 1 0.208 Ενεργοποίηση: y4=φ ( !"# #$.+$, 0.448 ΝΕΥΡΩΝΑΣ 5 (Νευρώνας Εξόδου) Δυναμικό: - - ∙ - ∙ - ∙ 1 0,3 ∙ 0.473 0,4 ∙ 0,6 0,4 ∙ 1 0.018 Ενεργοποίηση: y5=φ - !"# #$.$%, 0.496 Συνεπώς η έξοδος των νευρώνων είναι: Υπολογισμός Σφάλματος για τους νευρώνες εξόδου: Νευρώνας 4: ( ( ( 0 0.448 0.448 Νευρώνας 5: - - - 1 0.496 0.504 Άρα τα σφάλματα στους νευρώνες εξόδου είναι:
  3. 3. Δw12 3 4 ∙ 5 3 ∙ 67 3 w12 3 w12 3 Δw12 3 1 Το δ για τους κρυφούς νευρώνες υπολογίζεται ως το γινόµενο (Παράγωγος της ενεργοποίησης) x [άθροισµα (δ*βάρος) για κάθε έξοδο του νευρώνα] ΠΡΟΣ ΤΑ ΠΙΣΩ ΠΕΡΑΣΜΑ ΝΕΥΡΩΝΑΣ 5 (νευρώνας εξόδου) Υπολογισμός Τοπικής Κλίσης: 6- - ∙ 89 - - ∙ - 1 - 0.504 ∙ 0.496 1 0.496 0.126 Διορθώσεις στα Βάρη των Ακμών: Δ - 4 ∙ ∙ 6- 1 ∙ 0,473 ∙ 0,126 0,060 Δ - 4 ∙ ∙ 6- 1 ∙ 0,6 ∙ 0,126 0,076 Δ - 4 ∙ 1 ∙ 6- 1 ∙ 1 ∙ 0,126 0,126 Υπολογισμός των νέων βαρών: - - Δ - 0,3 0,060 0,360 - - Δ - 0,4 0,076 0,476 - - Δ - 0,4 0,126 0,274 ΝΕΥΡΩΝΑΣ 4 (νευρώνας εξόδου) Υπολογισμός Τοπικής Κλίσης: … Διορθώσεις στα Βάρη των Ακμών: … Υπολογισμός των νέων βαρών: … ΝΕΥΡΩΝΑΣ 3 (κρυφός νευρώνας) Υπολογισμός Τοπικής Κλίσης: 6 89 ∙ ( ∙ 6( - ∙ 6- 1 ∙ ( ∙ 6( - ∙ 6- 0,473 1 0,473 ∙ 0,3 ∙ 0,111 0,3 ∙ 0,126 0,001 Διορθώσεις στα Βάρη των Ακμών: Δ 4 ∙ ∙ 6 1 ∙ 0,6 ∙ 0,001 0,001 Δ 4 ∙ ∙ 6 1 ∙ 0,1 ∙ 0,001 0 Δ 4 ∙ 1 ∙ 6 1 ∙ 1 ∙ 0,001 0,001 Υπολογισμός των νέων βαρών: Δ 0,4 0,001 0,401 Δ 0,5 0 0,5 Δ 0,4 0,001 0,399 ΝΕΥΡΩΝΙΚΑ ΔΙΚΤΥΑΟΠΙΣΘΟΔΙΑΔΟΣΗ ΤΟΥ ΛΑΘΟΥΣ (3 από 4: ΠΙΣΩ) ΠΡΟΣ ΤΑ ΠΙΣΩ ΠΕΡΑΣΜΑ: Α. ΥΠΟΛΟΓΙΣΜΟΣ ΤΟΠΙΚΩΝ ΚΛΙΣΕΩΝ Οι νευρώνες εξετάζονται κατά την φθίνουσα αρίθµηση j=N, N-1,…,1 Υπολογισµός της τοπικής κλίσης δ για κάθε υπολογιστικό νευρώνα: Για τους νευρώνες εξόδου 6 3 ∙ 89 Για τους νευρώνες κρυφού επιπέδου: 6 3 89 ∙ ; 6< 3 ∙ < 3 < Για τους νευρώνες εισόδου: ∆εν γίνεται υπολογισµός τοπικής κλίσης Β. ∆ΙΟΡΘΩΣΕΙΣ ΣΤΑ ΒΑΡΗ ΤΩΝ ΑΚΜΩΝ ∆ιορθώσεις σε όλα τα βάρη: Υπολογισµός ∆ιόρθωσης των Βαρών των ακµών: Δw 3 4 ∙ 6 3 ∙ 3 Υπολογισµός των βαρών: w 3 1 w 3 Δw 3 65 3 89 1 1 ∙ =67 3 ∙ 57 3 6> 3 ∙ 5> 3 6? 3 ∙ 5? 3 @ Το δ για τους νευρώνες εξόδου υπολογίζεται ως το γινόµενο (Σφάλµα του νευρώνα)x (Την παράγωγο της συνάρτησης ενεργοποίησης)
  4. 4. ΝΕΥΡΩΝΙΚΑ ΔΙΚΤΥΑΟΠΙΣΘΟΔΙΑΔΟΣΗ ΤΟΥ ΛΑΘΟΥΣ (4 από 4: ΠΡΟΣΘΕΤΑ) ΚΡΙΤΗΡΙΟ ΤΕΡΜΑΤΙΣΜΟΥ: Το δίκτυο παράγει τις επιθυμητές εξόδους ή έχουν ένα σφάλμα μικρότερο από κριτήριο που έχουμε θέσει. Το σφάλμα παρέμεινε ίδιο σε δύο διαδοχικούς κύκλους εκπαίδευσης Εκτελέσαμε τον αλγόριθμο για ένα συγκεκριμένο αριθμό βημάτων. Όνομα Συνάρτηση Παράγωγος Σιγμοειδής 8 = !"#AB 89 C8 1 8 Γραμμική 8 x 8′ =1 Υπερβολική Εφαπτομένη 8 1 FGH 1 FGH 8′ = G =1 8 @ Γραμμική με συντελεστή 8 αx 8′ =J Ημίτονο 8 sin x 8′ =cos Συνημίτονο 8 cos x 8′ = sin ΠΙΝΑΚΑΣ (ΓΝΩΣΤΩΝ) ΠΑΡΑΓΩΓΩΝ:

×