Accelerated learning in multilayer neural network

1. 1
‫إعداد‬:‫د‬.‫صالح‬ ‫العابدين‬ ‫ين‬‫ز‬ ‫جعفر‬
‫املعلومات‬ ‫وتقانة‬ ‫الحاسوب‬ ‫علوم‬ ‫كلية‬ ‫النيلين‬ ‫جامعة‬
Dr gafar zen alabdeen salh
(2011)

2. 2
‫إعداد‬:‫د‬.‫صالح‬ ‫العابدين‬ ‫ين‬‫ز‬ ‫جعفر‬
‫املعلومات‬ ‫وتقانة‬ ‫الحاسوب‬ ‫علوم‬ ‫كلية‬ ‫النيلين‬ ‫جامعة‬
Dr gafar zen alabdeen salh
(2011)

3. ‫تتعلم‬‫الشبكة‬‫متعددة‬‫الطبقات‬،‫بصفة‬‫عامة‬،‫اسرع‬‫كثير‬‫ا‬“‫عندما‬‫يتم‬
‫تمثيل‬‫دالة‬‫اس‬‫التنشيط‬‫بمماس‬‫المقطع‬hyperbolic
tangent
‫حيث‬a,b‫ثابتان‬‫والقيم‬‫المناسبة‬‫لكل‬‫منهما‬
 a=1.716 , b=0.667 (guyon 1991)
Dr gafar zen alabdeen salh
(2011)
3
a
bxe
a
y 


1
2tanh

4. ‫كما‬‫يمكننا‬‫ايضا‬“‫تعجيل‬‫التدريب‬‫عن‬‫طريق‬‫شمول‬‫حد‬‫دفع‬
momentum term‫في‬‫قاعدة‬‫الدلتا‬‫في‬‫المعادلة‬
(rumelhart 1986):
 ∆Wjk (p)= β×∆Wjk (p-1) +α×yj(p) ×δk(p)
‫حيث‬β‫عددا‬‫موجبا‬“‫اكبر‬‫من‬‫أو‬‫يساوي‬‫صفر‬،‫واقل‬‫من‬‫الواحد‬
‫الصحيح‬،‫ويسمي‬‫ثابت‬‫الدفع‬.‫وتقليديا‬،‫يحدد‬‫ثابت‬‫الدفع‬‫بالقيمة‬
0.95
‫وتسمي‬‫المعالة‬‫السابقة‬‫قاعدة‬‫دالتا‬‫المعممة‬generalized delta
rule.‫وفي‬‫الحالة‬‫الخاصة‬‫التي‬‫يكون‬‫فيها‬β=0‫فنحصل‬‫علي‬‫قاعدة‬
‫دلتا‬‫الموجودة‬‫العادية‬
4
Dr gafar zen alabdeen salh
(2011)

5. ‫طبقا‬‫لمشاهدات‬‫واتروس‬watrous1987‫و‬‫جاكوبس‬1988.
‫يكون‬‫لشمول‬‫الدفع‬‫في‬‫خوارزمية‬‫االنتشار‬‫للخلف‬‫تاثير‬‫استق‬‫رار‬
stabilising‫علي‬‫التدريب‬،‫وبكلمات‬‫اخري‬،‫يميل‬‫شمول‬‫الدفع‬‫الي‬
‫تعجيل‬‫الهبوط‬‫في‬‫اتجاه‬‫انحدار‬‫االستقرار‬،‫ويبطي‬‫العملية‬‫عن‬‫دما‬
‫يعرض‬‫سطح‬‫التعلم‬‫قمما‬،‫ووديانا‬.
‫الشكل‬ ‫ويمثل‬‫لعملية‬ ‫دفع‬ ‫مع‬ ‫تعلما‬ ‫التالي‬or‫المقارنة‬ ‫وتبين‬ ، ‫المانعة‬
‫من‬ ‫الفترات‬ ‫عدد‬ ‫قللنا‬ ‫أننا‬ ‫للخلف‬ ‫االنتشار‬ ‫خوارزم‬ ‫مع‬224‫إلي‬126.
5
Dr gafar zen alabdeen salh
(2011)

6. 6
0 20 40 60 80 100 120
10-4
10-2
100
102
Epoch
Sum-SquaredError Training for 126 Epochs
0 100 140
-1
-0.5
0
0.5
1
1.5
Epoch
LearningRate
10-3
101
10-1
20 40 60 80 120
Dr gafar zen alabdeen salh
(2011)

7. ‫احدي‬‫الوسائل‬‫االكثر‬‫فعالية‬‫لتعجل‬‫تقارب‬‫تعلم‬‫االنتشار‬‫للخ‬‫لف‬‫هي‬
‫ضبط‬‫معلمة‬‫معدل‬‫التعلم‬‫اثناء‬‫التدريب‬.‫فتتسبب‬‫معلمة‬‫معدل‬‫التعلم‬
‫الصغيرة‬α‫في‬‫عمل‬‫تغيرات‬‫صغيرة‬‫في‬‫االوزان‬‫في‬‫الشبكة‬‫من‬‫ت‬‫كرار‬
‫الخر‬،‫ويقود‬‫ذلك‬‫الي‬‫منحني‬‫تعلم‬‫املس‬.‫ومن‬‫ناحية‬‫اخري‬،‫اذا‬‫كا‬‫نت‬
‫معلمة‬‫معدل‬‫التعلم‬α‫كبيرة‬‫لالسراع‬‫من‬‫عملية‬‫التدريب‬‫فينتج‬‫عن‬‫ذلك‬
‫تغيرات‬‫اكبر‬‫في‬‫االوزان‬‫والتي‬‫يمكن‬‫ان‬‫تسبب‬‫في‬‫عدم‬‫االست‬‫قرار‬،
‫ونتيجة‬‫لذلك‬‫يمكن‬‫ان‬‫تصبح‬‫الشبكة‬‫متذبذبة‬
7
Dr gafar zen alabdeen salh
(2011)

8. ‫ولتعجيل‬‫التقارب‬،‫وتجنب‬‫خطورة‬‫عدم‬‫االستقرار‬‫في‬‫نفس‬‫الو‬‫قت‬
‫يمكننا‬‫تطبيق‬‫تجريبتين‬(‫جاكوبس‬)
‫التجريبية‬‫االولي‬:‫اذا‬‫كان‬‫التغيير‬‫في‬‫مجموع‬‫االخطاء‬‫المربعة‬‫ن‬‫فس‬
‫االشارة‬‫الجبرية‬‫لعدد‬‫من‬‫فترات‬‫المنطقية‬‫فيجب‬‫عند‬‫ذلك‬‫ان‬‫تز‬‫داد‬
‫معلمة‬‫معدل‬‫التعلم‬
‫التجريبية‬‫الثانية‬:‫اذا‬‫كانت‬‫االشارة‬‫الجبرية‬‫للتغيير‬‫في‬‫م‬‫جموع‬‫االخطاء‬
‫المربعة‬‫تتبدل‬‫لعدد‬‫من‬‫فترات‬‫النتائج‬‫المنطقية‬.‫فيجب‬‫عند‬‫ذلك‬‫ان‬‫تقلل‬
‫معلمة‬‫معامل‬‫التعلم‬
8
Dr gafar zen alabdeen salh
(2011)

9. ‫ويتطلب‬‫تكييف‬‫معدل‬‫التعلم‬‫لبعض‬‫التغييرات‬‫في‬‫خوارزمي‬‫ة‬‫االنتشار‬
‫للخلف‬.
‫أوال‬“:‫تحسب‬‫مخرجات‬،‫وأخطاء‬‫الشبكة‬‫من‬‫معلمة‬‫معدل‬‫التعلم‬
‫االبتدائية‬.‫فإذا‬‫كان‬‫مجموع‬‫األخطاء‬‫المربعة‬‫عند‬‫الفترة‬‫الحالية‬‫اكبر‬‫من‬
‫القيمة‬‫السابقة‬‫بأكثر‬‫من‬‫معامل‬‫سبق‬‫تجديده‬(‫تقليديا‬1.04)‫فتقل‬‫معلمة‬
‫معدل‬‫التعلم‬(‫تقليديا‬‫بضربها‬‫في‬0.7)،‫وتحسب‬‫أوزان‬‫وعتبات‬‫جديدة‬
.‫إال‬‫انه‬‫إذا‬‫كان‬‫الخطأ‬‫اقل‬‫من‬‫الخطأ‬‫السابقة‬‫فيزداد‬‫معدل‬‫التعلم‬(‫ت‬‫قليديا‬
‫بالضرب‬‫في‬1.05)
‫والشكل‬‫التالي‬‫يوضح‬‫مثال‬‫لتدريب‬‫االنتشار‬‫للخلف‬‫مع‬‫معدل‬‫ت‬‫علم‬‫يمكن‬
‫تكييفه‬‫ويوضح‬‫أن‬‫تكييف‬‫معدل‬‫التعلم‬‫يمكن‬‫أن‬‫يقلل‬‫عدد‬‫الت‬‫كرارات‬
‫بالفعل‬
9
Dr gafar zen alabdeen salh
(2011)

10. 10
0 10 20 30 40 50 60 70 80 90 100
Epoch
Training for 103 Epochs
0 20 40 60 80 100 120
0
0.2
0.4
0.6
0.8
1
Epoch
LearningRate
10-4
10-2
100
102
Sum-SquaredError
10-3
101
10-1
Dr gafar zen alabdeen salh
(2011)

11. 11
0 10 20 30 40 50 60 70 80
Epoch
Training for 85 Epochs
0 10 20 30 40 50 60 70 80 90
0
0.5
1
2.5
Epoch
LearningRate
10-4
10-2
100
102
Sum-SquaredError
10-3
101
10-1
1.5
2
Dr gafar zen alabdeen salh
(2011)

12. ‫ويمكن‬‫استخدام‬‫تطبيق‬‫معدل‬‫التعلم‬‫مع‬‫تعلم‬‫به‬‫دفع‬،‫ويبين‬‫ا‬‫لشكل‬
‫السابق‬‫منافع‬‫تطبيق‬‫األسلوبين‬‫معا‬“.
‫ويحسن‬‫استخدام‬‫الدفع‬،‫ومعدل‬‫التعلم‬‫الذي‬‫يمكن‬‫تكييفه‬‫أدا‬‫ء‬‫شبكة‬
‫االنتشار‬‫للخلف‬‫العصبية‬‫متعددة‬‫الطبقات‬‫تحسينا‬‫كبيرا‬،‫و‬‫يقلل‬‫من‬
‫فرصة‬‫حدوث‬‫تذبذب‬‫الشبكة‬.
‫لقد‬‫صممت‬‫الشبكات‬‫العصبية‬‫في‬‫تماثل‬‫المخ‬.‫إال‬‫أن‬‫ذاكرة‬‫المخ‬‫تعمل‬
‫بواسطة‬‫المصاحبة‬.‫مثال‬‫ذلك‬،‫يمكننا‬‫أن‬‫نميز‬‫وجها‬‫معتادا‬‫حتى‬‫ف‬‫ي‬
‫البيئة‬‫غير‬‫المعتادة‬‫من‬‫خالل‬100-200sm.‫ويمكننا‬‫تذكر‬‫أيضا‬
‫تجربة‬‫إحساس‬‫كاملة‬‫بما‬‫في‬‫ذلك‬‫األصوات‬،‫والمشاهد‬‫عندما‬‫نسمع‬
‫بضع‬‫نغمات‬‫موسيقية‬‫فقط‬.‫فيصاحب‬‫المخ‬‫شيئا‬‫بأخر‬‫بصور‬‫ة‬‫روتينية‬.
12
Dr gafar zen alabdeen salh
(2011)

13. ‫تستخدم‬‫الشبكات‬‫العصبية‬‫متعددة‬‫الطبقات‬‫المدربة‬‫بخوارزمي‬‫ة‬‫االنتشار‬
‫للخلف‬‫في‬‫مشاكل‬‫تمييز‬‫األنماط‬.‫ولكن‬،‫كما‬‫سبق‬‫الحظنا‬‫ليس‬‫ت‬‫هذه‬
‫الشبكات‬‫ذكية‬‫بصورة‬‫حقيقية‬.‫ولتقليد‬‫الخواص‬‫المصاحبة‬‫ل‬‫لذاكرة‬
‫المصاحبة‬‫للذاكرة‬‫البشرية‬‫فإننا‬‫نحتاج‬‫إلي‬‫نوع‬‫مختلف‬‫من‬‫الش‬‫بكات‬
‫شبكة‬‫عصبية‬‫متكررة‬recurrent neural network
13
Dr gafar zen alabdeen salh
(2011)

14. ‫الشبكة‬‫العصبية‬‫المتكررة‬‫دورات‬‫تغذية‬‫م‬‫رتجعة‬
‫من‬‫مخرجاتها‬‫إلي‬‫مدخالتها‬.‫ولوجود‬‫مثل‬‫هذه‬
‫الدورات‬‫تأثير‬‫عميق‬‫علي‬‫إمكانيات‬‫تعلم‬‫ال‬‫شبكة‬
14
Dr gafar zen alabdeen salh
(2011)

15. ‫بعد‬‫تطبيق‬‫مدخالت‬‫جديدة‬،‫تحسب‬‫مخرجات‬
‫الشبكة‬،‫وتغذي‬‫ارتجاعيا‬‫لتضبط‬‫المدخال‬‫ت‬.
‫وتحسب‬‫بعد‬‫ذلك‬‫المخرجات‬‫مرة‬‫أخري‬،
‫وتكرر‬‫هذه‬‫العملية‬‫حتى‬‫تصبح‬‫المخرجات‬‫ث‬‫ابتة‬
15
Dr gafar zen alabdeen salh
(2011)

16. ‫ال‬‫تتيح‬‫التكرارات‬‫المتتابعة‬‫تغيرات‬‫اصغر‬،‫واصغر‬‫من‬‫المخرجات‬‫دائما‬،‫وع‬‫لي‬
‫العكس‬‫يمكن‬‫أن‬‫تقود‬‫إلي‬‫سلوك‬‫فوضوي‬.‫وفي‬‫هذه‬‫الحالة‬،‫ال‬‫يمكن‬‫أن‬‫تصبح‬
‫مخرجات‬‫الشبكة‬‫ثابتة‬،‫ويقال‬‫عن‬‫هذه‬‫الشبكة‬‫أنها‬‫غير‬‫مستقرة‬unstable.
‫وحفز‬‫استقرار‬‫الشبكات‬‫المتكررة‬‫العديد‬‫من‬‫الباحثين‬‫في‬‫الستينات‬،‫والس‬‫بعينات‬‫من‬
‫القرن‬‫العشرين‬‫الميالدي‬.‫إال‬‫انه‬‫لم‬‫يتمكن‬‫أي‬‫منهم‬‫من‬‫التنبو‬‫بأي‬‫شبكة‬‫ستك‬‫ون‬‫مستقرة‬
،‫وكان‬‫بعض‬‫الباحثين‬‫متشائمين‬‫بالنسبة‬‫إلي‬‫الوصول‬‫إلي‬‫حل‬‫بالمرة‬.‫ولم‬‫ت‬‫حل‬‫المشكلة‬
‫إال‬‫في‬‫عام‬1982‫عندما‬‫وضع‬‫جون‬‫هوبفيلد‬john Hopfield‫صيغة‬‫للقاعدة‬
‫الطبيعية‬‫للمعلومات‬‫القوية‬‫في‬‫شبكة‬‫مستقرة‬‫ديناميكيا‬.
‫ويبين‬‫الشكل‬‫التالي‬‫شبكة‬‫هوبفيلد‬‫من‬‫طبقة‬‫واحدة‬‫تتكون‬‫من‬n‫عصبون‬‫تحدث‬‫تغذية‬
‫مرتجعة‬‫لمخرجات‬‫كل‬‫عصبون‬‫إلي‬‫مدخالت‬‫كل‬‫العصبونات‬‫االخري‬(‫ال‬‫توجد‬‫تغ‬‫ذية‬
‫مرتجعة‬‫ذاتيه‬‫في‬‫شبكة‬‫هوبفيلد‬)
16
Dr gafar zen alabdeen salh
(2011)

17. 17
xi
x1
x2
xn
InputSignals
yi
y1
y2
yn
1
2
i
n
OutputSignals
Dr gafar zen alabdeen salh
(2011)

18. ‫وعادة‬‫تستخدم‬‫شبكة‬‫هوبفيلد‬‫عصبونات‬‫ماكولوش‬‫وبيتس‬‫مع‬‫د‬‫الة‬‫تنشيط‬
‫اشارة‬sign activation function‫كعنصر‬‫حوسبة‬‫خاص‬‫بها‬
‫وتعمل‬‫الدالة‬‫بطريقة‬‫شبيهة‬‫لدالة‬‫االشارة‬.‫اذا‬‫كانت‬‫المدخالت‬‫الم‬‫وزونة‬
‫للعصوب‬‫اقل‬‫من‬‫الصفر‬‫تكون‬‫المخرجات‬1-‫،وتكون‬‫المخرجات‬1+،
‫اذا‬‫كانت‬‫المدخالت‬‫اكبر‬‫من‬‫الصفر‬.‫اال‬‫انه‬‫اذا‬‫كانت‬‫المدخالت‬
‫الموزونة‬‫تساوي‬‫صفر‬‫بالضبط‬‫فتظل‬‫مخرجاتها‬‫كما‬‫هي‬‫دون‬‫تغي‬‫ير‬.
‫وبكلمات‬‫اخري‬‫يظل‬‫العصبون‬‫بحالته‬‫السابقة‬.
18









XY
X
X
Y sign
if,
if,1
0if,1
Dr gafar zen alabdeen salh
(2011)

19. ‫نشيط‬ ‫دالة‬ ‫استبدال‬ ‫ويمكن‬‫االشارة‬‫خطية‬ ‫تشبع‬ ‫بدالة‬saturated
linear function،‫و‬‫في‬ ‫بحته‬ ‫خطية‬ ‫كدالة‬ ‫تعمل‬ ‫التي‬‫المدي‬[-
1,1]‫وكدالة‬ ،‫اشارة‬‫هذا‬ ‫خارج‬‫المدي‬‫ذلك‬ ‫الشكل‬ ‫ويبين‬
19
Dr gafar zen alabdeen salh
(2011)

20. ‫وتحدد‬‫الحالة‬‫الحالية‬‫للشبكة‬‫عن‬‫طريق‬‫المخرجات‬‫الحالية‬‫لكل‬
‫العصبونات‬y1,y2,…,yn‫لذلك‬،‫بالنسبة‬‫إلي‬‫شبكة‬‫الطبقة‬‫الواح‬‫دة‬
‫التي‬‫بها‬n‫عصبون‬‫يمكن‬‫تعرف‬‫الحالة‬‫باستخدام‬‫متجه‬‫الحالة‬state
vector‫كما‬‫يلي‬:
20















yn
y
y
y ...
2
1
Dr gafar zen alabdeen salh
(2011)

21. ‫وعادة‬‫تمثل‬‫أوزان‬‫نقاط‬‫االشتباك‬‫بين‬‫العصبونات‬‫في‬‫شبكة‬‫هو‬‫بفيلد‬‫في‬
‫صورة‬‫مصفوفة‬‫كما‬‫يلي‬:
‫حيث‬M‫عدد‬‫الحاالت‬‫التي‬‫توجد‬‫في‬‫ذاكرة‬‫الشبكة‬،‫و‬Ym‫المتجه‬
‫الثنائي‬‫في‬n‫بعد‬،‫و‬I‫مصفوفة‬‫وحدة‬n*n‫ويرمز‬‫الدليل‬T‫إلي‬
‫محول‬‫المصفوفة‬.
21
MIyyw
M
1m
T
mm  
Dr gafar zen alabdeen salh
(2011)

22. ‫يمكن‬‫تمثيل‬‫شبكة‬‫هوبفيلد‬‫هندسيا‬.‫ويبين‬‫الشكل‬‫التالي‬‫شبكة‬
‫من‬‫ثالثة‬‫عصبونات‬‫ممثلة‬‫بمكعب‬‫في‬‫فراغ‬‫من‬‫ثالثة‬‫أبعاد‬.
‫وبصفة‬‫عامة‬،‫للشبكة‬‫التي‬‫بها‬n‫عصبون‬‫عدد‬2n‫حالة‬
‫ممكنة‬،‫ويصاحبها‬‫مكعب‬‫مفرط‬hypercube‫في‬n
‫بعد‬.‫وفي‬‫شكل‬‫التالي‬‫تمثل‬‫كل‬‫حالة‬‫برأس‬.‫وعند‬‫ت‬‫طبيق‬
‫متجه‬‫مدخالت‬‫جديد‬‫تتحرك‬‫الشبكة‬‫من‬‫رأس‬–‫حالة‬‫إلي‬
‫أخري‬‫حتي‬‫تصبح‬‫مستقرة‬
22
Dr gafar zen alabdeen salh
(2011)

23. 23
y1
y2
y3
(1, 1, 1)(1, 1, 1)
(1, 1, 1) (1, 1, 1)
(1, 1, 1)(1, 1, 1)
(1, 1, 1)(1, 1, 1)
0
Dr gafar zen alabdeen salh
(2011)

24. ‫يتحدد‬-‫حالة‬‫المستقر‬‫بواسطة‬‫مصفوفة‬‫الوزن‬w
‫ومتجه‬‫الحالي‬x،‫ومصفوفة‬‫ألعتبه‬θ.‫فإذا‬‫كان‬
‫متجه‬‫المدخالت‬‫غير‬‫صحيح‬،‫أو‬‫غير‬‫كامل‬‫جزئيا‬،
‫فتتقارب‬‫الحالة‬‫االبتدائية‬‫إلي‬‫الرأس‬–‫حالة‬‫ال‬‫مستقر‬
‫بعد‬‫بضع‬‫تكرارات‬.
‫افرض‬،‫علي‬‫سبيل‬‫المثال‬،‫أن‬‫شبكتنا‬‫تتطل‬‫ب‬‫أن‬
‫يوجد‬‫في‬‫ذاكرتها‬‫حالتين‬‫متعارضتين‬(1,1,1)‫و‬
(-1,-1,-1)‫لذلك‬‫فان‬:
24
Dr gafar zen alabdeen salh
(2011)

25. ‫حيث‬y1, y2‫أبعاد‬ ‫ثالثة‬ ‫في‬ ‫متجهان‬
‫أيضا‬ ‫صفوف‬ ‫في‬ ‫المتجهات‬ ‫هذه‬ ‫نمثل‬ ‫أن‬ ‫يمكننا‬ ‫كما‬:
25

























1
1
1
,
1
1
1
211 yandy
   111,111 21  TT
yandy
Dr gafar zen alabdeen salh
(2011)

26. ‫وتاخذ‬‫الوحدة‬ ‫مصفوفة‬3*3‫التالي‬ ‫الشكل‬:
‫يمكننا‬ ، ‫لذلك‬‫االن‬‫ان‬‫يلي‬ ‫كما‬ ‫الوزن‬ ‫مصفوفة‬ ‫نحدد‬:

26











100
010
001
I
   
















































022
202
220
100
010
001
2111
1
1
1
111
1
1
1
22211
W
Iyyyyw TT
Dr gafar zen alabdeen salh
(2011)

27. ‫وبعد‬‫ذلك‬،‫نختبر‬‫الشبكة‬‫بتتابع‬‫المتج‬‫هين‬
X1,X2‫والمتساويين‬‫مع‬‫متجهي‬‫المخرجات‬(‫أ‬‫و‬
‫الهدف‬)،y1, y2‫علي‬‫التوالي‬‫ونريد‬‫أن‬‫نري‬
‫إذا‬‫كانت‬‫شبكتنا‬‫قادرة‬‫علي‬‫تمييز‬‫األنماط‬
‫المعتادة‬‫أم‬‫ال‬.
27
Dr gafar zen alabdeen salh
(2011)

28. ‫أوال‬“‫نشطها‬‫عن‬‫طريق‬‫تطبيق‬‫متجه‬‫المدخالت‬x.‫وبعد‬‫ذلك‬‫نحسب‬
‫متجه‬‫المخرجات‬‫الفعلية‬y‫وأخيرا‬“‫نحسب‬‫النتيجة‬‫بمتجه‬‫المدخالت‬
‫االبتدائي‬x
‫حيث‬θ‫مصفوفة‬‫العتبة‬
‫وفي‬‫مثالنا‬،‫يمكننا‬‫أن‬‫نفترض‬‫أن‬‫كل‬‫العتبات‬‫أصفار‬.‫لذلك‬.‫فان‬:
28
Mmwxsigny mm ,...,2,1),(  
Dr gafar zen alabdeen salh
(2011)

29. ‫فان‬ ‫نري‬ ‫وكما‬y1=x1‫و‬y2=x2‫الحالتين‬ ‫عن‬ ‫يقال‬ ‫لذلك‬
(1,1,1)and (-1,-1,-1)‫مستقرتين‬ ‫أنهما‬stable
29
















































































































1
1
1
0
0
0
1
1
1
022
202
220
1
1
1
0
0
0
1
1
1
022
202
220
2
1
signy
and
signy
Dr gafar zen alabdeen salh
(2011)

30. ‫مع‬‫ثالثة‬‫عصبونات‬‫في‬‫الشبكة‬،‫كانت‬‫هناك‬‫ثمان‬‫حاالت‬‫ممكنة‬.
‫وتكون‬‫بقية‬‫الحاالت‬‫الست‬‫االخري‬‫غير‬‫مستقرة‬،‫إال‬‫أن‬‫الحاالت‬
‫المستقرة‬(‫والتي‬‫تسمي‬‫ذاكرات‬‫أساسية‬fundamental
memories‫أيضا‬“)‫تكون‬‫قادرة‬‫علي‬‫جذب‬‫الحاالت‬‫التي‬‫تكون‬
‫قريبة‬‫منها‬.‫وكما‬‫هو‬‫مبين‬‫في‬‫جدول‬‫التالي‬.‫تجذب‬‫الذاكرة‬‫األساس‬‫ية‬
(1،1،1)‫الحاالت‬‫غير‬‫المستقرة‬(-1,1,1)‫و‬(1,-1,1)‫و‬(1,1,-
1).‫وتمثيل‬‫كل‬‫من‬‫هذه‬‫الحاالت‬‫غير‬‫المستقرة‬‫خطأ‬‫واحد‬،‫مقارنة‬‫مع‬
‫الذاكرة‬‫الرئيسية‬(1,1,1).
30
Dr gafar zen alabdeen salh
(2011)

31. ‫ومن‬‫ناحية‬‫أخري‬،‫تجذب‬‫الحالة‬(-1,-1,-1)
‫الحاالت‬‫غير‬‫المستقرة‬(-1, 1,-1)‫و‬(1,-1,-1)
‫و‬(-1,-1, 1)‫هنا‬،‫مرة‬‫أخري‬،‫تمثل‬‫الحاالت‬‫غير‬
‫المستقرة‬‫خطأ‬‫واحد‬،‫ومقارنة‬‫مع‬‫الذاكرة‬‫األساسية‬.‫لذلك‬،
‫يمكن‬‫أن‬‫تعمل‬‫شبكة‬‫هوبفيلد‬‫في‬‫الحقيقة‬‫علي‬‫أنها‬‫ش‬‫بكة‬
‫تصحيح‬‫الخطأ‬error correction network.
‫ونلخص‬‫خطوات‬‫خوارزمية‬‫تدريب‬‫شبكة‬‫هوبفيلد‬
31
Dr gafar zen alabdeen salh
(2011)

32. 32
‫التخزين‬
‫االختبار‬
‫االسترجاع‬
Dr gafar zen alabdeen salh
(2011)

33. ‫الخطوة‬‫األولي‬:‫التخزين‬
‫تكون‬‫شبكة‬‫هوبفيلد‬‫في‬n‫عصبون‬‫مطلوبة‬‫لتخزين‬‫فئة‬‫من‬M‫ذاكرة‬
‫أساسية‬،Y1,Y2,…,YM‫ويحسب‬‫وزن‬‫نقطة‬‫االشتباك‬‫من‬‫العصبون‬
i‫و‬‫العصبون‬j‫كما‬‫يلي‬:
33








jiyy
ji
ij
M
m
mjmi
w
,
,0
1
Dr gafar zen alabdeen salh
(2011)

34. ‫حيث‬ymi‫و‬ymj‫العنصران‬‫رقم‬i,j‫في‬‫الذاكرة‬‫األساسية‬‫علي‬
‫التوالي‬‫وفي‬‫صورة‬‫المصفوفة‬،‫وتمثل‬‫األوزان‬‫نقطة‬‫االشتباك‬‫بين‬
‫العصبونات‬‫كما‬‫يلي‬:
‫ويمكن‬‫أن‬‫تخزن‬‫شبكة‬‫هوبفيلد‬‫فئة‬‫من‬‫الذاكرات‬‫األساسية‬‫إذا‬‫ك‬‫انت‬
‫مصفوفة‬‫الوزن‬‫متماثلة‬‫مع‬‫وجود‬‫أصفار‬‫في‬‫قطرها‬‫الرئيسي‬(‫ك‬‫وهين‬
‫وجروسبرج‬1983)‫أي‬‫أن‬:
34
MIyyw
M
m
T
mm  1
Dr gafar zen alabdeen salh
(2011)

35. ‫حيث‬wij=wji
‫ثابتة‬ ‫تظل‬ ‫فإنها‬ ‫األوزان‬ ‫حساب‬ ‫وبمجرد‬
35





















0
0
..................
2
...w...ww
......................
w......w
......
w...w...0w
w...w...w0
njn2n1
n1
2n2j21
1n1j12
iii w
w
Dr gafar zen alabdeen salh
(2011)

36. ‫الخطوة‬‫الثاني‬:‫االختبار‬
‫نحتاج‬‫أن‬‫نتأكد‬‫من‬‫شبكة‬‫هوبفيلد‬‫قادرة‬‫علي‬‫أن‬‫تتذكر‬‫كل‬‫ذاكر‬‫تها‬
‫األساسية‬.‫بكلمات‬‫أخري‬،‫يجب‬‫أن‬‫تتذكر‬‫الشبكة‬‫أي‬‫ذاكرة‬‫أساس‬‫ية‬ym
‫عندما‬‫تقدم‬‫لها‬‫كمدخالت‬.‫أي‬‫أن‬:
36
Mmwxsigny
Mmyx
ixwsigny
Mmniyx
mm
mm
n
j
mjijmi
jmjm
,...,2,1),(
,...,2,1,
.......................................................
)(
,..,2,1;,...2,1,
1
,,







Dr gafar zen alabdeen salh
(2011)

37. ‫حيث‬ymi‫هي‬‫العنصر‬i‫لمتجه‬‫المخرجات‬‫الفعلية‬ym‫و‬xmj
‫والعنصر‬j‫لمتجه‬‫المدخالت‬xm‫والصيغة‬‫الثانية‬‫توضح‬‫ذلك‬‫أيضا‬
‫ولكن‬‫في‬‫صورة‬‫مصفوفة‬.
‫نالحظ‬‫انه‬‫إذا‬‫حدث‬‫تذكر‬‫لكل‬‫الذاكرات‬‫األساسية‬‫بصورة‬‫كاملة‬‫في‬‫مكننا‬
‫أن‬‫نستمر‬‫بالخطوة‬‫التالية‬.
37
Dr gafar zen alabdeen salh
(2011)

38. ‫الخطوة‬‫الثالثة‬:‫االسترجاع‬
‫تقدم‬‫متجه‬‫في‬n‫بعد‬(‫مجس‬prob)x‫للشبكة‬،‫ونسترجع‬‫حالة‬
‫االستقرار‬‫تقليديا‬،‫ويمثل‬‫المجس‬‫صيغة‬‫تالفة‬‫او‬‫غير‬‫كاملة‬‫ل‬‫لذاكرة‬
‫األساسية‬،‫أي‬‫أن‬:
x≠ym m=1,2,…,M
(‫أ‬)‫تحدد‬‫القيم‬‫االبتدائية‬‫لخوارزم‬‫االسترجاع‬‫لشبكة‬‫هوبفيلد‬‫عن‬‫طريق‬
‫تحديد‬‫ما‬‫يلي‬:
xj(0) = xj j=1,2,…,n
38
Dr gafar zen alabdeen salh
(2011)

39. ‫عصبون‬ ‫لكل‬ ‫االبتدائية‬ ‫الحالة‬ ‫ونحسب‬
‫حيث‬xj(0)‫العنصر‬j‫المجس‬ ‫للمتجه‬x‫التكرار‬ ‫عند‬p=0،
yi(0)‫العصبون‬ ‫حالة‬i‫التكرار‬ ‫في‬p
‫التكرار‬ ‫عند‬ ‫الحالة‬ ‫متجه‬ ‫يمثل‬ ، ‫مصفوفة‬ ‫صورة‬ ‫وفي‬p=0‫يلي‬ ‫كما‬:
39
niixwsigny
n
j
jiji ,...,2,1)..,)0(()0(
1
 

))0(()0(  wxsigny
Dr gafar zen alabdeen salh
(2011)

40. (‫ب‬)‫نجدد‬‫عناصر‬‫متجه‬‫الحالة‬y(p)‫طبقا‬“‫للقاعدة‬‫التالية‬:
‫وتختار‬‫العصبونات‬‫للتجديد‬‫غير‬‫متزامنة‬،‫أي‬‫عشوائيا‬‫وعنص‬‫ر‬‫وراء‬
‫عنصر‬
‫نكرر‬‫التكرار‬‫حتى‬‫ال‬‫يتغير‬‫متجه‬‫الحالة‬،‫وبكلمات‬‫أخري‬‫تحق‬‫ق‬‫حالة‬
‫االستقرار‬.‫ويمكن‬‫تعريف‬‫شرط‬‫االستقرار‬‫كما‬‫يلي‬:
40
))(()1(
1
ipxwsignpy
n
j
jiji  
niipywsignpy
n
j
jiji ,...,2,1),)(()1(
1
 

Dr gafar zen alabdeen salh
(2011)

41. ‫او‬‫في‬‫صورة‬‫المصفوفة‬‫كما‬‫يلي‬:
‫وتتقارب‬‫شبكة‬‫هو‬‫بفيلد‬‫دائما‬‫حتي‬‫حالة‬‫االستقرار‬‫اذا‬‫حدث‬‫اس‬‫ترجاع‬
‫غير‬‫متزامن‬(‫هايكين‬1994)‫اال‬‫ان‬‫حالة‬‫االستقرار‬‫ال‬‫تمثل‬‫بالضرور‬‫ة‬
‫احدي‬‫الذاكرات‬‫االساسية‬.‫واذا‬‫كانت‬‫اساسية‬‫فليس‬‫من‬‫الضروري‬‫ا‬‫ن‬
‫تكون‬‫االقرب‬.
‫افرض‬،‫علي‬‫سبيل‬‫المثال‬‫اننا‬‫نريد‬‫تخزين‬‫ثالثة‬‫ذاكرات‬‫اساس‬‫ية‬‫في‬
‫شبكة‬‫هوبفيلد‬‫بها‬‫خمسة‬‫عصبونات‬
‫وهي‬:-
41
))(()1(  pwysignpy
Dr gafar zen alabdeen salh
(2011)

42.  X1=(+1,+1,+1,+1,+1)
 X1=(+1,-1,+1,-1,+1)
 X1=(-1,+1,+1,+1,-1)
‫يلي‬ ‫كما‬ ‫الوزن‬ ‫المعادلة‬ ‫من‬ ‫الوزن‬ ‫مصفوفة‬ ‫تبني‬:
42
MIyyw
M
m
T
mm  1
Dr gafar zen alabdeen salh
(2011)

43. ‫األساسية‬ ‫بالذاكرة‬ ‫المجس‬ ‫متجه‬ ‫أن‬ ‫بافتراض‬xi‫المتجهين‬ ‫هذين‬ ‫أن‬ ‫نجد‬ ‫فإننا‬
‫فقط‬ ‫صغيرة‬ ‫قطعة‬ ‫في‬ ‫يختلفان‬.‫يتقارب‬ ‫أن‬ ‫نتوقع‬ ‫أن‬ ‫يمكن‬ ‫لذلك‬‫المجس‬x
‫األساسية‬ ‫للذاكرة‬xi.‫شبكة‬ ‫تدريب‬ ‫خورازم‬ ‫نطبق‬ ‫عندما‬ ‫أننا‬ ‫ال‬‫هوبفيلد‬‫ا‬‫لذي‬
‫مختلفة‬ ‫نتيجة‬ ‫علي‬ ‫نحصل‬ ‫فإننا‬ ‫أعاله‬ ‫وصفه‬ ‫سبق‬.‫النمط‬ ‫فيتذكر‬‫أنتجته‬ ‫الذي‬
‫للذاكرة‬ ‫الشبكة‬x3.‫هذه‬ ‫حالتنا‬ ‫وفي‬ ‫صحيحة‬ ‫ذاكرة‬ ‫وهي‬.‫المثال‬ ‫هذا‬ ‫يكشف‬
‫هوبفيلد‬ ‫شبكة‬ ‫في‬ ‫المضمنة‬ ‫المشاكل‬ ‫احدي‬.
43






















01313
10131
31013
13101
31310
w
Dr gafar zen alabdeen salh
(2011)

44. ‫المشكلة‬‫االخري‬‫هي‬‫سعة‬‫الذاكرة‬storage capacity‫او‬‫اكبر‬
‫عدد‬‫من‬‫الذاكرات‬‫االساسية‬‫يمكن‬‫تخزينه‬،‫واستعادته‬‫بطريقة‬‫ص‬‫حيحة‬.
‫لقد‬‫بين‬‫هوبفيلد‬‫بالتجارب‬‫ان‬‫اقصي‬‫عدد‬‫ذاكرات‬‫اساسية‬‫يمكن‬‫تخزينه‬
‫في‬‫شبكة‬‫تكرار‬‫من‬n‫عصبون‬‫يكون‬‫مقيدا‬‫بالعالقة‬:
 Mmax =0.5n
‫ويمكننا‬‫ايضا‬”‫علي‬ ‫هوبفيلد‬ ‫لشبكة‬ ‫التخزين‬ ‫سعة‬ ‫تعريف‬‫اس‬‫اس‬‫ان‬
‫الذاكرات‬ ‫معظم‬‫االساسية‬‫كاملة‬ ‫بصورة‬ ‫تسترجع‬(‫اميت‬1989)
 Mmax =n/2ln n
44
Dr gafar zen alabdeen salh
(2011)

45. ‫الذاكرات‬ ‫كل‬ ‫السترجاع‬ ‫انه‬ ‫توضيح‬ ‫يمكن‬‫االساسية‬‫كامل‬ ‫بصورة‬‫يجب‬ ‫ة‬
‫عددها‬ ‫تقليل‬‫الي‬‫النصف‬
 Mmax =n/4ln n
‫يمكننا‬ ‫كما‬‫ان‬‫نري‬‫االن‬‫هوب‬ ‫شبكة‬ ‫تخزين‬ ‫بسعة‬ ‫االحتفاظ‬ ‫يجب‬ ،‫فيلد‬
‫الذاكرات‬ ‫استرجاع‬ ‫الممكن‬ ‫من‬ ‫تجعل‬ ‫لدرجة‬ ‫صغيرة‬‫االساسية‬.‫ويع‬‫د‬
‫هوبفيلد‬ ‫شبكة‬ ‫علي‬ ‫رئيسيا‬ ‫قيدا‬ ‫هذا‬.
‫التق‬ ‫المصاحبة‬ ‫من‬ ‫نوعا‬ ‫هوبفيلد‬ ‫شبكة‬ ‫تمثل‬ ، ‫المحدد‬ ‫وبالقول‬‫ائية‬
auto associataive‫للذاكرة‬.‫وبكلمات‬‫اخري‬‫يمكن‬ ،‫ان‬
، ‫تالفة‬ ‫ذاكرة‬ ‫هوبفيلد‬ ‫شبكة‬ ‫نسترجع‬‫او‬‫ي‬ ‫ال‬ ‫لكنها‬ ‫كاملة‬ ‫غير‬‫مكن‬‫ان‬
‫مختلفة‬ ‫بذاكرة‬ ‫تصاحبها‬‫اخري‬.
45
Dr gafar zen alabdeen salh
(2011)

46. The End.
Dr gafar zen alabdeen salh
(2011)
46