self organzing neural network

1. Dr gafar zen alabdeen salh (2011)
1
‫التنظيم‬ ‫ذاتية‬ ‫العصبية‬ ‫الشبكات‬
self-organzing neural network
‫إعداد‬:‫د‬.‫صالح‬ ‫العابدين‬ ‫ين‬‫ز‬ ‫جعفر‬
‫وتقانة‬ ‫الحاسوب‬ ‫علوم‬ ‫كلية‬ ‫النيلين‬ ‫جامعة‬
‫املعلومات‬

2. Dr gafar zen alabdeen salh (2011)
2
‫تكون‬‫الشبكات‬‫العصبية‬‫ذاتية‬‫التنظيم‬‫ف‬‫عالة‬‫في‬
‫التعامل‬‫مع‬‫الظروف‬‫غير‬‫المتوقعة‬،‫والمتغي‬‫رة‬
‫وفي‬‫هذا‬‫الجزء‬‫نتناول‬‫التعلم‬‫الهيبياني‬.‫والمبني‬
‫علي‬‫الشبكات‬‫ذاتية‬‫التنظيم‬

3. ‫الهيبياني‬ ‫التعلم‬
HABBIAN LEARNING
Dr gafar zen alabdeen salh (2011) 3
‫إعداد‬:‫د‬.‫صالح‬ ‫العابدين‬ ‫ين‬‫ز‬ ‫جعفر‬
‫املعلومات‬ ‫وتقانة‬ ‫الحاسوب‬ ‫علوم‬ ‫كلية‬ ‫النيلين‬ ‫جامعة‬

4. Dr gafar zen alabdeen salh
(2011)
4
‫في‬‫عام‬1949‫اقترح‬‫دونالد‬‫هيب‬donald hebb‫عالم‬
‫األعصاب‬‫النفسي‬‫احدي‬‫األفكار‬‫الرئيسية‬‫في‬‫الت‬‫علم‬
‫البيولوجي‬،‫والمعروفة‬‫بصورة‬‫اعتيادية‬‫قانون‬‫هي‬‫ب‬
(1949)‫يذكر‬‫قانون‬‫هيب‬‫انه‬‫إذا‬‫كان‬‫العصبون‬i‫قريبا‬
‫قربا‬‫كافيا‬‫من‬‫العصبون‬‫المثار‬j‫وتكرر‬‫مصاحبيته‬‫في‬
‫تنشيطه‬‫فتحدث‬‫تقوية‬‫لنقطة‬‫االشتباك‬‫بين‬‫هذي‬‫ن‬‫العصبونين‬
،‫ويصبح‬‫العصبون‬j‫اكثر‬‫حساسية‬‫للتنبيه‬‫من‬‫العص‬‫بون‬i

5. Dr gafar zen alabdeen salh (2011)
5
‫ويمكننا‬‫تمثيل‬‫قانون‬‫هيب‬‫من‬‫قاعدتين‬‫كما‬‫يلي‬(‫ست‬‫ينت‬
1973)
‫إذا‬‫حدث‬‫تنشيط‬‫لعصبونين‬‫علي‬‫أي‬‫جانب‬‫من‬‫ارتباطهم‬‫ا‬
‫متزامنين‬‫فيزداد‬‫عند‬‫ذلك‬‫وزن‬‫هذا‬‫االرتباط‬
‫إذا‬‫حدث‬‫تنشيط‬‫لعصبونين‬‫علي‬‫أي‬‫جانب‬‫من‬‫ارتباطهم‬‫ا‬‫غير‬
‫متزامنين‬‫فيقل‬‫عند‬‫ذلك‬‫وزن‬‫هذا‬‫االرتباط‬.

6. Dr gafar zen alabdeen salh (2011)
6
‫معلم‬ ‫دون‬ ‫للتعلم‬ ‫األساس‬ ‫هيب‬ ‫قانون‬ ‫ويقدم‬.‫ه‬ ‫التعلم‬ ‫فيكون‬‫ظاهرة‬ ‫نا‬
‫البيئة‬ ‫من‬ ‫مرتجعة‬ ‫تغذية‬ ‫دون‬ ‫تحدث‬ ‫محلية‬.‫ال‬ ‫الشكل‬ ‫وبين‬‫تعلم‬ ‫تالي‬
‫هيبيان‬‫عصبية‬ ‫شبكة‬ ‫في‬
‫المطبق‬ ‫الضبط‬ ‫عن‬ ‫التعبير‬ ‫يمكننا‬ ‫هيب‬ ‫قانون‬ ‫وباستخدام‬‫الوزن‬ ‫علي‬
wij‫التكرار‬ ‫عند‬p‫التالية‬ ‫الصورة‬ ‫في‬:
 ∆Wij(p)= F(yj(p) ×xj(p))
‫حيث‬F(yj(p) ×xj(p))‫دالة‬‫في‬‫كل‬‫من‬‫انشطة‬‫نقطة‬‫االشتباك‬
‫التالية‬‫والسابقة‬

7. Dr gafar zen alabdeen salh (2011)
7
‫وكحالة‬‫خاصة‬‫يمكننا‬‫تمثيل‬‫قانون‬‫هيب‬‫كما‬‫يلي‬(‫هايكين‬1994)
 ∆Wij(p)= α× yj(p) ×xi(p)
‫حيث‬α‫معلمة‬‫معدل‬‫التعلم‬LEARNING RATE
‫ويشار‬‫إلي‬‫هذه‬‫المعادلة‬‫علي‬‫أنها‬‫قاعدة‬‫ضرب‬‫النشاط‬activity
product rule‫وتبين‬‫كيف‬‫يرتبط‬‫التغير‬‫في‬‫وزن‬‫االشتب‬‫اك‬
‫المتصلة‬‫بين‬‫زوج‬‫من‬‫العصبون‬‫بحاصل‬‫ضرب‬‫اإلشارات‬‫الو‬‫اردة‬
‫واإلشارات‬‫الصادرة‬.

8. Dr gafar zen alabdeen salh (2011)
8
‫ويشمل‬‫التعلم‬‫الهيبياني‬‫ان‬‫االوزان‬‫يمكن‬‫ان‬‫تزداد‬‫فقط‬،‫وب‬‫كلمات‬
‫اخري‬،‫يسمح‬‫قانون‬‫هيب‬‫بزيادة‬‫قوة‬‫االرتباط‬،‫ولكنه‬‫ال‬‫يو‬‫فر‬
‫وسيلة‬‫لتقليل‬‫القوة‬.‫لذلك‬‫يمكن‬‫ان‬‫يقود‬‫التطبيق‬‫المتك‬‫رر‬‫الشارات‬
‫المدخالت‬‫الوزن‬wij‫الي‬‫التشبع‬.‫ولحل‬‫هذه‬‫المشكلة‬‫فيمكننا‬‫ا‬‫ن‬
‫نفرض‬‫حدا‬‫علي‬‫نمو‬‫اوزان‬‫نقاط‬‫االشتباك‬.‫ويمكن‬‫عمل‬‫ذلك‬‫ع‬‫ن‬
‫طريق‬‫تقديم‬‫معامل‬‫نسيان‬forgetting factor‫غير‬‫خطي‬‫في‬
‫قانون‬‫هيب‬‫في‬‫المعادلة‬‫السابقة‬‫علي‬‫النحو‬‫االتي‬:
 ∆Wij(p)= α× yj(p) ×xj(p) - φ× yj(p) ×Wij(p)
‫حيث‬φ‫النسيان‬ ‫معامل‬ ‫هو‬

9. ‫النسيان‬ ‫معامل‬ ‫يعنيه‬ ‫الذي‬ ‫ما‬
Dr gafar zen alabdeen salh (2011)
9
‫يحدد‬‫معامل‬‫النسيان‬φ‫تاكل‬‫الوزن‬‫في‬‫دورة‬‫تعلم‬‫فردية‬.‫وعادة‬‫مايقع‬
‫في‬‫فترة‬‫تتراوح‬‫من‬0،‫و‬1‫وتكون‬‫الشبكة‬‫العصبية‬‫قادرة‬‫علي‬‫تقوي‬‫ة‬
‫اوزان‬‫نقاط‬‫اشتباكها‬‫فقط‬،‫ونتيجه‬‫لذلك‬‫تنمو‬‫هذه‬‫االوزان‬‫تجاه‬‫ال‬‫النهاية‬
.‫ومن‬‫ناحية‬‫اخري‬،‫اذا‬‫كان‬‫معامل‬‫النسيان‬‫قريبا‬‫من‬1،‫تتذكر‬‫الشبكة‬
‫قليال‬“‫جدا‬“‫مما‬‫تتعلمه‬.‫ولذلك‬،‫يجب‬‫اختيار‬‫معامل‬‫النسيان‬‫ص‬‫غير‬
‫جدا‬“،‫تقليديا‬“‫تقع‬‫بين‬0.01‫و‬0.1‫ليسمح‬‫بنسيان‬‫قليل‬‫فقط‬‫أثناء‬‫تقييد‬
‫نمو‬‫الوزن‬.
‫يشار‬ ‫صورة‬ ‫في‬ ‫المعادلة‬ ‫كتابة‬ ‫ويمكن‬‫اليها‬‫بانها‬‫الن‬ ‫ضرب‬ ‫قاعدة‬‫شاط‬
‫المعمم‬generalized activity product rule
∆Wij(p)= φ yj(p)[λxj(p) - Wij(p)]
‫حيث‬λ=α/φ

10. Dr gafar zen alabdeen salh (2011)
10
‫وتشمل‬‫قاعدة‬‫ضرب‬‫النشاط‬‫المعمم‬‫انه‬،‫اذا‬‫كان‬‫نشاط‬‫نقطة‬‫االشتب‬‫اك‬
‫السابقة‬(‫مدخالت‬‫العصبون‬i)‫عند‬‫التكرار‬p،‫وتكون‬xi(p)‫اقل‬‫من‬
wij(p)/λ،‫وبعد‬‫ذلك‬‫يقل‬‫وزن‬‫نقطة‬‫االشتباك‬‫عن‬‫التكرار‬(p+1)‫وهو‬
wij(p+1)،‫وبكمية‬‫تتناسب‬‫مع‬‫نشاط‬‫نقطة‬‫االشتباك‬‫التالية‬
(‫المخرجات‬‫من‬‫العصبون‬j)‫عند‬‫التكرار‬p،‫وهو‬yj(p).‫ومن‬‫ناحيه‬
‫اخري‬،‫اذا‬‫كان‬xi(p)‫اكبر‬‫من‬wij(p)/λ،‫عند‬‫ذلك‬‫يزداد‬‫وزن‬
‫نقطة‬‫االشتباك‬‫عند‬‫التكرار‬(p+1)‫وهو‬wij(p+1)‫ايضا‬“‫باتناسب‬
‫مع‬‫مخرجات‬‫العصبون‬j،‫وهي‬yj(p)‫وبكلمات‬‫اخري‬،‫يمكننا‬‫تحديد‬
‫نقطة‬‫توازن‬‫النشاط‬activity balance point‫لتعديل‬‫وزن‬‫نقطة‬
‫االشتباك‬‫كمتغير‬‫يساوي‬wij(p)/λ.‫وتحل‬‫هذه‬‫الطريقة‬‫مشكلة‬‫الزيادة‬
‫الالنهائية‬‫ألوزان‬‫نقاط‬‫االشتباك‬.
‫واالن‬‫نستخلص‬‫خوارزمية‬‫التعلم‬‫الهيبياني‬‫المعممة‬:

11. ‫المعممة‬ ‫الهيبياني‬ ‫التعلم‬ ‫خوارزمية‬
Dr gafar zen alabdeen salh (2011)
11
‫الخطوة‬‫االولي‬:‫وضع‬‫القيم‬‫االبتدائية‬
‫حدد‬‫اوزان‬‫نقاط‬‫االشتباك‬،‫والعتبات‬‫االبتدائية‬‫بقيم‬‫عشو‬‫ائية‬
‫صغيرة‬،‫ولتكن‬‫في‬‫الفترة‬[0,1].‫حدد‬‫ايضا‬‫قيما‬‫موجبه‬‫صغيرة‬
‫لمعلمة‬‫معدل‬‫التعلم‬α،‫ومعامل‬‫النسيان‬φ.
‫الخطوة‬‫الثانية‬:‫التنشيط‬
‫احسب‬‫مخرجات‬‫العصبون‬‫عند‬‫التكرار‬p
‫حيث‬n‫عدد‬‫مدخالت‬‫العصبون‬،‫و‬θj‫قيمة‬‫العتبة‬‫للعصبون‬j


n
i
jijij pwpxpy
1
)()()( 

12. Dr gafar zen alabdeen salh (2011)
12
‫الخطوة‬‫الثالثة‬:‫التعلم‬
‫جدد‬‫األوزان‬‫في‬‫الشبكة‬:
 ∆Wij(p) = Wij(p)+ ∆Wij(p)
‫حيث‬∆Wij(p)‫تصحيح‬‫الوزن‬‫عند‬‫التكرار‬p
‫وتحدد‬‫تصحيح‬‫الوزن‬‫بواسطة‬‫قاعدة‬‫ضرب‬‫النشاط‬‫المعمم‬:
 ∆Wij(p)= φ yj(p)[λxj(p) - Wij(p)]
‫حيث‬λ=α/φ

13. Dr gafar zen alabdeen salh (2011)
13
‫الخطوة‬‫الرابعة‬:‫التكرار‬
‫أضف‬1‫إلي‬‫التكرار‬p،‫وارجع‬‫إلي‬‫الخطوة‬‫الثانية‬،‫واستمر‬
‫حتي‬‫تصل‬‫أوزان‬‫نقاط‬‫االشتباك‬‫إلي‬‫قيم‬‫حالتها‬‫المستقرة‬

14. Dr gafar zen alabdeen salh (2011)
14
‫وتوضيح‬‫التعلم‬‫الهيبياني‬،‫نتناول‬‫تغذية‬‫لألمام‬‫مرتبطة‬‫ببعضها‬
‫بعضا‬‫ارتباطا‬‫كامال‬“.‫ولها‬‫طبقة‬‫واحدة‬‫من‬‫خمسة‬‫عصبونات‬
‫للحساب‬‫كما‬‫بينه‬‫في‬‫الشكل‬‫التالي‬.‫يمثل‬‫كل‬‫عصبون‬‫ب‬‫نموج‬
‫ماكولوش‬‫وبيتس‬‫بدالة‬‫تنشيط‬‫االشارة‬.‫والشبكة‬‫مدربة‬‫بق‬‫اعدة‬
‫ضرب‬‫النشاط‬‫المعمم‬‫علي‬‫متجهات‬‫فئة‬‫المدخالت‬‫التالية‬

15. Dr gafar zen alabdeen salh (2011)
15

16. Dr gafar zen alabdeen salh (2011)
16
‫يتكون‬‫متجه‬‫المدخالت‬‫هنا‬x1‫متجها‬‫صفريا‬.‫وكما‬‫يمكنك‬‫ان‬
‫تالحظ‬‫أيضا‬“،‫تكون‬‫اشارت‬‫المدخالت‬x4(‫في‬‫المتجه‬x3)‫و‬
x3(‫في‬‫المتجه‬x4)‫مكونات‬‫الوحدة‬‫المناظرة‬‫للمتجهات‬‫فقط‬,
‫بينما‬‫تاتي‬‫اشاره‬‫الوحدة‬x2‫و‬x5‫دائما‬‫مع‬‫بعضهما‬‫البعض‬‫ما‬
‫يمكن‬‫رويته‬‫في‬‫المتجهات‬x2‫و‬x5.

17. Dr gafar zen alabdeen salh (2011)
17
‫وفي‬‫مثالنا‬،‫تمثل‬‫مصفوفة‬‫األوزان‬‫االبتدائية‬‫بمصفوف‬‫ة‬‫الوحدة‬I
‫وهي‬‫مصفوفة‬5*5‫لذلك‬،‫في‬‫الحالة‬‫االبتدائية‬‫يكون‬‫كل‬‫عصب‬‫ون‬
‫في‬‫طبقة‬‫المدخالت‬‫متصال‬‫بعصبون‬‫في‬‫نفس‬‫الموقع‬‫في‬‫ط‬‫بقة‬
‫المخرجات‬‫مع‬‫وزن‬‫نقطة‬‫اشتباك‬i،‫وبعصبونات‬‫اخري‬‫باالوزان‬
0.‫وتحدد‬‫العتبات‬‫بارقام‬‫عشوائية‬‫تقع‬‫في‬‫الفترة‬‫بين‬0‫و‬1.
‫وتخذ‬‫معلمة‬‫معدل‬‫التعلم‬α،‫ومعامل‬‫النسيان‬φ‫بانهما‬0.1‫و‬
0.02‫علي‬‫التوالي‬

18. Dr gafar zen alabdeen salh (2011)
18
‫وبعد‬‫التريب‬‫كما‬‫يمكنك‬‫ان‬‫تري‬‫في‬‫الشكل‬‫السابق‬‫تصب‬‫ح‬‫مصفوفة‬
‫االوزان‬‫مختلفة‬‫عن‬‫مصفوفة‬‫الوحدة‬‫االبتدائية‬i.‫لقد‬‫ازدات‬
‫االوزان‬‫بين‬‫العصبون‬2‫في‬‫طبقة‬‫المدخالت‬,‫والعصبون‬5‫في‬
‫طبقة‬‫المخرجات‬.‫وبين‬‫العصبون‬5‫في‬‫طبقة‬‫المدخالت‬‫و‬
‫العصبون‬2‫في‬‫طبقة‬‫المخرجات‬‫من‬0‫الي‬2.0204.‫وتعلمت‬
‫شبكتنا‬‫مصاحبات‬‫جديده‬.‫وفي‬‫نفس‬‫الوقت‬،‫اصبح‬‫الوزن‬‫بين‬
‫العصبون‬1‫في‬‫طبقة‬‫المدخالت‬‫والعصبون‬1‫في‬‫طبقة‬‫المخرجات‬
0.‫ونسيت‬‫الشبكة‬‫هذه‬‫المصاحبه‬

19. Dr gafar zen alabdeen salh (2011)
19
‫دعنا‬‫نختبر‬‫االن‬‫شبكتنا‬.‫يعرف‬‫متجه‬‫االختبار‬،‫او‬‫المجس‬،‫كما‬
‫يلي‬:

‫عند‬‫تقديم‬‫هذا‬‫المجس‬‫للشبكة‬‫فإننا‬‫نحصل‬‫علي‬‫األتي‬:

















1
0
0
0
1
x

20. Dr gafar zen alabdeen salh (2011)
20



















































1
0
0
1
0
0737.0
9478.0
0907.0
2661.0
4940.0
1
0
0
0
1
0204.2000204.20
09996.0000
000200.100
0204.2000204.20
00000
signy
)(  wxsigny

21. Dr gafar zen alabdeen salh (2011)
21
‫بالتأكيد‬‫الكافي‬،‫للشبكة‬‫المدخالت‬‫المصاحبة‬x5‫مع‬‫المخرجات‬y2
‫و‬y5‫الن‬‫المدخالت‬x2‫و‬x5‫كانت‬‫مزدوجة‬‫اثناء‬‫التدريب‬.‫اال‬
‫ان‬‫الشبكة‬‫ال‬‫يمكنها‬‫ان‬‫تصاحب‬‫المدخالت‬x1‫مع‬‫المخرجات‬y1
‫بعد‬‫ذلك‬‫الن‬‫مدخالت‬‫الوحدة‬x1‫ال‬‫تظهر‬‫اثناء‬‫التدريب‬،‫وفقدت‬
‫شبكتنا‬‫المقدرة‬‫علي‬‫تميزها‬.
‫لذلك‬،‫يمكن‬‫ان‬‫تتعلم‬‫الشبكة‬‫العصبية‬‫فعال‬‫ان‬‫تصاحب‬‫التنبيه‬
‫المقدم‬‫مشتركا‬‫مع‬‫بعضه‬‫بعضا‬،‫واألكثر‬‫أهميه‬‫هو‬‫أن‬‫الشبك‬‫ة‬‫يمكن‬
‫أن‬‫تتعلم‬‫دون‬‫معلم‬

22. Dr gafar zen alabdeen salh (2011)
22
‫النهاية‬