Multilayer neural networks

1. 1
‫إعداد‬:‫د‬.‫صالح‬ ‫العابدين‬ ‫ين‬‫ز‬ ‫جعفر‬
‫املعلومات‬ ‫وتقانة‬ ‫الحاسوب‬ ‫علوم‬ ‫كلية‬ ‫النيلين‬ ‫جامعة‬
Dr gafar zen alabdeen salh (2011)

2. ”‫يستطيع‬‫المدرك‬‫البسيط‬‫ان‬‫يتعلم‬‫العملية‬or.‫اال‬‫ان‬
‫المدرك‬‫من‬‫طبقة‬‫واحدة‬‫ال‬‫يستطيع‬‫ان‬‫يتدرب‬‫علي‬‫ت‬‫نفيذ‬
or‫المانعة‬.
‫ولو‬‫انتبهنا‬‫من‬‫خالل‬‫الرسم‬‫التالي‬‫نجد‬‫ان‬‫هناك‬‫تص‬‫نيفات‬
0,1‫الثنين‬‫من‬‫المدخالت‬،‫حيث‬‫تكون‬‫مخرجات‬‫الدالة‬1
‫بالنقاط‬‫السوداء‬,‫وتحدد‬‫النقاط‬‫التي‬‫تكون‬‫مخرجات‬‫ها‬0
‫بالنقاط‬‫البيضاء‬
Dr gafar zen alabdeen salh
(2011)
2

3. 3Dr gafar zen alabdeen salh (2011)

4. ‫في‬‫الشكل‬‫يمكننا‬‫ان‬‫نرسم‬‫خطا‬‫بحيث‬‫تقع‬‫النقاط‬‫الس‬‫وداء‬‫في‬
‫احد‬‫جانبيه‬،‫والنقاط‬‫البيضاء‬‫في‬‫الجانب‬‫االخر‬،‫اال‬‫ال‬‫نقط‬
‫المبينة‬‫في‬‫الشكل‬‫االخر‬‫ليست‬‫منفصلة‬‫بخط‬‫واحد‬،‫و‬‫يستطيع‬
‫المدرك‬‫ان‬‫يمثل‬‫الدالة‬‫اذا‬‫كان‬‫هناك‬‫خط‬‫معين‬‫يفصل‬‫كل‬
‫النقاط‬‫السوداء‬‫عن‬‫النقاط‬‫البيضاء‬‫وتسمي‬‫مثل‬‫هذه‬‫الد‬‫وال‬
‫مفصولة‬‫خطيا‬‫او‬‫معزولة‬‫خطيا‬linear separable
Dr gafar zen alabdeen salh
(2011)
4

5. 5Dr gafar zen alabdeen salh (2011)

6. ‫تأتي‬‫الحقيقة‬‫أن‬‫المدرك‬‫يمكنه‬‫تعلم‬‫الدوال‬‫المفصول‬‫ة‬‫خطيا‬.
‫خذ‬‫المعادلة‬
x1w1+x2w2=θ
0.1x1+0.1x2=0.2
x1+x2=2
x1+x2-2<0(‫تكون‬‫المخرجات‬0)
x1+x2-2>=0(‫تكون‬‫المخرجات‬1)
6Dr gafar zen alabdeen salh (2011)

7. ‫تتخذ‬‫المدركات‬‫احادية‬‫الطبقة‬‫القرارات‬‫بنفس‬‫الطريق‬‫ة‬‫بغض‬
‫النظر‬‫عن‬‫دالة‬‫التنشيط‬‫التي‬‫يستخدمها‬‫المدرك‬(‫شينك‬
1990،‫وشينك‬‫وبرشاد‬1992)‫ويعني‬‫هذا‬‫أن‬‫مدرك‬‫الطبقة‬
‫الواحدة‬‫يستطيع‬‫تصنيف‬‫أنماط‬‫مفصولة‬‫خطيا‬‫فقط‬‫ب‬‫غض‬
‫النظر‬‫عما‬‫إذا‬‫كنا‬‫نستخدم‬‫دالة‬‫تنشيط‬‫حد‬‫صلب‬‫أو‬‫حد‬‫ل‬‫ين‬
7Dr gafar zen alabdeen salh (2011)

8. ‫نحتاج‬‫إلي‬‫شبكات‬‫عصبية‬‫متعددة‬‫الطبقات‬.‫وفي‬‫الح‬‫قيقة‬،‫أن‬
‫التاريخ‬‫اثبت‬‫انه‬‫يمكن‬‫التغلب‬‫علي‬‫القيود‬‫علي‬‫مدرك‬
‫روزينبالت‬‫بواسطة‬‫صيغ‬‫متقدمة‬‫في‬‫الشبكات‬‫العص‬‫بية‬،
‫مثال‬‫ذلك‬‫المدركات‬‫متعددة‬‫الطبقات‬‫المدربة‬‫بخوارزمية‬
‫االنتشار‬‫للخلف‬
8Dr gafar zen alabdeen salh (2011)

9. ‫المدرك‬‫متعدد‬‫الطبقات‬‫هو‬‫شبكة‬‫عصبية‬‫أمامية‬‫التغذي‬‫ة‬‫بها‬
‫طبقة‬‫واحدة‬،‫أو‬‫أكثر‬‫مخبأة‬.‫وتقليديا‬،‫تتكون‬‫الشب‬‫كة‬‫من‬
‫طبقة‬‫مدخالت‬Input layer‫لعصبونات‬‫المصدر‬،‫وطبقة‬
‫مخبأة‬hidden layer‫أو‬‫طبقة‬‫متوسطة‬‫واحدة‬‫علي‬‫األقل‬
‫للعصبونات‬‫الحسابية‬،‫وطبقة‬‫مخرجات‬output layer
‫للعصبونات‬‫الحسابية‬.‫تنتشر‬‫إشارات‬‫المدخالت‬‫في‬‫االتجاه‬
‫األمامي‬‫علي‬‫أساس‬‫من‬‫طبقة‬‫لطبقة‬.‫والشكل‬‫يوضح‬‫مدر‬‫ك‬
‫بطبقتين‬‫مخبأتين‬
9Dr gafar zen alabdeen salh (2011)

10. 10Dr gafar zen alabdeen salh (2011)

11. ‫لكل‬‫طبقة‬‫في‬‫الشبكة‬‫العصبية‬‫متعددة‬‫الطبقات‬‫وظي‬‫فتها‬
‫المحددة‬‫لها‬.‫فتقبل‬‫طبقة‬‫المدخالت‬‫إشارات‬‫المدخالت‬‫من‬
‫العالم‬‫الخارجي‬،‫وتعيد‬‫توزيع‬‫هذه‬‫اإلشارات‬‫علي‬‫كل‬
‫العصبونات‬‫الموجودة‬‫في‬‫الطبقة‬‫المخبأة‬.‫وفعليا‬،‫ن‬‫ادرا‬‫ما‬
‫تشمل‬‫طبقة‬‫المدخالت‬‫عصبونات‬‫إلجراء‬‫الحسابات‬،
‫وبالتالي‬‫فهي‬‫ال‬‫تجري‬‫تشغيال‬“‫ألنماط‬‫المدخالت‬،‫وت‬‫قبل‬
‫طبقة‬‫المدخالت‬‫إشارات‬‫ألنماط‬‫المدخالت‬.‫وتقبل‬‫طبقة‬
‫المخرجات‬‫إشارات‬‫مخرجات‬.‫أو‬‫بكلمات‬‫أخري‬‫أنماط‬‫تنبي‬‫ه‬
،‫من‬‫الطبقة‬‫المخبأة‬‫وتتحدد‬‫أنماط‬‫المخرجات‬‫للشبكة‬‫ك‬‫لها‬.
11Dr gafar zen alabdeen salh (2011)

12. ‫تخفي‬‫الطبقة‬‫المخبأة‬‫المخرجات‬‫المرغوب‬‫فيها‬.‫وال‬‫يم‬‫كن‬
‫مالحظة‬‫العصبونات‬‫الموجودة‬‫في‬‫الطبقة‬‫المخبأة‬‫من‬‫خال‬‫ل‬
‫سلوك‬‫مدخالت‬/‫مخرجات‬‫الشبكة‬.‫فال‬‫توجد‬‫أي‬‫طريقة‬
‫واضحة‬‫تعرف‬‫ما‬‫يجب‬‫أن‬‫تكون‬‫عليه‬‫المخرجات‬‫المرغوب‬
‫فيها‬‫للطبقة‬‫المخبأة‬.‫بكلمات‬‫أخري‬،‫تحدد‬‫المخرجات‬
‫المرغوب‬‫فيها‬‫للطبقة‬‫المخبأة‬‫بواسطة‬‫الطبقة‬‫نفسها‬
12Dr gafar zen alabdeen salh (2011)

13. ‫تستخدم‬‫شبكات‬ANN‫التجارية‬‫ثالث‬‫طبقات‬،‫وفي‬‫بعض‬
‫األحيان‬‫أربع‬‫طبقات‬‫بما‬‫في‬‫ذلك‬‫طبقة‬‫واحدة‬‫مخبأة‬،‫أو‬
‫طبقتين‬‫مخبأتين‬.‫يمكن‬‫أن‬‫تحتوي‬‫كل‬‫طبقة‬‫علي‬10‫إلي‬
1000‫عصبون‬.‫ويمكن‬‫للشبكات‬‫العصبية‬‫التجريب‬‫ية‬‫خمس‬
‫أو‬‫ست‬‫طبقات‬‫بما‬‫في‬‫ذلك‬3‫او‬4‫مخبأة‬.‫وتستغل‬‫ماليين‬‫من‬
‫العصبونات‬،‫إال‬‫أن‬‫التطبيقات‬‫العلمية‬‫أكثر‬‫تستخ‬‫دم‬‫ثالث‬
‫طبقات‬‫فقط‬‫بسبب‬‫الزيادة‬‫اآلسية‬‫لعب‬‫الحسابات‬‫الم‬‫صاحبة‬
‫لزيادة‬‫كل‬‫طبقة‬
13Dr gafar zen alabdeen salh (2011)

14. ‫يتاح‬‫حاليا‬‫أكثر‬‫من‬‫مائة‬‫خوارزم‬‫تعلم‬‫مختلفة‬،‫إال‬‫أن‬‫الطر‬‫يقة‬
‫األكثر‬‫شيوعا‬‫هي‬‫االنتشار‬‫للخلف‬.‫قد‬‫كان‬‫أول‬‫اقتراح‬‫هذه‬
‫الطريقة‬‫بريسون‬‫وهو‬(Brson and ho 1969)‫إال‬‫أنها‬
‫أهملت‬‫بسبب‬‫متطلباتها‬‫الكبيرة‬‫للحسابات‬.‫وفي‬‫منتص‬‫ف‬
‫الثمانينيات‬‫من‬‫القرن‬‫العشرين‬‫فقط‬‫اعيد‬‫اكتشاف‬‫خوارز‬‫م‬‫تعلم‬
‫االنتشار‬‫للخلف‬.
‫يستمر‬‫التعلم‬‫بنفس‬‫طريقة‬‫المدرك‬.‫بحيث‬‫يتم‬‫ضبط‬‫ا‬‫ألوزان‬.
‫بناء‬‫علي‬‫الخطأ‬.‫ولكن‬‫في‬‫المدرك‬‫كان‬‫هناك‬‫وزن‬‫واحد‬‫فقط‬‫ل‬‫كل‬
‫مدخل‬،‫ولكل‬‫مخرج‬‫من‬‫المخرجات‬.‫أما‬‫هنا‬‫فيوجد‬‫الكثير‬‫من‬
‫األوزان‬،‫ويساهم‬‫كل‬‫وزن‬‫منها‬‫في‬‫أكثر‬‫من‬‫مخرج‬‫واحد‬.
14Dr gafar zen alabdeen salh (2011)

15. ‫في‬‫شبكة‬‫االنتشار‬‫للخلف‬‫يكون‬‫لخوارزم‬‫التعلم‬‫مرحلت‬‫ين‬‫أيضا‬.
‫أوال‬‫يقدم‬‫نمط‬‫مدخالت‬‫التدريب‬‫إلي‬‫طبقة‬‫مدخالت‬‫الشبكة‬.
‫وتنتشر‬‫الشبكة‬‫بعد‬‫ذلك‬‫المدخالت‬‫من‬‫طبقة‬‫إلي‬‫طبقة‬‫حت‬‫ى‬‫تنتج‬
‫المخرجات‬‫المرغوب‬‫فيها‬‫فيحسب‬،‫الخطأ‬‫وينشر‬‫بعد‬‫ذلك‬‫ل‬‫لخلف‬
‫عبر‬‫الشبكة‬‫من‬‫طبقة‬‫المخرجات‬‫إلي‬‫طبقة‬‫المدخالت‬.‫ويتم‬
‫تعديل‬‫األوزان‬‫بسبب‬‫انتشار‬‫الخطأ‬.
‫وكما‬‫هو‬‫الحال‬‫مع‬‫الشبكة‬‫العصبية‬‫االخري‬‫يتحدد‬‫االنتشار‬
‫للخلف‬‫بواسطة‬‫االرتباطات‬‫بين‬‫العصبونات‬(‫معمارية‬‫الش‬‫بكة‬)،
‫ودالة‬‫التنشيط‬‫التي‬‫تستخدمها‬‫العصبونات‬،‫وخوارزم‬‫الت‬‫علم‬(‫أو‬
‫قانون‬‫التعلم‬)‫الذي‬‫يحدد‬‫إجراء‬‫ضبط‬‫األوزان‬.
15Dr gafar zen alabdeen salh (2011)

16. ‫وتقليديا‬،‫تكون‬‫شبكة‬‫االنتشار‬‫للخلف‬‫شبكة‬‫متعددة‬‫الطب‬‫قات‬‫لها‬‫ثالث‬
‫أو‬‫أربع‬‫طبقات‬.‫وتكون‬‫الطبقات‬‫كاملة‬‫االتصال‬full connected
،‫أي‬‫أن‬‫كل‬‫عصبون‬‫في‬‫كل‬‫طبقة‬‫يتصل‬‫بكل‬‫عصبون‬‫آخر‬‫في‬‫الطبقة‬
‫المجاورة‬‫له‬‫لإلمام‬.‫ويحدد‬‫العصبون‬‫مخرجاته‬‫بطرقة‬‫روزينبالت‬،
‫يحسب‬‫صافي‬‫المدخالت‬‫الموزونة‬:

16
xe
y
n
i
iwixX





1
1
1

Dr gafar zen alabdeen salh (2011)

17. ‫تنتشر‬‫إشارات‬‫المدخالت‬x1,x2,x3,…,xn‫خالل‬‫الشبكة‬‫من‬
‫اليسار‬‫إلي‬‫اليمين‬،‫وتنتشر‬‫إشارات‬‫الخطأ‬e1,e2,…,e3‫من‬
‫اليمين‬‫إلي‬‫اليسار‬.‫ويرمز‬‫إلي‬wij‫إلي‬‫وزن‬‫االرتباط‬‫بين‬
‫العصبون‬i‫في‬‫طبقة‬‫المدخالت‬‫والعصبون‬j‫في‬‫الطبقة‬‫المخبأة‬,
‫والرمز‬wjk‫للوزن‬‫بين‬‫العصبون‬j‫في‬‫الطبقة‬‫المخبأة‬،
‫والعصبون‬k‫في‬‫طبقة‬‫المخرجات‬.
‫وفي‬‫انتشار‬‫شارات‬‫الخطأ‬،‫نبدأ‬‫عند‬‫طبقة‬‫المخرجات‬،‫ونع‬‫مل‬
‫للخلف‬‫إلي‬‫الطبقة‬‫المخبأة‬.‫وتعرف‬‫إشارة‬‫الخطأ‬‫عند‬‫مخرجا‬‫ت‬
‫العصبون‬k‫في‬‫التكرار‬p‫كما‬‫يلي‬:
ek(p) = Ydk(p) –Yk(p) where p=1,2,3,…
17Dr gafar zen alabdeen salh (2011)

18. ‫وتجديد‬‫الوزن‬‫يكون‬‫علي‬‫النحو‬‫التالي‬:
Wjk (p+1)= wjk(p) +∆Wjk (p)
∆Wjk (p)= α×yj(p) ×δk(p)
‫حيث‬δk(p)‫العصبون‬ ‫عند‬ ‫الخطأ‬ ‫انحدار‬ ‫أو‬ ‫ميل‬k‫طبقة‬ ‫في‬
‫التكرار‬ ‫عند‬ ‫المخرجات‬p
‫الميل‬ ‫هو‬ ‫ما‬:
‫انحدار‬ ‫يتحدد‬‫او‬‫الخطأ‬ ‫ميل‬‫بانه‬‫دالة‬ ‫مشتقة‬‫اس‬‫التنشيط‬f
‫العصبون‬ ‫مخرجات‬ ‫عند‬ ‫الخطأ‬ ‫في‬ ‫مضروبة‬.‫ع‬ ‫نحصل‬ ‫لذلك‬‫لي‬
‫مايلي‬‫للعصبون‬k‫المخرجات‬ ‫طبقة‬ ‫في‬:
 δk(p)= F '[XK(P)] × ek(p)
‫حيث‬XK(P)‫للعصبون‬ ‫الموزونة‬ ‫المدخالت‬ ‫صافي‬k‫التكرار‬ ‫في‬
p
18Dr gafar zen alabdeen salh (2011)

19. 19Dr gafar zen alabdeen salh (2011)

20. ‫حيث‬m‫عدد‬‫العصبونات‬‫في‬‫الطبقة‬‫المخبأة‬‫لذلك‬‫يمك‬‫ن‬‫كتابة‬
‫المعالة‬‫الخطأ‬‫علي‬‫النحو‬‫التالي‬:δk(p)= yk(p)×[1-
yk(p)] × ek(p)
20
k
m
i
pikwpikxp
k
X 


1
)()()(
)(
1
1
)(
pkx
e
p
k
y



Dr gafar zen alabdeen salh (2011)

21. ‫يمكننا‬ ‫المخبأة‬ ‫للطبقة‬ ‫الوزن‬ ‫تصحيح‬ ‫لحساب‬‫تطبي‬‫قة‬‫نفس‬
‫المخرجات‬ ‫لطبقة‬ ‫المعادلة‬:
Wij (p+1)= Wij (p) +∆ Wij (p)
∆ Wij (p) = α×Xi(p) ×δj(p)
‫حيث‬‫تمثل‬δj(p)‫ميل‬‫او‬‫انحدار‬‫الخطأ‬‫عند‬‫العصبون‬j‫في‬
‫الطبقة‬‫المخبأة‬:
‫حيث‬I‫عدد‬‫العصبونات‬‫في‬‫طبقة‬‫المخرجات‬
21


I
k
jkkjjj pwppypyp
1
)()()](1[)()( 
Dr gafar zen alabdeen salh (2011)

22. n‫المدخالت‬ ‫طبقة‬ ‫في‬ ‫العصبونات‬ ‫عدد‬
‫للخلف‬ ‫االنتشار‬ ‫تدريب‬ ‫خوارزمية‬ ‫أالن‬ ‫ونستخلص‬
22
)(
1
1
)(
pjx
e
p
j
y



j
n
i
pijwpixp
j
X 


1
)()()(
Dr gafar zen alabdeen salh (2011)

23. ‫الخطوة‬‫االولي‬:‫وضع‬‫القيم‬‫االبتدائية‬
‫تحديد‬‫األوزان‬،‫االبتدائية‬‫بتوزيع‬‫منتظم‬‫لألرقام‬‫العشوائية‬‫داخل‬‫مدي‬‫صغي‬‫ر‬‫أي‬‫تقع‬‫في‬
‫المدى‬[-2.4/Fi, 2.4/Fi]
‫حيث‬Fi‫إجمالي‬‫عدد‬‫المدخالت‬‫للعصبون‬i‫في‬‫الشبكة‬.‫ويحدث‬‫تحديد‬‫القيم‬‫االبتدائ‬‫ية‬
‫لألوزان‬‫علي‬‫أساس‬‫عصبون‬‫بعد‬‫عصبون‬.
‫الخطوة‬‫الثانية‬:‫التنشيط‬
‫تنشيط‬‫االنتشار‬‫للخلف‬‫للشبكة‬‫العصبية‬‫عن‬‫طريق‬‫تطبيق‬‫المدخالت‬
x1(p),x2(p),…xn(p)،
‫والمخرجات‬‫المرغوب‬‫فيها‬Yd,1(p) , Yd,2(p) ,….,Yd,n(p)
‫وحساب‬‫المخرجات‬‫الفعلية‬‫للعصبونات‬‫في‬‫الطبقة‬‫المخبأة‬:
‫حيث‬n‫مدخالت‬‫للعصبون‬j‫في‬‫الطبقة‬‫المخبأة‬،‫و‬sigmoid‫دالة‬‫تنشيط‬‫االس‬
23











n
i
jpijwpixsigmoidp
j
y
1
)()()( 
Dr gafar zen alabdeen salh
(2011)

24. ‫وحساب‬‫المخرجات‬‫الفعلية‬‫للعصبونات‬‫في‬‫الطبقة‬
‫المخرجات‬:
‫حيث‬m‫مدخالت‬‫للعصبون‬k‫في‬‫طبقة‬‫المخرجات‬،
‫و‬sigmoid‫دالة‬‫تنشيط‬‫االس‬
24











m
i
kpjkwpjkxsigmoidp
k
y
1
)()()( 
Dr gafar zen alabdeen salh (2011)

25. ‫الخطوة‬‫الثالثة‬:‫تدريب‬‫األوزان‬:‫تجديد‬‫أوزان‬‫في‬‫شبكة‬‫االنتشار‬‫للخلف‬‫عن‬‫طريق‬‫نشر‬‫األخطاء‬‫المص‬‫احبة‬
‫لعصبونات‬‫المخرجات‬‫للخلف‬
‫حساب‬‫ميل‬‫او‬‫انحدار‬‫الخطأ‬‫للعصبونات‬‫في‬‫طبقة‬‫المخرجات‬
δk(p)= yk(p)×[1-yk(p)] × ek(p)
‫حيث‬:
ek(p) = Ydk(p) –Yk(p) where p=1,2,3,…
‫وحساب‬‫تصحيح‬‫االوزان‬:
Wjk (p+1)= wjk(p) +∆Wjk (p)
∆Wjk (p)= α×yj(p) ×δk(p)
‫وتجديد‬‫االوزان‬‫عند‬‫عصبونات‬‫المخرجات‬:
Wjk (p+1)= wjk(p) + α×yj(p) ×δk(p)
‫حساب‬‫ميل‬‫او‬‫انحدار‬‫الخطأ‬‫للعصبونات‬‫في‬‫الطبقة‬‫المخبأة‬:

Wij (p+1)= Wij (p) +∆ Wij (p)
∆ Wij (p) = α×Xi(p) ×δj(p)
‫الخطوة‬‫الرابعة‬:‫التكرار‬
‫زيادة‬‫التكرار‬p‫بمقدار‬‫واحد‬‫صحيح‬،‫والعودة‬‫الي‬‫الخطوة‬‫الثانية‬،‫وتكرار‬‫العملية‬‫حتي‬‫يتحقق‬‫مع‬‫يار‬‫الخطأ‬
‫المختار‬
25
Dr gafar zen alabdeen salh
(2011)


I
k
jkkjjj pwppypyp
1
)()()](1[)()( 

26. ‫مثال‬:‫نتناول‬‫شبكة‬‫االنتشار‬‫للخلف‬‫من‬‫ثالثة‬‫طبقات‬‫المبينة‬‫في‬‫الش‬‫كل‬‫التالي‬.
‫افرض‬‫أن‬‫الشبكة‬‫مطلوب‬‫منها‬‫تنفيذ‬‫العملية‬OR‫المانعة‬.‫تذكر‬‫أن‬‫مدرك‬‫الطبقة‬
‫الواحدة‬‫ال‬‫يمكنه‬‫تأدية‬‫هذه‬‫العملية‬.‫ونطبق‬‫أالن‬‫شبكة‬‫بثالثة‬‫طبقات‬.
‫يقبل‬‫العصبون‬1،2‫في‬‫طبقة‬‫المدخالت‬‫المدخلين‬X1,X2‫علي‬‫التوالي‬‫ويعيدا‬
‫توزيع‬‫هذه‬‫المدخالت‬‫علي‬‫العصبونات‬‫في‬‫الطبقة‬‫المخبأة‬‫دون‬‫تشغيل‬:
 X13=X14=X AND X23=X24=X2
26Dr gafar zen alabdeen salh (2011)

27. ‫ويكون‬‫تاثير‬‫تطبيق‬‫العتبه‬‫علي‬‫العصبون‬‫في‬‫الط‬‫بقة‬‫المخبأة‬،
‫او‬‫طبقة‬‫المخرجات‬‫ممثال‬“‫بوزنه‬θ،‫متصال‬‫بمدخالت‬‫ثابته‬
‫تساوي‬1-.
‫وتحدد‬‫األوزان‬‫االبتدائية‬،‫ومستويات‬‫العتبة‬‫عشوائي‬‫ا‬‫كما‬‫يلي‬
:
W13=0.5 , W14=0.9 , W23=0.4 , W24=1.0 ,
W45=1.1 , θ3=0.8 , θ4=-0.1 AND θ5=0.3
27Dr gafar zen alabdeen salh (2011)

28. ‫لنتناول‬‫فئة‬‫تدريب‬‫حيث‬X1,X2‫يساويا‬1،‫والمخرجات‬‫المرغوب‬
‫فيها‬Yd,5‫تساوي‬0‫وتحسب‬‫المخرجات‬‫الفعلية‬‫للعصبونات‬3‫و‬4‫في‬
‫الطبقة‬‫المخبأة‬‫كما‬‫يلي‬:
 Y3=sigmoid(x1*w13+x2*w23-θ3)
 1/[1+e-(1*0.5+1*0.4-1*0.8)]=0.5250
 Y4=sigmoid(x1*w14+x2*w24-θ4)
 1/[1+e-(1*0.9+1*1.0+1*0.1)]=0.8808
‫واالن‬‫للعصبون‬ ‫الفعلية‬ ‫المخرجات‬ ‫تتحدد‬5‫المخرجات‬ ‫طبقة‬ ‫في‬:
 Y5=sigmoid(y3*w35+y4*w45-θ5)
 1/[1+e-(-0.5250*1.2+0.8808*1.1-1*0.3)]=0.5097
28Dr gafar zen alabdeen salh (2011)

29.  e= yd,5 –y5 =0-0.5097=-0.5097
‫تدريب‬ ‫التالية‬ ‫الخطوة‬ ‫وتكون‬‫االوزان‬.‫لتجديد‬‫االوزان‬،
‫شبكتنا‬ ‫في‬ ‫العتبة‬ ‫ومستويات‬‫فاننا‬‫الخطأ‬ ‫ننشر‬e‫طبقة‬ ‫من‬
‫للخلف‬ ‫المخرجات‬‫الي‬‫طبقة‬‫المدخالت‬.
‫اوال‬“‫ميل‬ ‫نحسب‬ ،‫او‬‫للعصبون‬ ‫الخطأ‬ ‫انحدار‬5‫طبقة‬ ‫في‬
‫المخرجات‬:
 δ5= y5×[1-y5] × e=0.5097*(1-0.5097)*(-0.5097)=-0.1274
‫بافتراض‬ ‫الوزن‬ ‫تصحيحات‬ ‫ذلك‬ ‫بعد‬ ‫نحدد‬ ‫ثم‬‫ان‬‫م‬ ‫معلمة‬‫عدل‬
‫التعلم‬α=0.1
29Dr gafar zen alabdeen salh (2011)

30. ‫للعصبون‬ ‫الخطأ‬ ‫انحدارات‬ ‫أو‬ ‫ميول‬ ‫ذلك‬ ‫بعد‬ ‫نحسب‬3,4‫في‬
‫المخبأة‬ ‫الطبقة‬:
 δ3= y3×[1-y3] × δ5×w35 =0.5250*(1-0.5250)*(-0.1274)*(-
1.2)=0.0381
 δ4= y4×[1-y4] × δ5×w45 =0.8808*(1- 0.8808)*(-0.1274)*1.1=-
0.0147
‫األوزان‬ ‫تصحيحات‬ ‫ذلك‬ ‫بعد‬ ‫نحدد‬:
30Dr gafar zen alabdeen salh (2011)

31.  ∆ W13= α×X1×δ3 = 0.1×1×0.038=0.0038
 ∆ W23= α×X2×δ3 = 0.1×1×0.038=0.0038
 ∆ θ3= α×(-1)×δ3 = 0.1×(-1) ×0.038=-0.0038
 ∆ W14= α×X1×δ4 = 0.1×1×(-0.0147)=-0.0015
 ∆ W24= α×X2×δ4 =0.1×1×(-0.0147)=-0.0015
 ∆ θ4= α×(-1)×δ4=0.1×(-1)×(-0.0147)=0.0015
31Dr gafar zen alabdeen salh (2011)

32. ‫واخيرا‬“‫نجدد‬‫كل‬‫االوزان‬،‫ومستويات‬‫العتبه‬‫في‬‫شبك‬‫تنا‬:
 W13= W13 +∆ W13 = 0.5+0.0038=0.5038
 W14= W14 +∆ W14 = 0.9-0.0015=0.8985
 W23= W23 +∆ W23 = 0.4+0.0038=0.4038
 W24= W24 +∆ W24 = 1.0-0.0015=0.9985
 W35= W35 +∆ W35 = -1.2-0.0067=-0.2067
 W45= W45 +∆ W45 = 1.1-0.0112=1.0888
 θ3= θ3 +∆ θ3 = 0.8-0.0038=0.7962
 θ4= θ4 +∆ θ4 = -0.1+0.0015=-0.0985
 θ5= θ5 +∆ θ5 = 0.3+0.0127=0.3127
32Dr gafar zen alabdeen salh (2011)

33. ‫ونكرر‬‫عملية‬‫التدريب‬‫حني‬‫يصبح‬‫حاصل‬‫جمع‬‫مربعات‬‫األخطاء‬‫اق‬‫ل‬
‫من‬0.001.
‫لماذا‬‫نحتاج‬‫إلي‬‫أخطاء‬‫مربعة‬‫؟‬
‫يكون‬‫حاصل‬‫جمع‬‫األخطاء‬‫المربعة‬‫محددا‬“‫ومفيدا‬‫الداء‬‫الشبكة‬.
‫فيحاول‬‫خوارزم‬‫تدريب‬‫االنتشار‬‫للخلف‬‫ان‬‫يقلل‬‫هذا‬‫المعيار‬.‫وع‬‫ندما‬
‫يصبح‬‫حاصل‬‫جمع‬‫االخطاء‬‫المربعة‬‫في‬‫مسار‬‫كامل‬‫خالل‬‫كل‬‫فئات‬
‫التدريب‬،‫او‬‫الفترة‬‫صغير‬‫بصورة‬‫كافية‬sufficiently small‫تعتبر‬
‫الشبكة‬‫متقاربة‬converged‫وفي‬‫مثالنا‬‫يعرف‬‫حاصل‬‫جمع‬‫االخطاء‬
‫المربعة‬‫بانه‬‫صغير‬‫بصورة‬‫كافية‬‫اذا‬‫كان‬‫اقل‬‫من‬0.001‫ويمثل‬‫شكل‬
‫التالي‬‫منحني‬‫التعلم‬.‫رسم‬‫مجموع‬‫االخطاء‬‫المربعة‬‫مقابل‬‫عدد‬‫الف‬‫ترات‬
‫المستخدمة‬‫في‬‫التدريب‬.‫ويبين‬‫منحني‬‫التعلم‬‫مدي‬‫تعلم‬‫الشب‬‫كة‬
33Dr gafar zen alabdeen salh (2011)

34. ‫شبكتنا‬ ‫تدريب‬ ‫يحتاج‬‫الي‬224‫فترة‬‫او‬896‫لتنفيذها‬ ‫تكرار‬
‫عملية‬or‫فئة‬ ‫وتحقق‬ ‫المانعة‬‫االوزان‬‫العتب‬ ‫ومستويات‬ ،‫ة‬
‫معيار‬ ‫النهائية‬‫الخطا‬‫المختار‬
34Dr gafar zen alabdeen salh (2011)

35.  ‫الذكية‬ ‫النظم‬ ‫دليل‬
The End.
 Thank you for your patience!
Dr gafar zen alabdeen salh
(2011)
35