Artificial neural networks

1. 1
Artificial Neural Networks
‫االصطناعية‬‫العصبية‬ ‫الشبكات‬
‫إعداد‬:‫د‬.‫صالح‬ ‫العابدين‬ ‫ين‬‫ز‬ ‫جعفر‬
‫المعلو‬ ‫وتقانة‬ ‫الحاسوب‬ ‫علوم‬ ‫كلية‬ ‫النيلين‬ ‫جامعة‬‫مات‬

2. ‫مقدمة‬
•”‫لم‬‫يثبت‬‫الحاسب‬‫أي‬‫شي‬‫بعد‬“‫قال‬‫ذلك‬‫جاري‬
‫كاسباروف‬gray kasprov‫غاضبا‬‫بطل‬‫العالم‬‫للشطرن‬‫ج‬
‫بعد‬‫هزيمته‬‫في‬‫نيويورك‬‫في‬‫مايو‬1997”‫اذا‬‫كنا‬‫نلعب‬
‫مباراة‬‫تنافسية‬‫حقيقية‬‫لمزقت‬deep blue‫تمزيقا‬”
•‫فقد‬‫استطاع‬‫هذا‬‫الحاسب‬‫الذي‬‫انتجته‬IBM‫ان‬‫يحلل‬
200‫مليون‬‫موقع‬‫في‬‫الثانية‬‫الواحدة‬،‫ويودي‬‫كأنه‬
‫يعرض‬‫تفكيرا‬‫ذكيا‬.‫ففي‬‫احدي‬‫المراحل‬‫اتهم‬‫كاس‬‫باروف‬
‫االلة‬‫بالغش‬،
•‫ومع‬‫ظهور‬‫كثير‬‫من‬‫االكتشافات‬‫نجد‬‫ان‬‫الة‬‫اصبحت‬
‫قادرة‬‫علي‬‫التعلم‬ 2
Dr gafar zen alabdeen salh
(2011)

3. ‫اآللة‬ ‫تعلم‬
•‫بصفة‬‫عامة‬،‫يشمل‬‫تعلم‬‫اآللة‬‫آليات‬‫تكييف‬‫تجع‬‫ل‬
‫الحاسبات‬‫قادرة‬‫علي‬‫التعلم‬‫من‬‫الخبرة‬،‫وبالمثال‬،
‫والتعلم‬‫بالتماثل‬.‫ويمكن‬‫إلمكانيات‬‫التعلم‬‫أن‬‫تح‬‫سن‬‫أداء‬
‫النظام‬‫الذكي‬‫مع‬‫مرور‬‫الوقت‬.‫وتكون‬‫آليات‬‫تعلم‬‫اآل‬‫لة‬
‫األساس‬‫للنظم‬‫المكيفة‬.‫والطرق‬‫األكثر‬‫معرفة‬‫لتع‬‫لم‬‫اآللة‬
‫هي‬‫الشبكات‬‫العصبية‬،‫الخوارزميات‬‫الجينية‬.
3
Dr gafar zen alabdeen salh
(2011)

4. 4
• An artificial neural network (ANN) is an information-processing
system that has certain performance characteristics in common
with biological neural networks.
•‫ي‬ ‫بشكل‬ ‫البيانات‬ ‫لمعالجة‬ ‫نظام‬ ‫عن‬ ‫عبارة‬ ‫هي‬ ‫االصطناعية‬ ‫العصبية‬ ‫الشبكة‬‫حاكي‬‫و‬
‫تقوم‬ ‫التي‬ ‫الطريقة‬ ‫يشابه‬‫بها‬‫الطبيعية‬ ‫العصبية‬ ‫الشبكات‬
• A method of computing, based on the interaction of multiple
connected processing elements.
•‫المتعددة‬ ‫المرتبطة‬ ‫المعالجة‬ ‫عناصر‬ ‫تفاعل‬ ‫على‬ ‫تعتمد‬ ‫الحسابات‬ ‫طريقة‬
•
• mathematical models for information processing, which based on
the biological prototypes and mechanisms of human brain
activities.
•‫ن‬ ‫وآلية‬ ‫الطبيعية‬ ‫النماذج‬ ‫على‬ ‫تعتمد‬ ‫المعلومات‬ ‫لمعالجة‬ ‫الرياضية‬ ‫النماذج‬‫دماغ‬ ‫شاط‬
‫اإلنسان‬.
What is a Neural Network?

5. 5
• Computational models inspired by the human
brain:
•‫البشري‬ ‫العقل‬ ‫من‬ ‫استلهمت‬ ‫الحسابية‬ ‫النماذج‬
– Massively parallel, distributed system, made up of
simple processing units (neurons)
•‫بسيطة‬ ‫معالجة‬ ‫وحدات‬ ‫من‬ ‫مؤلف‬ ‫المتوازي‬ ‫الموزع‬ ‫النظام‬(‫االعصاب‬)
– Synaptic connection strengths among neurons are used
to store the acquired knowledge.
–‫لتخزي‬ ‫تستخدم‬ ‫العصبية‬ ‫الخاليا‬ ‫بين‬ ‫العصبية‬ ‫الوصالت‬ ‫شدة‬‫المعرفة‬ ‫ن‬
‫المكتسبة‬
– Knowledge is acquired by the network from its
environment through a learning process
–‫التعلي‬ ‫عملية‬ ‫خالل‬ ‫من‬ ‫بيئتها‬ ‫من‬ ‫الشبكة‬ ‫في‬ ‫تكتسب‬ ‫المعرفة‬‫م‬

6. 6
History of Neural Networks
‫العصبية‬ ‫الشبكات‬ ‫تاريخ‬
• 1943: McCullough and Pitts - Modeling the Neuron for
Parallel Distributed Processing
• 1958: Rosenblatt - Perceptron
• 1969: Minsky and Papert publish limits on the ability
of a perceptron to generalize
• 1970’s and 1980’s: ANN renaissance ‫الشبكات‬ ‫نهضة‬ ‫عصر‬
‫االصطناعية‬ ‫العصبية‬
• 1986: Rumelhart, Hinton + Williams present back
propagation
• 1989: Tsividis: Neural Network on a chip

7. 7
Properties of Nervous Systems
‫العصبية‬ ‫األنظمة‬ ‫خصائص‬
• Parallel, distributed information processing
•‫ومتوازية‬ ‫موزعة‬ ‫معلومات‬ ‫معالجة‬
• High degree of connectivity among basic units
•‫األساسية‬ ‫الوحدات‬ ‫بين‬ ‫للربط‬ ‫عالية‬ ‫درجة‬
• Connections are modifiable based on experience
•‫التجربة‬ ‫على‬ ‫اعتمادا‬ ‫تعدل‬ ‫واالرتباطات‬ ‫االتصاالت‬
• Learning is a constant process, and usually unsupervised
•‫عليها‬ ‫مشرف‬ ‫غير‬ ‫وعادة‬ ‫ثابتة‬ ‫عملية‬ ‫هو‬ ‫التعليم‬
• Learning is based only on local information
•‫المحلية‬ ‫المعلومات‬ ‫على‬ ‫فقط‬ ‫يعتمد‬ ‫التعليم‬

8. ‫البيولوجية‬ ‫العصبية‬ ‫الشبكة‬ ‫ما‬:-
•‫نموذج‬‫تفكير‬‫مبني‬‫علي‬‫المخ‬‫البشري‬‫،فيتكون‬‫ا‬‫لمخ‬‫من‬
‫مجموعة‬‫كثيفة‬‫متشابكة‬‫من‬‫الخاليا‬‫العصبية‬،‫او‬‫و‬‫حدات‬
‫تشغيل‬‫المعلومات‬‫األساسية‬‫تسمي‬‫عصبونات‬neurons
‫ويتكون‬‫مخ‬‫اإلنسان‬‫من‬‫حوالي‬10‫مليون‬‫عصبون‬‫و‬
60‫ترليون‬‫تشابك‬‫أي‬‫نقطة‬‫اشتباك‬(‫عصبي‬)‫بب‬‫عضها‬
‫بعضا‬“.‫وباستخدام‬‫العصبونات‬‫المتعددة‬‫في‬‫نفس‬‫الوقت‬
‫يمكن‬‫للمخ‬‫أن‬‫يؤدي‬‫وظائفه‬‫أسرع‬‫كثيرا‬“‫من‬‫أسرع‬
‫الحاسبات‬‫الموجودة‬‫في‬‫وقتنا‬‫حاليا‬“.
8
Dr gafar zen alabdeen salh
(2011)

9. 9
Biological Neuron
• The basic computational unit in the nervous system is the
nerve cell, or neuron. A neuron has:
– ‫هي‬ ‫البيولوجية‬ ‫العصبية‬ ‫الشبكة‬ ‫مكونات‬ ‫أن‬ ‫أي‬
•‫الخلية‬ ‫جسم‬soma(Cell body: )‫على‬ ‫تقوم‬ ‫هي‬ ‫و‬ ‫الخلية‬ ‫جسم‬ ‫تمثل‬ ‫وهي‬
‫من‬ ‫المستقبلة‬ ‫اإلشارات‬ ‫تجميع‬dendrites
•‫المتشجرة‬ ‫الزوائد‬Dendrites (inputs):‫الخالي‬ ‫من‬ ‫اإلشارة‬ ‫تستقبل‬ ‫متحسسات‬‫ا‬
‫األخرى‬ ‫العصبية‬
•‫العصبي‬ ‫المحور‬axon(‫طويل‬ ‫فردي‬ ‫خيط‬)(output):‫إلى‬ ‫اإلشارة‬ ‫ترسل‬
‫التالية‬ ‫الخلية‬
•‫عصبي‬ ‫اشتباك‬synapses
Dr gafar zen alabdeen salh
(2011)

10. 10
The schematic model of a
biological neuron
Synapses
Dendrites
Soma
Axon
Dendrite from
other
Axon from other
neuron

11. ‫البيولوجي‬ ‫العصبية‬ ‫الشبكة‬ ‫علي‬ ‫مالحظات‬‫ة‬
•‫تنشر‬‫االشارات‬‫من‬‫عصبون‬‫الي‬‫االخر‬‫عن‬‫طريق‬
‫تفاعالت‬‫كهروكيميائية‬‫معقدة‬.
•‫يمكن‬‫اعتبار‬‫مخ‬‫االنسان‬‫كنظام‬‫تشغيل‬‫معلومات‬‫مر‬‫تفع‬
‫التعقيد‬،‫والتوازي‬،‫وعدم‬‫الخطية‬.‫فتخزين‬‫المعل‬‫ومات‬،
‫ويجري‬‫التشغيل‬‫عليها‬‫في‬‫نفس‬‫الوقت‬.
•‫التعلم‬‫سمة‬‫اساسية‬‫وضرورية‬‫للشبكة‬‫العصبية‬‫ا‬‫لبيولوجية‬
.‫وتقليدها‬‫في‬‫الحاسوب‬
11
Dr gafar zen alabdeen salh
(2011)

12. ‫االصطناعية‬ ‫العصبية‬ ‫الشبكة‬
•‫تمثيل‬‫الشبكة‬‫العصبية‬‫االصطناعية‬‫للمخ‬‫البش‬‫ري‬‫مثلما‬
‫تمثيل‬‫الطائرة‬‫الورقية‬‫للطائرة‬‫النفاثة‬‫والتي‬‫ت‬‫فوقها‬
‫سرعتها‬‫سرعة‬‫الصوت‬
12
Dr gafar zen alabdeen salh
(2011)

13. 13
Applications of Artificial Neural Networks
• Signal processing( ‫اإلشارة‬ ‫)معالجة‬
•‫التلفون‬ ‫خطوط‬ ‫في‬ ‫الصوت‬ ‫إخماد‬ ‫مثل‬
•‫الغاء‬‫الصدى‬
• Control( ‫)التحكم‬
•‫مثل‬‫سيارة‬ ‫موقع‬ ‫تحديد‬ ‫وفي‬ ‫الشاحنات‬ ‫في‬ ‫يستخدم‬‫اجرة‬
• Robotics - navigation, vision recognition
•‫االنسان‬‫االلي‬–‫المالحة‬–‫الرؤية‬ ‫تمييز‬
• Pattern recognition.
•‫الصور‬ ‫أو‬ ‫اليدوية‬ ‫الكتابة‬ ‫مثل‬ ‫األنماط‬ ‫على‬ ‫التعرف‬‫او‬‫التو‬ ‫أو‬ ‫اليد‬ ‫بصمة‬‫قيع‬

14. 14
• Medicine. (‫)الطب‬
•‫الحالة‬ ‫معلومات‬ ‫على‬ ‫باالعتماد‬ ‫الطبية‬ ‫السجالت‬ ‫تخزين‬
• Speech production. ( ‫انتاج‬‫االصوات‬ )
• Speech recognition. ‫على‬ ‫التعرف‬‫االصوات‬) )
• Vision: face recognition , visual search engines
•‫الوجوه‬ ‫تمييز‬–‫بصرية‬ ‫بحث‬ ‫آالت‬
• Business.( ‫)األعمال‬
•‫المراهنة‬ ‫لقرارات‬ ‫قواعد‬ ‫مثال‬
• Financial Applications: time series analysis, stock market
prediction
•‫المالية‬ ‫التطبيقات‬:‫الزمنية‬ ‫السالسل‬ ‫تحليل‬–‫سوق‬ ‫تنبؤ‬‫االسهم‬‫المال‬‫ية‬
• Data Compression: image, e.g. faces
•‫البيانات‬ ‫ضغط‬:‫والوجوه‬ ‫الصور‬
• Game Playing: backgammon, chess, go, ...
•‫االلعاب‬‫الطاولة‬ ‫ولعبة‬ ‫كالشطرنج‬

15. ‫أخري‬ ‫استخدامات‬
•‫اكتشاف‬‫المتفجرات‬‫في‬‫المطارات‬
•‫انماط‬‫فشل‬‫الخبراء‬‫في‬‫تمييزها‬‫مثل‬‫بنك‬chase
manhattan bank‫استخدمت‬‫شبكة‬‫عصبية‬‫في‬‫فح‬‫ص‬
‫منظومة‬‫معلومات‬‫عند‬‫استخدام‬‫بطاقات‬‫االئتمان‬
‫المسروقة‬.‫واكتشف‬‫ان‬‫معظم‬‫المبيعات‬‫المشكوك‬‫في‬‫ها‬
‫كانت‬‫الحذية‬‫نسائية‬‫تكلف‬‫من‬40‫دوالر‬‫الي‬80‫دوالر‬
.
15
Dr gafar zen alabdeen salh
(2011)

16. 16
Artificial
Intellect with
Neural
Networks
Intelligent
Control
Technical
Diagnistics
Intelligent
Data Analysis
and Signal
Processing
AdvanceR
obotics
Machine
Vision
Image &
Pattern
Recognition
Intelligent
Security
Systems
Intelligentl
Medicine
Devices
Intelligent
Expert
Systems
Applications of Artificial Neural
Networks
16
‫األنظمة‬
‫الذكية‬ ‫الخبيرة‬
‫األنظمة‬‫االمنية‬
‫الذكية‬
‫الذكي‬ ‫التحكم‬

17. ‫ال‬ ‫االصطناعية‬ ‫العصبية‬ ‫الشبكة‬ ‫تمثل‬ ‫كيف‬‫مخ؟‬
•‫تتكون‬‫الشبكة‬‫العصبية‬‫الصناعية‬‫من‬‫عدد‬‫من‬‫المشغالت‬‫ا‬‫لبسيطة‬
‫جدا‬“‫والمتشابكة‬‫بصورة‬‫مرتفعة‬‫مع‬‫بعضها‬‫بعض‬‫تسمي‬
‫عصبونات‬‫ايضا‬“‫والتي‬‫تتماثل‬‫مع‬‫العصبونات‬‫الموجودة‬‫ف‬‫ي‬‫المخ‬
.‫وتتصل‬‫العصبونات‬‫مع‬‫بعضها‬‫بعض‬‫بواسطة‬‫روابط‬‫مو‬‫زونة‬
‫تمرر‬‫اشارة‬‫من‬‫عصبون‬‫الي‬‫االخر‬.‫يستقبل‬‫العصبون‬‫مج‬‫موعة‬
‫من‬‫المدخالت‬‫ولكن‬‫له‬‫مخرج‬‫واحد‬‫فقط‬.(‫مخرج‬‫عبر‬axon
‫في‬‫الشبكة‬‫البيولوجية‬)‫الرابط‬‫الخارجي‬‫يمكن‬‫ان‬‫ينقل‬‫ن‬‫فس‬
‫االشارة‬‫الخارجة‬‫الي‬‫عدد‬‫من‬‫الفروع‬.‫وتنهي‬‫الفروع‬‫الخارجي‬‫ة‬
‫عند‬‫الروابط‬‫الوارده‬‫لعصبونات‬‫اخري‬‫في‬‫الشبكة‬
17
Dr gafar zen alabdeen salh
(2011)

18. ‫تقليدية‬ ‫صناعية‬ ‫عصبية‬ ‫شبكة‬ ‫معمارية‬
18
Inputsignals
Input layer
middle layer
output layer
Outputsignals
Dr gafar zen alabdeen salh
(2011)

19. ‫والص‬ ‫البيولوجية‬ ‫الشبكة‬ ‫مكونات‬ ‫بين‬ ‫مقارنة‬‫ناعية‬
‫الشبكة‬‫العصبية‬‫الصناعية‬ ‫الشبكة‬‫العصبية‬‫البيولوجية‬
‫العصبون‬ ‫الجسم‬
‫المدخالت‬ ‫الزوائد‬‫المتشجرة‬
‫المخرجات‬ ‫المحور‬‫العصبي‬
‫الوزن‬ ‫نقطة‬‫االشتباك‬
19
Dr gafar zen alabdeen salh
(2011)

20. ‫االصطناعي‬ ‫العصبية‬ ‫الشبكة‬ ‫تتعلم‬ ‫كيف‬‫ة‬
•‫بواسطة‬‫إعادة‬‫ضبط‬‫األوزان‬‫حتى‬‫الوصول‬‫إلي‬‫األوزان‬
‫الصحيحة‬
20

21. ‫نحتاج‬ ‫عصبية‬ ‫شبكة‬ ‫لبناء‬‫الي‬‫الشب‬ ‫معمارية‬ ‫تحديد‬‫كة‬
•‫تستخدم‬ ‫التي‬ ‫العصبونات‬ ‫عدد‬
•‫العصبونات‬ ‫هذه‬ ‫تتشابك‬ ‫كيف‬
•‫التعلم‬ ‫خوارزمية‬
•‫العصبية‬ ‫الشبكة‬ ‫تدريب‬:‫االبتدائية‬ ‫القيم‬ ‫نحدد‬‫ألوزان‬
‫األمثلة‬ ‫من‬ ‫مجموعة‬ ‫خالل‬ ‫من‬ ‫األوزان‬ ‫ونجدد‬ ، ‫الشبكة‬
21
Dr gafar zen alabdeen salh
(2011)

22. ‫بسيط‬ ‫حوسبة‬ ‫عنصر‬ ‫العصبون‬
the neuron as simple computing element
•‫يستقبل‬‫العصبون‬‫إشارات‬‫متعددة‬‫من‬‫روابط‬‫مدخالت‬‫ه‬،
‫ويحسب‬‫مستوي‬‫تنشيط‬‫جديد‬‫ويرسله‬‫كإشارة‬‫مخرج‬‫ات‬
‫عبر‬‫روابط‬‫المخرجات‬.‫ويمكن‬‫أن‬‫تكون‬‫المدخالت‬
‫بيانات‬‫خام‬‫أو‬‫مخرجات‬‫من‬‫عصبونات‬‫أخري‬
‫والمخرجات‬‫يمكن‬‫أن‬‫تكون‬‫حال‬‫نهائيا‬‫لمشكلة‬.‫ويمك‬‫ن‬
‫أن‬‫تكون‬‫مدخالت‬‫لعصبونات‬‫أخري‬.
22
Dr gafar zen alabdeen salh
(2011)

23. 23
Model of an artificial neuron
Dr gafar zen alabdeen salh
(2011)

24. 24
Model of an artificial neuron
Terminology( ‫)المصطلحات‬
1. x1, x2, ...., xn are the inputs to the neuron
2. w1, w2, ...., wn are real-valued parameters
called weights
3. net = w1 x1 + w2 x2 +…+ wn xn is called
the weighted sum
4. f: is called the activation function?( ‫دالة‬
‫)التفعيل‬
5. y = f(net) is the output of the neuron
Dr gafar zen alabdeen salh
(2011)

25. ‫مخرجاته‬ ‫العصبون‬ ‫يحدد‬ ‫كيف‬
‫التنشيط‬ ‫دوال‬ ‫أنواع‬:active functions
•‫قدم‬‫اورن‬‫ماكولوش‬‫ووالتر‬‫بيتس‬‫ورقة‬‫علمية‬1943‫تعتبر‬
‫األساس‬‫لمعظم‬‫الشبكات‬‫العصبية‬‫االصطناعية‬
•‫دوال‬‫التنشيط‬‫هي‬:
‫اإلشارة‬ ‫دالة‬sign function
‫الخطوة‬ ‫دالة‬step function
‫الصلب‬ ‫الحد‬ ‫دوال‬ ‫بأنها‬ ‫تعرف‬ ‫والتي‬Hard limit function
‫اآلسية‬ ‫الدالة‬sigmoid function
‫الخطية‬ ‫الدالة‬linear function
‫المرن‬ ‫الحد‬ ‫دوال‬ ‫بأنها‬ ‫تعرف‬ ‫والتي‬soft limit function 25
Dr gafar zen alabdeen salh
(2011)

26. 26
‫دالة‬‫اإلشارة‬sign function












 




n
i
iwixsigny
y
n
i
iwixX
1
xif1
xif1
1



X ≡ ‫صافي‬‫المدخالت‬‫الموزونة‬
Xi ≡ i ‫قيمة‬‫المدخالت‬
wi ≡ i ‫وزن‬‫المدخالت‬
n ≡ ‫عدد‬‫مدخالت‬‫العصبون‬
Y ≡ ‫مخرجات‬‫العصبون‬
θ ≡ ‫(العتبه‬Threshold) Dr gafar zen alabdeen salh
(2011)

27. 27
‫دالة‬‫الخطوة‬step function

 






xif1
xif0
1
y
n
i
iwixX
X ≡ ‫صافي‬‫المدخالت‬‫الموزونة‬
Xi ≡ i ‫قيمة‬‫المدخالت‬
wi ≡ i ‫وزن‬‫المدخالت‬
n ≡ ‫عدد‬‫مدخالت‬‫العصبون‬
Y ≡ ‫مخرجات‬‫العصبون‬
θ ≡ ‫(العتبه‬Threshold)
Stepf(x) = 1 if x >= θ, else 0
Step ThresholdDr gafar zen alabdeen salh
(2011)

28. 28
‫دالة‬‫الخطية‬linear function
xy
n
i
iwixX




1
X ≡ ‫صافي‬‫المدخالت‬
‫الموزونة‬
Xi ≡ i ‫قيمة‬‫المدخالت‬
wi ≡ i ‫وزن‬‫المدخالت‬
n ≡ ‫عدد‬‫مدخالت‬‫العصبون‬
Y ≡ ‫مخرجات‬‫العصبون‬
θ ≡ ‫(العتبه‬Threshold)
Dr gafar zen alabdeen salh
(2011)

29. 29
‫دالة‬‫االس‬sigmoid function
xe
y
n
i
iwixX





1
1
1
X ≡ ‫صافي‬‫المدخالت‬‫الموزونة‬
Xi ≡ i ‫قيمة‬‫المدخالت‬
wi ≡ i ‫وزن‬‫المدخالت‬
n ≡ ‫عدد‬‫مدخالت‬‫العصبون‬
Y ≡ ‫مخرجات‬‫العصبون‬
θ ≡ ‫(العتبه‬Threshold)
Dr gafar zen alabdeen salh
(2011)

30. ‫يمكن‬ ‫هل‬‫لعصبون‬‫بسيط‬‫ان‬‫مهمة‬ ‫يتعلم‬
•‫قدم‬‫فرانك‬‫روزينبالت‬‫في‬‫عام‬1958‫خوارزم‬‫لتدريب‬
‫يوفر‬‫اول‬‫اجراء‬‫في‬‫تدريب‬ANN‫بسيطة‬‫تسمي‬
‫المدرك‬PERCEPTRON.‫والمدرك‬‫هو‬‫ابسط‬‫صيغة‬
‫للشبكة‬‫العصبية‬.‫ويتكوم‬‫من‬‫عصبون‬‫واحد‬،‫وأو‬‫زان‬
‫تشابك‬‫يمكن‬‫ضبطها‬Adjustable،‫ومحدد‬‫صلب‬
hard limiter.‫ويبين‬‫الشكل‬‫التالي‬‫مدرك‬‫له‬‫مدخلي‬‫ن‬
‫وطبقة‬‫واحدة‬
30
Dr gafar zen alabdeen salh
(2011)

31. 31
Model of an artificial neuron
Dr gafar zen alabdeen salh
(2011)

32. •‫تنبي‬‫عملية‬‫مدرك‬‫روزينبالت‬‫علي‬‫نموذج‬‫ماكولوش‬
‫وبيتس‬.‫ويتكون‬‫النموذج‬‫من‬‫خالط‬(‫أو‬‫دامج‬)‫خطي‬
‫يتبعه‬‫محدد‬‫صلب‬.‫ويطبق‬‫المجموع‬‫الموزون‬‫للمدخال‬‫ت‬
‫علي‬‫المحدد‬‫الصلب‬.‫والذي‬‫ينتج‬‫مخرجات‬‫تساوي‬+1
‫إذا‬‫كانت‬‫مدخالته‬‫موجبه‬‫و‬-1‫اذا‬‫كانت‬‫سالبه‬.‫وهدف‬
‫المدرك‬‫هو‬‫تصنيف‬‫المخالت‬x1,x2,…xn‫إلي‬‫فئتين‬
‫ولتكونا‬A1,A2‫يقسم‬‫المكان‬‫في‬N‫بعد‬‫بواسطة‬‫سطح‬
‫مفرط‬Hyperplane‫الي‬‫منطقتين‬‫للقرار‬.‫ويعرف‬
‫السطح‬‫الفاصل‬‫بواسطة‬‫دالة‬‫فاصله‬‫خطيا‬linearly
separable :
32
Dr gafar zen alabdeen salh
(2011)

33. 33
0
1



n
i
iwix
•‫وبالنسبة‬‫إلي‬‫حالة‬‫اثنين‬‫من‬‫المدخالت‬x1, x2،‫يأخذ‬‫حد‬
‫القرار‬‫صورة‬‫خط‬‫مستقيم‬‫يظهر‬‫بخط‬‫سميك‬‫في‬‫الش‬‫كل‬
‫أدناه‬.‫وتنتمي‬‫النقطة‬point 1‫الواقعة‬‫فوق‬‫خط‬‫الحد‬
‫الي‬‫الطبقة‬A1،‫وتنتمي‬‫النقطة‬point 2‫الواقعة‬‫اسفل‬
‫الخط‬‫الي‬‫الطبقة‬A2،‫ويمكن‬‫استخدام‬‫العتبه‬θ‫في‬
‫ترحيل‬‫حد‬‫القرار‬
Dr gafar zen alabdeen salh
(2011)

34. ‫للمهام‬ ‫تصنيفه‬ ‫المدرك‬ ‫يتعلم‬ ‫كيف‬
•‫يحدث‬‫هذا‬‫عن‬‫طريق‬‫عمل‬‫تضبيطات‬‫صغيرة‬‫في‬
‫األوزان‬‫لتقليل‬‫الفرق‬‫بين‬‫المخرجات‬‫المرغوب‬‫في‬‫ها‬
‫للمدرك‬‫والمخرجات‬‫الفعلية‬.‫وتحدد‬‫األوزان‬‫االبتدائ‬‫ية‬
‫عشوائيا‬،‫وعادة‬‫في‬‫المدى‬[-0.5,0.5]،‫وتجدد‬‫بعد‬‫ذلك‬
‫للحصول‬‫علي‬‫مخرجات‬‫متسقة‬‫مع‬‫أمثلة‬‫التدريب‬.
‫وبالنسبة‬‫إلي‬‫المدرك‬‫تكون‬‫عملية‬‫تجديد‬‫األوزان‬‫ب‬‫سيطة‬
‫جدا‬“.‫فإذا‬‫كانت‬‫المخرجات‬‫الفعلية‬‫والمخرجات‬
‫المرغوب‬‫فيها‬Yd(p)‫عند‬‫نفس‬‫التكرار‬،‫فتحسب‬
‫المعادلة‬‫التالية‬‫الخطأ‬:
• e(p) = Yd(p) –Y(p) where p=1,2,3,…
34
Dr gafar zen alabdeen salh
(2011)

35. •‫ويشير‬‫التكرار‬p‫هنا‬‫الي‬‫مثال‬‫التدريب‬‫رقم‬p‫المقدم‬
‫للمدرك‬
•‫فاذا‬‫كان‬‫الخطأ‬e(p)‫موجبا‬‫فإننا‬‫نحتاج‬‫إلي‬‫زيادة‬
‫مخرجات‬‫المدرك‬Y(p)،‫وإذا‬‫كان‬‫سالبا‬‫فإننا‬‫نحتاج‬‫إل‬‫ي‬
‫تقليل‬Y(p).‫وباألخذ‬‫في‬‫الحسبان‬‫أن‬‫كل‬‫مدخل‬‫من‬
‫مدخالت‬‫المدرك‬‫يساهم‬‫ب‬xi(p)* wi(p)‫في‬‫اجمالي‬
‫المدخالت‬x(p)‫فاننا‬‫نجد‬‫ان‬‫قيمة‬‫المدخالت‬xi(p)
‫تكون‬‫موجبه‬،‫وتميل‬‫زيادة‬‫في‬‫الوزن‬wi(p)‫الي‬‫زيادة‬
‫مخرجات‬‫المدرك‬Y(p).‫بينما‬‫اذا‬‫كانت‬xi(p)‫سالبه‬،
‫تميل‬‫الزيادة‬‫في‬‫الوزن‬wi(p)‫الي‬‫تقليل‬‫مخرجات‬
‫المدرك‬.‫لذلك‬‫يمكن‬‫تحديد‬‫القاعدة‬‫تعليم‬‫المدرك‬
35

36. • Preceptron learning rule:
• Wi(p+1)= wi(p) +α×xi(p) ×e(p)
•‫حيث‬α‫معدل‬‫التعلم‬learning rate,‫وهو‬‫ثابت‬
‫موجب‬‫اقل‬‫من‬‫الواحد‬‫الصحيح‬‫وكان‬‫روزينبالت‬‫اول‬‫م‬‫ن‬
‫اقترح‬‫هذه‬‫القاعدة‬1960‫وباستخدام‬‫هذه‬‫القاعدة‬‫يمكن‬
‫تلخيص‬‫خطوات‬‫الخوارزمية‬‫علي‬‫النحو‬‫التالي‬:
36
Dr gafar zen alabdeen salh
(2011)

37. ‫المدرك‬ ‫تدريب‬ ‫خوارزمية‬
•‫الخطوة‬‫االولي‬:‫وضع‬‫القيم‬‫االبتدائية‬
‫تحديد‬‫األوزان‬‫االبتدائية‬w1,w2,…,wn،‫والعتبة‬θ‫بأرقام‬
‫عشوائية‬‫تقع‬‫في‬‫المدى‬[-0.5,0.5]
•‫الخطوة‬‫الثانية‬:‫التنشيط‬
•‫تنشيط‬‫المدرك‬‫عن‬‫طريق‬‫تطبيق‬‫المدخالت‬
x1(p),x2(p),…xn(p)،‫والمخرجات‬‫المرغوب‬‫فيها‬Yd(p).
‫وحساب‬‫المخرجات‬‫الفعلية‬‫عند‬p=1
•‫حيث‬n‫مدخالت‬‫المدرك‬،‫و‬step‫دالة‬‫تنشيط‬‫الخطوة‬
37











n
i
iwixsigny
1

Dr gafar zen alabdeen salh
(2011)

38. •‫الخطوة‬‫الثالثة‬:‫تدريب‬‫األوزان‬:‫تجديد‬‫أوزان‬‫المدرك‬
•Wi(p+1)= wi(p) +∆Wi(p)
•∆Wi(p)= α×xi(p) ×e(p)
•‫حيث‬∆Wi(p)‫تصحيح‬‫الوزن‬‫في‬‫التكرار‬p
•‫الخطوة‬‫الرابعة‬:‫التكرار‬
•‫زيادة‬‫التكرار‬p‫بمقدار‬‫واحد‬‫صحيح‬،‫والعودة‬‫الي‬
‫الخطوة‬‫الثانية‬،‫وتكرار‬‫العملية‬‫حتي‬‫نقطة‬‫االلتق‬‫اء‬
38
Dr gafar zen alabdeen salh
(2011)

39. ‫مثال‬:‫منطقية‬ ‫عملية‬ ‫ليودي‬ ‫المدرك‬ ‫تدريب‬
39
Input variables AND OR EXCLUSIVE
-OR
x1 x2 X1 and x2 X1 or x2 X1 xor x2
0 0 0 0 0
0 1 0 1 1
1 0 0 1 1
1 1 1 1 0
Dr gafar zen alabdeen salh
(2011)

40. 40
EPOCH
Inputs Desired
output
Initial
weights
Actual
output
error Final
weights
x1 x2 yd w1 w2 y e w1 w2
1
0 0 0 0.3 -0.1 0 0 0.3 -0.1
0 1 0 0.3 -.01 0 0 0.3 -0.1
1 0 0 0.3 -0.1 1 -1 0.2 -0.1
1 1 1 0.2 -0.1 0 1 0.3 0.0
2
0 0 0 0.3 0.0 0 0 0.3 0.0
0 1 0 0.3 0.0 0 0 0.3 0.0
1 0 0 0.3 0.0 1 -1 0.2 0.0
1 1 1 0.2 0.0 1 0 0.2 0.0
3
0 0 0 0.2 0.0 0 0 0.2 0.0
0 1 0 0.2 0.0 0 0 0.2 0.0
1 0 0 0.2 0.0 1 -1 0.1 0.0
1 1 1 0.1 0.0 0 1 0.2 0.1
4
0 0 0 0.2 0.1 0 0 0.2 0.1
0 1 0 0.2 0.1 0 0 0.2 0.1
1 0 0 0.2 0.1 1 -1 0.1 0.1
1 1 1 0.1 0.1 1 0 0.1 0.1

41. 41
EPOCH
Inputs Desired
output
Initial
weights
Actual
output
error Final
weights
x1 x2 yd w1 w2 y e w1 w2
5
0 0 0 0.1 0.1 0 0 0.1 0.1
0 1 0 0.1 0.1 0 0 0.1 0.1
1 0 0 0.1 0.1 0 0 0.1 0.1
1 1 1 0.1 0.1 1 0 0.1 0.1
Threshold : θ=0.2 ; learning rate : α=0.1
Dr gafar zen alabdeen salh
(2011)

42. 42
References
• ‫الذكية‬ ‫النظم‬ ‫دليل‬
The End.
• Thank you for your patience!
Dr gafar zen alabdeen salh
(2011)