1. به نام خدا
گزارش كار پروژه فازي
عنوان: استفاده از روش نوروفازي براي تشخيص الگوي كلي حروف فارسي
استاد: دكتر خياط
دانشجو: شكيب شريفيان 86203954

2. فهرست:
دريافت كننده هاي فازي 1
شبكه عصبي 6
طراحي شبكه عصبي 36
استفاده از نوروفازي در تشخيص الگو 38

3. فصل اول
دريافت كننده هاي فازي
1

4. تعيين ورودي از طريق منطق فازي:
منطق كلاسيك رابطه يك به يك بين ورودي و خروجي ايجاد كرده و تمامي پارامترهاي مد ل سازي
را از ديدگاه كامل بررسي مي كند، ولي در دنياي واقعي و بسياري از مد ل سازيها با مفاهيم نـادقيق و
پارامترهاي ناكامل برخورد داريم كه تنها يك ديد اوليه از آن داريم و نياز به گزار ه هاي ناقاطع داريم
كه در منطق كلاسيك امكان پذير نمي باشد، چنانكه با نگاه كـردن بـه چهـره افـراد بـا ويژگـي هـاي
متفاوت ظاهري، پي به احساس ناراحتي هر دو مي بريم، در اينجاست كه نياز به منط ق فـازي حـس
ميشود، يعني جايي كه شرايط به صورت ناكامل و به صورت دقيق قابل توصيف نيستند و يـا اگـر از
لحاظ رياضي امكانپذير باشند، مغز بشر از عهده آن خارج بوده و كاملا وقت گير مي باشد.
در منطق كلاسيك ما با توابع تعلق صفر و يك روبه رو هستيم در حالي كه در منطق فازي اين تـابع
عضويت مي تواند عددي بين اين دو مقدار نيز باشد.
باشـد شـكل تـابع عـضويت بـه X يك مجموعه فـازي در A باشد و x مجموعه اي از عناصر X اگر
صورت زير مي باشد:
A = {(x, (x))| x∈ X ,0 ≤ (x) ≤ 1} A A μ μ
عناصر با تابع تعلق صفر در ليست قرار نمي گيرند، براي مثال تابع تعلق اعداد حق يقي نزديك 10 بـه
صورت زير مي باشد:
2
~ {( , ( ))| ( ) (1 ( 1)2 )−1} A = x x x = + x − A A μ μ
.μ A ( y) > است كه براي آنها 0 . y∈ x دامنه يك مجموعه فازي مجموعه اي از همه نقاط
به صورت زير است: y مانند X نقطه مياني عضوي از
( y) = 0.5 A μ
باشــد، اگــر X مجموعــه اي كــه دامنــه آن يــك نقطــه واحــد در فــضاي مرجــع Singletone
باشد : y و دامنه آن ، singleton،A
A A yμ ( )
y
=

5. 3
اگر دامنه مجموعه فازي نامحدود باشد:
A A y
( )
= ∫ (
)
y
x
μ
اگر دامنه مجموعه فازي محدود باشد:
1 μ μ μ
Σ=
n
= + + =
n
i
K
y y y
i i
n
a
1 1
شكل فازي محدب :
( (1 ) ) min( ( ), ( )), { , , [0,1]} 1 2 1 2 1 2 μ λx + −λ x ≥ μ x μ x x x ∈ X λ ∈ A A A
فازي نرمال:
Sup (x) = 1 x A μ
روابط رياضي در فرم فازي :
C A B x [ x x ] x X C A B = I : μ ( ) = min μ ( ),μ ( ) , ∈
C A B x [ x x ] x X C A B = U : μ ( ) = max μ ( ),μ ( ) , ∈
A x x x X A A : μ ( ) = 1−μ ( ), ∈
كميت هاي زباني : به نا م هايي كه به مجموع ه ها داده م ي شود يك كميت زباني مي گويند كه در اينجا
تابع تعلق يك عدد است ، گاهي توابع تعلق خود نيز يك كميت فازي هستند .
كميت زباني فازي:
(فيل / قوي) +(شير / قوي) + (روباه / متوسط) + (موش / ضعيف) = قدرت
كه در صورت تعريف مجموعه ضعيف ، متوسط، قوي كميت زبـاني قـدرت بـه صـورت زيـر تعريـف
مي شود:
1 +
=ضعيف
=متوسط
8 .
4 .
2 .
1
6 .
8 . +
4 .
=قوي
1
1
.6 + .
8 +
8 .
6 .
كميت زباني عددي :
5 .
8
several = .5 + + + + .
8 +
7
1
6
1
5
8 .
4
3

6. تفاوت نظري احتمالات فازي :
نظريه احتمالات و فازي در درجه عضويت و از لحاظ پيشامد با يكديگر تفاوت دارند ، از لحاظ درجه
عضويت منطق فازي شباهت عضو به مجموعه ايد ه آل را نشان م ي دهد و در نظريه احتمال، عضويت
به شباهت ربطي ندارد .نظريه فازي مـستقل از پيـشامد و نظريـه احتمـال همـواره قبـل از پيـشامد
مي باشد براي پي بردن به تفاوت اين دو به مثال زير توجه كنيد : دو ليوان آب داريم گفته شـده در
يكي احتمال غير سمي بودن 90 % است و د ر ليوان دوم درجه عضويت آب آشاميدني 90 % اسـت در
صورت نوشيدن ليوان اول 10 % احتمال زنده ماندن وجود دارد يعني نتيجه زنده ماندن به صـورت 0
يا 1 مي باشد ولي در ليوان دوم تنها 10 % آب غير آشاميدني است و بـا نوشـيدن آن احتمـال زنـده
ماندن 0 و 1 نيست و فرد زنده مي ماند.
روش هاي ساختاري شناخت الگو : اينكه براي تشخيص يك الگو نيازي بـه دانـستن تـابع چگـالي آن
الگو داريم تا با توجه به آن به كلاس بندي بپردازيم.
x و الگوي مورد نظر C1KCN و احتمال كلاس ها N روش احتمالي : در صورتي كه تعداد كلاس ها
باشد
( ) k به صورت تصادفي از فضاي نمايش انتخاب مي شود xk الگوي :. P x
( | ) ( )
k رابطه ي i بيز: i
( | )
در صورتي كه تابع تصمي م گيري كليه كلا س ها را داشته باشيم ، در نهايت كلاسي كه تابع مربوط به
آن بيشترين بهره را داشته باشد انتخاب مي شود . براي محاسبه تابع تصميم گيري از احتمال پـسين
سود مي بريم، پس از محاسبه احتمال پسين كلاس هاي مختلف كلاسي كه بيشترين احتمال را دارد
به عنوان پاسخ نهايي انتخاب مي شود.
P C x P x C P C
( | ) ( )
i k P x C P C
4
( ) i Ci احتمال پيشين كلاس : P C
( , ) i k Ci . و انتساب به كلاس . xk احتمال اتفاق : P C x
( | ) k i Ci . با فرض انتساب آن به كلاس . xk احتمال وقوع شرطي : P x C
( | ) i k xk با فرض در دست داشتن الگوي .Ci احتمال پسين كلاس : P C x
كميت هاي گسسته باشند : Ci . و xk اگر
( , ) ( | ) ( ) ( | ) ( ) i k k i i i k k P C x = P x C P C + P C x P x
Ci به كلاس .. xk الگوي پسين تخصيص الگو
Σ = =
j
k j j
k i i
k
P x C P C
P x
( | ) ( )
( )

7. استفاده از قانون تصميم گيري بيز منجر مي شود تا از مرزهاي جدا كننده در فـضاي نمـايش ، الگـو
داشته باشيم ، بعد از تقسيم بندي فضا توسط مرزهاي جدا كننـده مـسئله تـشخيص الگـو ، معـين
مي شود
الگوي پيوسته يك بعدي دو كلاس مختلف داشته باشيم، تابع چگالي مطابق X مثال: در صورتي كه
شكل زير خواهيم داشت.
دقت در قانون بيز : همانطور كه در رابطه مربوطه مشاهده مي شود، مخرج كسر مستقل از كلاس هاي
خروجي است، و در واقع بر مبناي احتمال مشترك يا تـابع چگـالي مـشترك كـلاس هـاي خروجـي
و در ،C خروجـي كـلاس 1 xth < x صورت مي گيرد. با توجه به شكل تابع چگـالي در صـورتي كـه
نيز بـر اسـاس تـساوي دو تـابع تـصميم گيـري xth ، است C خروجي كلاس 2 ، xth > x صورتي كه
مشخص مي شود(نحوه تعيين مرزهاي بين كلاس هاي مختلف).
تعيين ميزان خطاي تابع بيز: در اين روش ميزان خطا كم است چون:
( ) ( , ) ( , ) 1 2 P ERROR P x x C P x x C th th = < + >
كه مقدار مربوطه همان بخش هاشور خورده زير نمودار مي باشـد، پـس بـراي اسـتفاده از ايـن روش
كافيست كه توابع چگالي را داشته باشيم، كه نزديكي چنين طبقه بندي كن نـده اي بـه حالـت بهينـه
متناسب با زوج هاي مورد استفاده مي باشد.
5

8. فصل دوم
شبكه عصبي
6

9. -1-2 مقدمه
شبكه عصبي مصنوعي 1، ايد هايست، الهام گرفته از شيوه كاركرد شبكه عصبي زيستي، براي
پردازش اظلاعات. عنصر كليدي اين ايده، ايجاد ساختا رهاي جديد، براي سامانه پردازش اطلاعات
است. اين سيستم از شمار زيادي عناصر پردازش فوق العاده بهم پيوسته به نام نرون 2 تشكيل شده
است، كه براي حل يك مسئله با هم هماهنگ عمل مي كنند.
با استفاده از دانش برنام هنويسي رايانه، مي توان ساختار داد هايي طراحي كرد كه همانند يك
نرون عمل مي كند؛ سپس با ايجاد شبكه اي از نرون هاي مصنوعي به هم پيوسته، ايجاد يك الگوريتم
آموزشي براي شبكه و اعمال اين الگوريتم به شبكه، آن را آموزش داد.
اگر يك شبكه را هم ارز با يك گراف بدانيم، فرآيند آموزش تعيين نمودن وزن هر يال و تبعيض 3
اوليه خواهد بود.
-2-2 مقايسه مدل سازي شبكه عصبي و مد لسازي با رو شهاي
كلاسيك
در مد لسازي كلاسيك، از نخستين قدم، خطاي بزرگي مرتكب مي شود، كه فقط در
سيستم هاي ساده (خطي يا نزديك به خطي)، قابل صرف هنظر است. نخستين قدم در رو شهاي
كلاسيك براي بررسي داد هها، بررسي شاخص هاي تمايل به مركز (ميانگين و ...) و شاخص هاي
پراكندگي (انحراف معيار و ...) است. ازاين مرحله به بعد، در روش كلاسيك، كاري با تك تك
نمونه ها نداريم و اهميت فردي آنها از بين مي رود. در واقع در روش كلاسيك، با عملي شبيه هوموژن
كردن يا آسياب كردن داده ها، پيچيدگي روابط آنها را محو مي كند و به اين دليل از كشف اين
پيچيدگي باز مي ماند.
7
1 . Artificial Neural Network (ANN)
2 . Neuron
3 . Bias

10. در نهايت در روش كلاسيك، يك معادله سيستم خواهيم داشت كه داده هاي جديد را بدون
در نظر گرفتن اثر همراهي پارامترهايش با هم، استفاده مي كند و مجدداَ اين خطا در پيش گويي اثر،
توسط سيستم شما تأثير خواهد داشت. به اين ترتيب، سيستم كلاسيك در استخراج معني از داد هها
ضعيف و با بازده پايين عمل مي كند و در بسياري از موارد، از كشف روابط بين داده ها ناكام مي ماند.
اگر مي توانستيم سيستمي داشته باشيم كه با اهميت دادن به تك تك مثالها، تجزيه و تحليل
كند و نيز بدون پيش داوري در مورد شكل تابع هر پارامتر (خطي بودن يا شكل تابع غير خطي)، آن
را ذخيره و ارزيابي كند، چنين سيستمي مي توانست نتايج بيشتري را از عمق داده ها بيرون بكشد.
-3-2 مدل سازي شبكه عصبي
در يك شبكه عصبي نمونه، اطلاعات و پارامتر هاي ورودي، هر كدام به شكل يك سيگنال
الكتريكي تحريك، به كانا لهاي ورودي مدل رياضي سلول عصبي وارد م يشوند. مدل رياضي يك
سلول عصبي را پرسپتون 4 مي نامند. هر يك از كانال هاي ورودي (شبكه اتصالات دندريت ها) داراي
يك ضريب عددي هستند كه (وزن سيناپسي) ناميده مي شوند. شدت تحريك الكتريكي در اين
ضريب، ضرب مي شود و به جسم سلولي مي رسد، اگر مجموع تحريكات رسيده به جسم سلولي كافي
باشد، نرون شليك م يكند و در مسي رهاي خروجي (شبيه آكسون ها)، جريان الكتريكي ثابتي را
ايجاد مي كند (در شبكه هاي عصبي با تابع فعاليت پله اي).
تحريكات لايه ورودي سلو لها، به يك يا چند لايه واسط مي رود، كه به نام لاي ههاي مخفي
موسوم هستند. ادامه جريان تحريكات در اين لايه ها (توسط همان وزن هاي سيناپسي) طوري
هدايت مي شوند كه پيچيدگي هاي تأثيرت جريان ورودي را شبيه سازي كند. سپس تحريكات به لايه
خروجي مي روند كه هدف نهايي ماست؛ اگر هدف شبكه عصبي پيشگويي كمي باشد، مجموع شدت
8
4 . Perceptron

11. تحريكات آخرين عصب خروجي، آن عدد خواهد بود، اگر هدف شبكه عصبي طبقه بندي 5 باشد،
فعاليت يا خاموش بودن نرون هاي لايه آخر نمايانگر امر خواهد بود.
سيستم شبكه عصبي در طول يادگيري، طوري وزن هاي سيناپسي را تغيير مي دهد كه بتواند با
هر سري تحريكات ورودي (يعني داده هاي هر نمونه جريان، خروجي معايب را ايجاد كند). چگونگي
رياضي اين تغيير وز نها ظريفترين بخش مكانيسم عملكرد شبكه است كه بعد ها درباره آن بحث
خواهيم كرد.
-1-3- اجزاي يك سلول عصبي زيستي 2
به طور كلي يك نرون (سلول عصبي)، يك واحد پردازش مي باشد، و داراي اجزايي است كه بين
تمامي آنها مشترك مي باشد. اجزايي كه در كليه سلول هاي عصبي موجود مي باشند، عبارتند از:
9
- جسم سلولي 6
- دندريت ها 7
- آكسون 8
- سيناپس 9
- هسته 10
5 . Classification
6 . Cell body
7 . Dendrites
8 . Axon
9 . Synapse
10 . Nucleus

12. 1- اجزاي يك سلول عصبي زيستي - شكل 1
-2-3- نحوه كار يك سلول عصبي 2
اطلاعات ورودي از نوع الكتريكي- شيميايي، از طريق دندري تها وارد جسم سلولي شده، پس از
جمع مقادير آنها، از طريق دستور العملي كه در هسته نهفته است، و م يتواند يك آستانه تحريك 11
تعريف شده باشد، فرمان خروجي را صادر م يكند. اين پيغام از طريق آكسون ها به سيناپس منتقل
ميشود و در اينجا خروجي اين سلول عصبي از طريق تماس آكسو نها با دندريت ها به سلول عصبي
بعدي ارسال شده و يا به عنوان تحريك سلول هاي عصبي به كار مي رود.
سيناپ سها با توجه به نوع اتصالي كه دارد (ضعيف يا قوي)، م يتواند خاصيت تضعيف يا
تشديد كنندگي داشته باشد، به معناي ساده تر سيناپس هاي قوي تر در تصميم گيري سلول عصبي
نقش بيشتري ايفا مي كنند.
11 . آستانه تحريك: مرزي است آه تا ورودي هسته سلول به آن
نرسد، پيغامي از بدنه سلول صادر نم يشود.
10

13. نرون ها با توجه به پيچيدگي و سرعت عملي كه در تصمي مگيري بايد از خود نشان دهند،
2، تعدادي از آنها به نمايش در آمده اند. - آرايش و معماري 12 متفاوتي دارند،كه در شكل 1
2- آرايش مختلف شبكه هاي عصبي زيستي - شكل 1
يادگيري در اين سلو لها در حقيقت همان شك لگيري قدرت رشته هاي ورودي (دندريت) اين
سلول هاست.
-3-3- مدل سازي يك شبكه عصبي مصنوعي 2
اين شبكه هاي عصبي مصنوعي، همانطور كه از نام آنها پيداست، به نوعي كپي برداري شده از
نوع زيستي آن مي باشد و زماني كه اطلاعات آماري در مورد يك پديده را در اختيار داريم، كارآمد
هستند.
11
12 . Architecture

14. 3- مدل سازي شبكه عصبي مصنوعي از روي نمونه زيستي آن - شكل 1
-4-3- اجزاي يك شبكه عصبي مصنوعي 2
در اينجا به معرفي اجزاي مشترك بين شبكه هاي عصبي مصنوعي موجود و توضيح مختصري
در مورد آنها مي پردازيم.
ورودي ها: كاري مشابه دندري تها در شبكه عصبي واقعي را انجام م يدهند و تعداد آنها متناسب
است با عواملي كه در ساخت خروجي مشاركت دارند، به عبارت ساده تر تعداد آنها برابر متغي رهايي
است كه براي شبيه سازي يك مدل مورد نياز است.
وزن ها: مقدار عددي كه به صورت ضريب عمل كرده و براي هر اتصال 13 بين دو گره، مقدار منحصر
به فردي دارد و مقدار آن نشان دهنده ميزان اهميت ورودي براي شبكه مي باشد.
گره ها: بر سه نوع اند:
12
13 . link

15. -1 گره ورودي: منظور همان ورود يهاست كه توضيح داده شد؛ براي سهولت كار در مد لسازي
به شكل گره نشان داده مي شوند.
-2 گره لايه هاي مياني (لايه هاي مخفي): به نوعي، وظيفه بدنه سلول و هسته در نوع زيستي را
1 برابر گره هاي ورودي وگاهي / 0 تا 5 / ايفا مي كند و تعداد آنها طبق تجربه هاي مختلف بين 5
نيز رابطه دو برابر گر ههاي ورودي به علاوه يك توصيه م يشود. خود يك گره لايه مياني به دو
بخش جمع كننده 14 و تابع تبديل 15 تقسيم مي شوند.
• جمع كننده: همان تابع رياضي سيگما مي باشد كه مقادير ورودي لايه هاي قبلي كه در
وزن ارتباطي آنها با اين گره ضرب شده اند، با يكديگر جمع شده و آماده ورود به تابع تبديل
مي شود. شايد بتوان آن را با پوسته جسم سلولي معادل دانست، معادل جايي در سلول
عصبي زيستي كه ولتاژ هاي ورودي از دندريت ها به هم ملحق مي شوند.
• تابع تبديل: ورودي آنها، خروجي تابع جمع كننده مي باشد و به نوعي مشابه هسته سلول
عصبي زيستي مي باشد، كه بر طبق دستور العمل موجود در آن با توجه به ورود يها،
خروجي مرتبط را ايجاد مي كند، كه اين خروجي ها بسته به نوع تابع تبديل صفر و يك، و يا
عددي بين اين دو مي باشد، كه به صورت زير تقسيم بندي مي شوند:
13
14 . Sigma
15 . Activation function

16. تقسيم بندي از لحاظ شكل ظاهري .i
4- توابع تبديل متداول در شبكه هاي عصبي - شكل 1
نوع پله اي يا آستانه تحريك 16 (مك كالوچ و پيتس) 17 : مشابه يك سلول زيستي (a
مي باشد، كه در صورت رسيدن به حد تحريك، شليك مي كند و در غير اين صورت
واكنشي انجام نمي دهد.
O in (1-2)
14
( )
1 in 1
⎩ ⎨ ⎧
>
=
0 in ≤
1
نوع خطي 18 (ويدروف) 19 : نسبت به پله رفتار نرم تري بين صفر و يك دارد و حالت (b
فازي 20 از خود نشان مي دهد و مقادير صفر و يك تنها خروجي آن نيستند.
16 . threshold or step
17 . Mc Culloch & Pitts model
18 . linear or ADALINE
19 . Widrow 1960
20 . Fuzzy

17. مانند، نسبت به خطي رفتار نر متري در دو بخش ابتدايي و S سيگمويد 21 : با شكلي (c
انتهايي تابع داشته و قابليت اضافه شدن مشتق تابع در هر لحظه را نيز دارا مي باشد.
نمودار، شرايط زير را ايجاد مي كند: S در شكل a مقدار
به سمت بينهايت برود، مقدار تابع تبديل ما به سمت يك ميل مي كند. β v - اگر
به سمت بينهايت برود، مقدار تابع تبديل ما به سمت صفر ميل β v - اما اگر
به سمت بينهايت برود ،مقدار تابع تبديل ما به β ثابت و v مي كند و در نهايت اگر
مقدار تابع هيوي سايد ميل مي كند.
1
( ) ( v) (2-2)
15
v
β
φ
=
1 exp
+ −
2 )، بين حالات خطي ، سيگمويد و هيوي سايد - 5- با عوض شدن ضريب متغير فرمول( 2 - شكل 1
تغيير شكل مي دهد
2) و يا پله - تقسيم بندي از لحاظ حدود بالا و پايين: توابعي مانند تابع فرمول ( 2 .ii
(صفر و يك)، توابع قطبي بوده و تابع سيگنوم 22 يا تانژانت هيپربوليك 23 توابع دو
قطبي اند.
21 . Sigmoid

18. نوع تك قطبي 24 : حد بالا يك و حد پايين صفر مي باشد. (a
نوع دو قطبي 25 : حد بالا يك و حد پايين منفي يك مي باشد. (b
6- توابع تبديل پله و سيگمويد از نوع تك قطبي و تابع تبديل ساين از نوع دوقطبي - شكل 1
مي باشد
-3 گره خروجي: آخرين لايه شبكه عصبي ما مي باشد، كه مقدار توابع تبديل لاي ههاي قبلي
همگي در اين نقطه با هم جمع شده و به ما خروجي مي دهند. تعداد اين گره ها برابر با تعداد
انواع هدف هايي 26 كه در اطلاعات آماري داريم، مي باشد. در ضمن در اين شبكه، مقايسه بين
هدف و خروجي شبكه انجام شده و خطاي شبكه محاسبه مي گردد.
معمولا در حل مسائل خطي ساده، از توابع تبديل پله استفاده مي كنند، كه همان پرسپترون 27
تك لايه مي باشد؛ ولي براي حل مسائل دشوارتر كه اطلاعات به گونه اي كوپل هستند، كارايي
ندارند.
16
22 . Signum
23 . Tangent hyperbolic (tanh)
24 . Polar
25 . bipolar
26 . targets
27 . Perceptron

19. -4-2 مرز تصميم 28
در نهايت، يادگيري اين مرز يا مر زهاي ايجاد شده، نمون هها را از هم جدا كرده و متناسب با
هر كدام، شبكه پاسخي به ما م يدهد، حال اگر اين داده ها تنها با يك صفحه يا خط ساده از هم
تفكيك شوند، ساد هترين روش، همان روش پرسپترون است، مثل توابع و 29 و يا 30 ، در غير اين
صورت بايد از روش هاي ديگر عصبي بايد استفاده كرد.
-5-2 نوع يادگيري از لحاظ ناظر
يادگيري 31 عبارتست از پيدا كردن وزن نهايي اتصالات شبكه، به گونه اي كه خطاي شبكه در
نهايت از خطاي تعريف شده، كمتر باشد.
• يادگيري با ناظر 32 : در اين نوع يادگيري، هم اطلاعات ورودي و هم خروجي مورد نظر از
مدل را در اختيار داريم (از روش هاي تجربي و داد ههاي آماري) و شبكه در هر بار آموزش،
خروجي توليد شده از شبكه و خروجي هدف كه از داده هاي آماري در اختيار شبكه قرار
گرفته را با هم مقايسه كرده و خطاي حاصله، صرف تغيير وز نهاي شبكه مي شود تا مقدار
خطا به كمترين مقدار خود برسد.
• يادگيري بدون ناظر 33 : در اين يادگيري، هيچ سابقه اي از اطلاعات، با عنوان هدف نداريم،
پس خطايي نداريم و بيشتر از اين روش، براي تشخيص الگو، كلاس بندي و جدا كردن
داده هاي نامتشابه از هم استفاده مي شود، كه در نهايت مرز هاي گفته شده بين اين
كلاس ها قرار مي گيرند.
17
28 . Decision bondary
29 . AND
30 . OR
31 . Learning
32 . Supervised learning
33 . Unsupervised learning

20. -6-2 چند پارامتر مهم در آموزش
نرخ يادگيري (گام يادگيري) 34 : به ضريبي كه در تعيين تغيير وزن ها، تأثير مستقيم داشته و گام
را براي حركت از خروجي توليد شده، به هدف مورد نظر تنظيم مي كند و براي پايداري، عددي بين
صفر و يك در نظر گرفته مي شود.
دوره 35 : به هر بار كه كليه داد ههاي ورودي و احتمالاَ خروجي، به شبكه ارائه م ي شود، يك دوره
گفته مي شود.
خطا: به اختلاف عددي بين هدف و خروجي سيستم، خطاي شبكه گفته م يشود؛ به طور مثال ،اگر
هدف ما عدد صفر باشد و خروجي توليدي از شبكه عدد يك باشد، ميزان خطا، منفي خواهد بود.
-7- الگوريتم آموزش شبكه با يك ناظر، به طور خلاصه 2
١-انتخاب اعداد تصادفي و كوچك اوليه براي وزن هاي اتصالات شبكه عصبي مصنوعي
٢-بارگزاري اطلاعات ورودي و خروجي روي شبكه
٣-محاسبه خطاي شبكه در صورت ادامه يادگيري
۴-آيا خطا در حد قابل قبول است يا نه، در صورت داشتن سابقه از تغييرات وزن، آيا اين
تغييرات ناچيز شده اند يا افزايش يافته اند، در صورت افزايش يادگيري ادامه پيدا مي كند.
۵-تأثير دادن خطا براي تغيير وزن هاي اتصال به سمتي كه خطا كاهش يابد و به اصطلاح،
خروجي شبكه و هدف همگرا شود.
18
-8- معماري شبكه 2
34 . Learning rate
35 . iteration-epoch

21. از لحاظ تعداد لاي هها و گر هها و نحوه ارتباط بين لاي هها، انواع شبك ههاي عصبي مصنوعي شكل
مي گيرند.
1-8-2 -انواع شبكه از لحاظ تعداد لايه ها
١)شبكه هاي تك لايه پيشرو: تنها يك لايه محاسباتي داريم (لايه مياني نداريم).
7- شبكه تك لايه(بدون لايه مخفي) - شكل 1
٢)شبكه هاي چند لايه: در اين شبكه، هر سه لايه ورودي، خروجي و مياني وجود دارد.
8- شبكه چند لايه (هر سه لايه ورودي، خروجي و مياني وجود دارد) - شكل 1
19

22. 20
-2-8-2 انواع شبكه از لحاظ اتصال
-1-2 كاملا مرتبط 36 : بين تمام گره هاي دو لايه مختلف اتصال وجود دارد (قاعده اي كه -8 -2
بايد در اين شبك هها رعايت شود، اينست كه بين هيچ دو گر هاي كه در يك لايه وجود دارند،
نبايد اتصالي بسته شود.).
-2-2 تكه اي 37 : بين تمام گره هاي لايه هاي مختلف به طور كامل به هم وصل نباشند. -8 -2
-3-2 پيشرو 38 : وقتي آموزش شبكه تمام شد، تنها مسير حركت روي شبكه از سمت -8 -2
ورودي به خروجي است.
-4-2 پيشخور 39 : بسته به درجه ديناميكي شبكه، با دادن ورودي به شبكه، چند بار -8 -2
تكرار مي شود تا با آخرين داده ديناميكي جواب آن دوره به ما داده مي شود.
36 . Fully connected
37 . Partial
38 . Feed forward
39 . Recurrent, Feedback, Dynamic

23. 9- تقسيم بندي شبكه از لحاظ نوع اتصال - شكل 1
21
-9- پردازش عصبي 2
-1- فراخواني 40 9-2
وقتي به شبكه اي كه يادگيري آن به پايان رسيده، اطلاعاي جديدي مي دهيد، شبكه آنچه را ياد
گرفته، با توجه به ورودي به شما پس مي دهد، كه به آن فراخواني گفته مي شود.
2- -كدگر 41 و كد برگردان 42 9-2
40 . Recall

24. وقتي ورودي شما به يك شبكه عصبي چيزي غير از اعداد و ارقام باشد، مثلا يك تصوير ورودي
مورد نظر باشد، اين تصوير بايد به صورت ارقام قابل فهم براي شبكه تبديل شودكه به اين عمل كه
با تقسي مبندي عكس به اجزاي كوچكتر و قرار دادن اعدادي براي هر بخش كه معرف پر يا خالي
بودن و رنگ آن است، كد كردن گفته مي شود.
به فرآيند برعكس بالا، يعني پي بردن به اينكه تصويري كه به شبكه نشان داده شده را شبكه
تشخيص دهد، كدبرگردان كردن(خارج كردن از كد) گفته مي شود كه بر دو نوع است:
-1-2 ارتباط مشابه 43 : در اين الگو، شبكه با ديدن تصويري نويز دار،به ياد تصوير واقعي -9 -2
مي افتد.
-2-2 ارتباط نامتشابه 44 : در اين الگو شبكه با ديدن تصويري به ياد تصويري ديگر -9 -2
مي افتد.
10 - روش يادآوري در ارتباط متشابه (بالا) و نامتشابه (پايين) - شكل 1
-10- روش مينيمم سازي نزولي 45 2
در يك نمودار وقتي از نقطه مينيمم به سمت ديگري حركت مي كنيم، براي شيب ما اتفاقات
زير مي افتد:
22
41 . Encoder
42 . Decoder
43 . Auto_association
44 . Hetero_association
45 . Gradient Descent

25. ∂f ∂x < درسمت چپ مينيمم: 0
∂f ∂x > در سمت راست مينيمم: 0
∂f ∂x = در خود نقطه مينيمم: 0
11 - تاثير حركت و گذر از نقطه مينيمم يك تابع - شكل 1
را اينگونه تعريف مي كنيم: x پس براي رسيدن به نقطه مينيمم از نقطه ديگر بايد تغيير
Δx = x − x = −η ∂f ∂x (3-2) new old
يعني اگر از مينيمم رد شويم، شيب نمودار اثر خود را گذاشته و دوباره ما را به عقب بر مي گرداند و
بالعكس.
نيز همان گام ما در اين جابجايي است، كه در شبكه هاي عصبي مصنوعي همان گام η ضريب
يادگيري 46 مي باشد.
23
46 . Learning Rate

26. -11- تقسيم بندي اطلاعات بعنوان ورودي براي شبكه عصبي 2
-1 بخش آموزشي 47 : معمولا 70 % تا 80 % از كل داده ها بعنوان بخش آموزشي شبكه در -11 -2
نظر گرفته مي شوند كه در حين يادگيري به شبكه داده شده و از خطاي توليدي آ نها براي
تغيير وزن اتصالات استفاده مي شود.
-2 بخش ارزيابي 20:48 % تا 30 % باقي مانده اطلاعات به طور همزمان با يادگيري -11 -2
شبكه، به شبكه داده مي شوند ولي نقشي در تغيير وزن اتصالات ندارند و فقط براي بهين هسازي
مورد استفاده قرار مي گيرند.
12 - اگر از نقطه توقف يادگيري بگذريم، شبكه بجاي يادگيري اطلاعات را حفظ مي كند - شكل 1
9) اگر از نقطه توقف يادگيري 49 بگذريم، شبكه در حقيقت در حال حفظ كردن - با توجه به شكل ( 1
اطلاعات مي باشد نه يادگيري آنها.
-3 بخش آزمون 50 : اطلاعاتي كه شبكه آن ها را در اختيار ندارد و بعد از تكميل شدن -11 -2
يادگيري شبكه به آن داده مي شود و براي بررسي كارآيي شبكه مورد استفاده قرار مي گيرد.
24
47 . Training set
48 . Validation set
49 . Stop Learning
50 . Testing set

27. -4 دوره آموزش 51 : به هر بار كه اطلاعات بخش آموزش، يكبار به طور كامل به شبكه -11 -2
داده مي شود، يك دوره آموزش گفته مي شود. اگر شبكه خطايي نداشته باشد، شبكه يادگيري را
از دست داده و اطلاعات را حفظ كرده است.
-12- قاعده كلي يادگيري 52 (با ناظر) 2
يادگيري يعني تنظيم وزن هاي اتصالات به گونه اي كه نتيجه مورد نظر حاصل شود، كه اين
بستگي دارد. (r) و سيگنال يادگيري (x) تنظيم وزن ها به سه پارامتر ثابت يادگيري(مثبت)، ورودي
(4-2) [ ] i i W crW t x t d t xr r r
25
Δ = ( ), ( ), ( )
13 - نحوه يادگيري يك شبكه عصبي با ناظر - شكل 1
13-2 -قواعد يادگيري
در اين قسمت به طور خلاصه به تعدادي از قواعد يادگيري و خصوصيات آن ها مي پردازيم
51 . Training epoch
52 . General Learning rule

28. -1 روش هب 53 : اين روش جزو شبك ههاي بدون ناظر م يباشد، و وزن هاي اوليه صفر -13 -2
انتخاب مي شوند، در هر بار كه اطلاعات به شبكه داده مي شود بين آن دسته از گره هاي ورودي
و خروجي كه مقدار يك مي گيرند، به اصطلاح گفته مي شود كه يك ارتباط از نوع پرسو 54 و
اتصالاتي كه به گره هاي خاموش يا صفر منتهي مي شوند يك ارتباط از نوع ك مسو 55 برقرار شده،
بنابراين آن دسته از اطلاعاتي كه از هردو طرف به مقدار روشن يا يك وصل هستند از لحاظ
وزني تقويت مي شوند و گاهي در روشهاي خاص تر آن دسته از اطلاعاتي كه به مقدار صفر يا
خاموش متصل هستند، از لحاظ وزني حتي تضعيف هم مي شوند.
سيگنال آموزشي 56 اين روش:
r( ) O ( ) f (W x) (5-2) i i response = output = ′⋅
يعني شبكه بدون ناظر مي باشد و مقدار مطلوبي 57 براي آن سراغ نداريم.
پاسخ برگشتي شبكه :r
خروجي :o
: ترانهاده ماتريس وزن ها
ورودي ها :x
تابع تبديل هر گره مياني يا خروجي كه محدوديتي ازلحاظ نوع آن نداريم. :f
رابطه تغيير وزن:
26
W c O x i Δ = ⋅ ⋅
( ) ij i j ΔW = cf W′⋅ x x (6-2)
:c گام يادگيري
53 . Hebbian rule
54 High
55 . Low
56 . Learning Signal
57 . Desire

29. نكته: در صورتي كه اتصالات وزني، بيش از حد قوي شوند، شبكه يادگيري خود را از دست داده و
به ازاي هر ورودي، همان اتصالات وزن هاي غالب خواهند شد و اين به معني اشباع 58 شبكه
14 ) نشان داده شده است، پس بايد در محدود هاي بمانيم كه مقادير - مي باشد، كه در شكل ( 1
ورودي به تابع ما در محدوده آستانه تحريك و حتي المقدور نزديك صفر باشد.
نكته: در اين روش ترتيب دادن اطلاعات اهميت دارد، يعني تقويت و تضعيف وزن هاي اتصالات
بستگي به ترتيب خوراندن اطلاعات به شبكه دارد.
14 - نمايش ناحيه اشباع در يك تابع تبديل تانژانت هيپربوليك - شكل 1
-2 روش پرسپترون 59 : اين روش جزو شبكه هاي با ناظر مي باشد، يعني ما از مقدار -13 -2
مطلوب نيز آگاهي داريم و شبكه را مقيد به استفاده از آن براي تغيير وز نها مي كنيم، وزن هاي
27
58 . Saturation
59 Perceptron

30. اوليه هر مقدار كوچكي مي توانند باشند و تابع تبديل آن از نوع باينري 60 (صفر و يك، پله
اي)تك قطبي 61 يا دو قطبي 62 مي باشد.
سيگنال آموزشي اين روش:
r = d − f (net) (7-2)
28
رابطه تغيير وزن:
[ ( )] (8-2) i ΔW = c d − f W′⋅ x x
مقدار مطلوب :d
ساير پارامترها همانند مطالب گفته شده درروش هب مي باشد.
-3 روش دلتا 63 : اين روش جزو شبكه هاي با ناظر مي باشد و در اين پروژه از اين روش -13 -2
بدليل قابليت انعطاف بيشتر بخاطر نوع تابع تبديل كه به صورت پيوسته بوده و مي توان از
مشتق آن نيز در يادگيري استفاده كرد تا همانند يك دمپ كننده 64 و يا شتاب دهنده 65 روي
تغيير وزن ها اثر بگذارد.
سيگنال آموزشي اين روش:
(9-2)
( ) ( )i
r = d −O f ′ net x
[ ] ( ) (10-2) i ΔW = c d −O f ′ net x
: مشتق تابع تبديل
60 Binary
61 Polar
62 Bipolar
63 . Delta rule
64 . Damper
65 . Accelerator

31. مقداري كه در جمع كننده 66 قبل از تابع تبديل، از ضرب ورودي ها و وزن ها به آن : net
29
تابع تبديل وارد مي شوند
-4 روش ويدروف هوف 67 : اين روش جزو شبكه هاي با ناظر مي باشد، انتخاب وزن هاي -13 -2
اوليه دلخواه است و يك حالت خاص از روش دلتا مي باشد كه در آن مقدار تابع برابر ورودي به
آن مي باشد.
-5 روش مراعات نظير 68 : اين روش جزو شبكه هاي با ناظر مي باشد، تابع تبديل آن -13 -2
هر نوعي مي تواند باشد، وزن هاي اوليه صفر انتخاب م يشوند، از اين روش بيشتر براي ذخيره
اطلاعات در شبكه هاي عصبي استفاده مي شود.
سيگنال آموزشي اين روش:
r = d (11-2)
رابطه تغيير وزن:
ΔW = c ⋅ d ⋅ x (12-2)
-6 روش برنده رقابتي 69 : اين روش جزو شبكه هاي بدون ناظر مي باشد، وزن هاي اوليه -13 -2
به صورت تصادفي ولي نرمال شده 70 مي باشند، يعني حاصل جمع تمامي وزن هايي كه از ورودي
مي آيند، در نهايت عدد يك باشد، در هر تغيير وزن تنها اتصال وزني كه بيشترين مقدار ورودي
ضرب در وزن را دارد، تنها تغيير مي كند.
W x (W x) i p i max 1,..., max ′ = ′⋅ =
( )
c x W i m
⎩ ⎨ ⎧
if
− =
≠
Δ =
i m
W i
i 0 if
(13-2)
66 . Sigma
67 Widrof-Hoff
68 Correlation
69 . Winner take all, Competetive
70 . Normalized

32. در ضمن در اين روش گره هايي كه بعنوان خروجي در كنار يكديگر قرار گرفته اند نيز بر روي
هم اثر تضعيف كننـده مـي گذارنـد (رقـابتي ) و يكـي ديگـر از وجـه تمـايز ايـن روش بـا سـاير
روش هاست.
در اينجا معرفي چند روش عمده يادگيري به پايان م يرسد، البته ممكن است روش هاي ديگري نيز
موجود باشد كه در اين پروژه از آن صرف نظر شده، مثل روش ماشين بولتزمن 71 يا روش هاي آماري
30
. مثل بيز 72
: -14- پرسپترون چند لايه و روش پس انتشار 73 2
قبلا در مورد روش پرسپترون تك لايه و نحوه عملكرد آن صحبت كرديم، در اينجا اين مطلب را
بيان مي كنيم كه روش پرسپترون تك لايه بدليل محدوديتي كه در تابع تبديل و تعداد لايه دارد،
تنها قادر به حل مسائلي است كه داراي پيچيدگي زيادي نباشد و از طرفي در روشهاي جديد امكان
پي بردن به ماهيت و درجه سيستم نيز وجود دارد كه در اين روش امكان پياده سازي آن نيست و
نياز به شبكه اي است كه جريان برگشتي نير در آن اثر داشته باشد. براي درك بهتر اثر لاي هها بر
حل مسائل به شكل زير توجه كنيد.
71 . Boltzman
72 . Bays
73 . MLP(Multi Layer Perceptron) & Backpropagation

33. 15 - تاثير تعداد لايه هاي مخفي مياني بر قدرت تفكيك پذيري شبكه - شكل 1
15- -روش پس انتشار چيست و چگونه كار م يكند 2
در اين روش كه با قانون دلتا كار مي كند و يك روش با ناظر م يباشد، از خطاي توليد شده به
صورت برگشتي براي تصحيح ضرايب وزني لاي ههاي مياني و خروجي استفاده م يكند. با گرفتن
ورودي ها كار شروع مي شود، مقادير ورودي در وزن هاي سيناپسي ضرب شده و در پشت يك گره
تابع تبديل (لايه مياني) با هم جمع م يشوند و بعنوان ورودي به تابع تبديل وارد شده و خروجي
مربوط ايجاد م يگردد، در صورت وجود لايه بعدي اين خروج يها بعنوان ورودي آن لايه تلقي
مي شوند تا به آخرين لايه(لايه خروجي) برسيم، در اينجا خروجي لايه با مقدار مطلوب مقايسه شده
31

34. و از تفاضل مقدار مطلوب و خروجي خطا توليد مي گردد، از اين خطا در برگشت به لايه هاي قبلي به
عنوان تغيير دهنده وزن ها استفاده مي شود. تنها قاعده اي كه بايد رعايت شود آنست كه در حركت
رو به جلو ورودي ها به گره تابع تبديل وارد شده و خروجي را ايجاد م يكردند و در حركت رو به
عقب ورودي به گره در مشتق تابع تبديل با توجه به ورودي قبلي آن ضرب شده و خروجي گره
ايجاد مي گردد، اين خروجي در گام يادگيري و ورود يهاي لايه قبلي ضرب شده و تغيير وزن آن
اتصال را ايجاد م يكند، اين روند تا زمان رسيدن به اولين لايه ادامه يافته و در نهايت تغيير وزن با
اضافه شدن به وزن هاي اوليه كامل مي شود، اين روند آنقدر ادامه مي يابد تا به ازاي ورودي هاي مورد
نظر به خروج يهاي مطلوب و يا نزديك آن برسيم؛ در ضمن توجه داشته باشيد كه در صورت صفر
شدن خطا يادگيري به درستي انجام نگرفته و اين خطا بايد كوچك و در نزديكي هاي صفر باشد.
32
-16-2 انواع اعمال وزن به شبكه
-1-16 روش بچ 74 : در اين روش مقادير تغيير وزني كه به ازاي كليه ورودي هاي آموزشي -2
داده مي شود تا انتها محاسبه شده و ميانگين وزني آنها در آخرين داده آموزشي به وزن ها اعمال
مي شود يعني:
p
Σ=
Δ = Δ
i
i W
p
W
1
Final
1
(14-2)
تعداد كل اطلاعات داده هاي آموزشي است، اين روش تغيير وزن ملاي متري نسبت به P
روش خزشي دارد
-2-16 روش خزشي 75 : با هر بار كه تغيير وزني بخاطر يك ورودي از داد ههاي آموزشي -2
ايجاد مي شود، تغيير وزن در همان لحظه به لايه اعمال مي شود.
74 . Batch
75 . Incremental

35. -17- مومنتوم 76 : بر طبق تجربيات در حالتي كه شبكه به سمت پايداري در حال حركت 2
باشد،وزن هايي كه با داده هاي اوليه شروع به كم و زياد شدن مي كنند، اين روند را تا پايان كار حفظ
خواهند كرد، از همين مساله براي يادگيري سريع تر استفاده مي كنيم، يعني روند تغيير وزن را در
روند يادگيري تاثير مي دهيم.
W(t +1) =W(t)+αδ z +μ[W(t)−W(t −1)] (15-2)
نرخ مومنتوم كه به منظور پايداري عددي بين صفر تا يك انتخاب مي شود. :μ
با اضافه شدن اين بخش به نوعي تغيير وزن متناسب با تاريخچه يادگيري ايجاد كرده ايم.
16 - نحوه رشد وزن ها با قاعده مومنتوم - شكل 1
-18-2 نرخ يادگيري تناسب پذير:
در اين روش گام هاي يادگيري ما با توجه به مقدار خطا تغيير مي كند،بدين شكل كه وقتي خطا
در حال كاهش ياشد گا مهاي ريزتر و هنگامي كه خطا در حال افزايش است گا مهاي بلندتري
بر مي داريم، كه رابطه آن در فرمول زير آمده است.
33
76 . Momentum

36. 34
(16-2)
( )
( )
( ) ( )
( )
⎧
⎪ ⎪
⎨
⎪ ⎪
⎩
LR t a E
+ Δ <
0
b LR t E
1 − ⋅ Δ <
0
LR t
= =
+ =
0.1 , 0.5
otherwise
1
a b
LR t
-19- انواع سامانه از لحاظ وابستگي به گذشته 2
-1 سامانه استاتيكي 77 : خروجي حال شبكه ما تنها به ورودي هاي حال بستگي دارد. -19 -2
-2 سامانه ديناميكي 78 : خروجي زمان حال شبكه ما به ورودي حال و ورودي و -19 -2
خروجي زمان هاي گذشته نيز ارتباط مستقيم دارد. به طور مثال وقتي مي خواهيم دماي اتاق را
در لحظات بعدي پي شبيني كنيم با يك روند ديناميكي ر وبه رو هستيم كه اين تغييرات به طور
پيوسته و در طي زمان و با توجه به حالت قبلي تغيير مي كند و يا پيش بيني سرعت خودرو كه
در هر لحظه سرعت ما به سرعت و شتاب لحظه قبل خودرو وابسته است.
-20-2 پنجره 79
در واقع اين معنا از روش پنجره اي 80 برداشت شده است و يك عامل مفهومي مي باشد كه به
محدوده ديد شبكه در هر بار دريافت اطلاعات از نوار داده ها گفته مي شود. يك نوار داده كه
اطلاعات ورودي و خروجي شبكه را براي يادگيري تامين مي كند، مي تواند حد پايين و بالايي
نداشته باشد و يادگيري ما تا بينهايت ادامه يابد و هر لحظه به طول داد ههاي ما به صورت همزمان
افزوده شود و از وزن هاي شبكه بتوان براي پيش بيني نيز استفاده كرد.
77 . Static system
78 . Dynamic system
79 . Window
80 . Windowing Method

37. 21-2 -پوشش شبكه ها
شبكه هاي ديناميكي قابليت يادگيري شبك ههاي استاتيكي را دارند ولي بر عكس اين قضيه
برقرار نيست، و وقتي شما يك شبكه ديناميكي طراحي كرديد براي حل مسائل استاتيكي، مي توانيد
درجه ديناميكي آن را صفر تعريف كنيد.
-22 شبكه هاي سنكرون 81 و آسنكرون 82 -2
شبكه ها از لحاظ رابطه ورودي و خروجي به دو دسته سنكرون و آسنكرون تقسيم بندي مي شوند، در
شبكه هاي سنكرون با دادن ورودي به شبكه، شبكه خروجي را در همان زمان به ما مي دهد، ولي در
آسنكرون با دادن ورودي ، شبكه چندين بار تكرار مي شود تا در نهايت خروجي مورد نظر را به ما
تحويل دهد.
-23-2 انواع شبكه از لحاظ تعداد ورودي و خروجي
1) شبكه هاي ت ك ورودي و تك خروجي 83
2) شبكه هاي چند ورودي و تك خروجي 84
3) شبكه هاي چند ورودي و چند خروجي 85
35
81 . Synchronous
82 . Asynchronous
83 . SISO(Single Input Single Output)
84 . MISO(Multi Input Single Output)
85 . MIMO(Multi Input Multi Outout)

38. فصل سوم
طراحي شبكه عصبي
36

39. -1-3 مقدمه:
در اين بخش با توجه به كليه مطالب گفته شده در فصل تئوري و چند مطلب جديد كه از
روش هاي نوين طراحي شبكه عصبي مصنوعي م يباشند، براي ساخت بسته نرم افزاري با نام معمار
شبكه عصبي 86 استفاده شده، اكثر زمان پروژه صرف توليد اين نرم افزار به كمك متلب 87 شده است.
در توليد اين برنامه سعي شده تا بخش هاي مختلف آن به صورت توابع مجزا نوشته شوند تا در
صورت لزوم براي تصحيح و ارتقاي برنامه در آينده نيازي به تغيير اساسي و دوباره كاري نباشد.
-2-3 معرفي عناصر افزوده شده به نمون ههاي كلاسيك
-1- تابع تبديل تانژانت هايپربوليك 88 : در اين پروژه از تابع تانژانت هيپربوليك 89 2- 3
استفاده شده، چون هم از لحاظ حدود بالا و پايين يك تابع دوقطبي بوده و از طرفي چنانچه در
فصل قبل توضيح داده شد، براي تنظيم كردن وز نها و پارامترهايي كه در اين فصل توضيح
داده م يشود، در روش پس انتشار به تابعي مشتق پذير نياز داريم و مقدار مشتق اين تابع برابر
است با:
(tanh(x))' = (1+ tanh(x))× (1− tanh(x)) (1-3)
كه كار ما را در برنامه نويسي راحت تر كرده و بار محاسباتي را كمتر مي كند.
2- -تابع انرژي خطا: معيار يادگيري كه در اين پروژه بكار رفته و با رسيدن برنامه به 2- 3
آن هدف، فرآيند يادگيري متوقف مي شود، همان خطاي مربعات ميانگين 90 يا تابع انرژي خطا
مي باشدكه به رابطه گاوس- نيوتن نيز مشهور است.
) 3 - 2 ( ( ) Σ=
37
1
E =
error i
n
i
1
( )2
2
86 . Neuarl Network Architecture
87 . MATLAB
88 . Hyperbolic tangent
89 . tanh
90 . MSE(Mean Squares Error)

40. فصل چهارم
استفاده از نوروفازي در تشخيص الگو
38

41. مقدمه:
همانطور كه از دوران كودكي به ياد داريم، براي يادگيري حروف الفبـا ابتـدا يـك الگـو بـه مـا داده
مي شد، سپس با سرمشقي كه گرفته بوديم، با خطوط اغلب نامتشابه شروع به تكرار اين الگو با تكرار
نام آن مي كرديم، و نهايتا با مشاهده اين الگو با فونت ها و سايزهاي مختلـف آن حـرف را تـشخيص
مي داديم، در اين بين چه اتفاقي افتاد ! با پي بردن به روشي كه بتـوان ايـن نحـوه يـادگيري را الگـو
برداري كرد، مي توان نرم افزاري تهيه كرد كه قادر به يادگيري الگوها باشد، در اين پـروژه نيـز سـعي
شده است تا بعنوان اولين گام روشي براي يادگيري حروف الفباي فارسي ارايه شود كه اولين گام در
راه ماشين هاي با قدرت تشخيص الگوهاست كه اين ابزارها مـي تواننـد جـايگزين نيـروي انـساني در
يكسري كارها مانند تشخيص كد پستي نامه ها و يا دسته بندي نامه ها، تشخيص پـلاك خودروهـا در
روبات پليس و يا حتي عابربان ك هايي با ورودي دستخط افراد براي دريافت وجه باشد كه خود عـلاوه
بر از بين بردن يك وسيله زائد بعنوان رابط انـسان و ماشـين (صـفحه كليـد عـابر بانـك ) مـي توانـد
جايگزين شناسايي افراد از طريق دستخط بجاي كد و كلمه عبور ( كه يك داده ي زا ئد بـراي حفـظ
كردن مي باشد) استفاده شود.
MLP character
نماي كلي از روش كار نوروفازي با گيرنده هاي فازي و پردازشگر عصبي
39

42. انتخاب الگوي يادگيري:
ابتدا داده ها توسط چشم به عنوان ورودي به مغـز وارد مـي شـوند كـه در ايـن بـين بخـش چـشم و
قسمتي از مغز كار حذف نقاط زائد و نويزها را انجام داده و بنحوي روي الگـو كـار بزرگ نمـايي را بـا
اندازه مردمك و قرنيه انجم مي دهد و مغز با استفاده از الگوي ورودي شبي هتـرين حالـت بـه مطالـب
آموخته شده را به عنوان خروجي به ما مي دهد، پس نياز به روش يادگيريي داريم كـه هـم توانـايي
درون يابي بالا براي تشخيص الگوهاي مشابه را داشته و هم نيازي به دخالت مستقيم براي يـادگيري
نداشته باشد تا از پيچيدگي هاي روش بكاهد، در روش يادگيري فازي امكان شباهت سنجي بـالايي
وجود دارد ولي در عوض نياز به در بخش قانو ن نويسي آن مشكلات و پيچيدگي هـاي زيـادي وجـود
دارد كه عمل يادگيري را پيچيده مي كند، در عوض در روش شبكه هاي عصبي ن ياز به تعـداد ورودي
بيشتري براي الگو گيري درس ت تر داريم ولي قدرت يادگيري روابط را بهتر انجام داده و فقط نياز به
الگوهاي ورودي دارد تا مثلا از طريق الگوي گراديان نزولي بين ورودي ها و خروجي هـا يـك ارتبـاط
عقلاني ايجاد كند بدون اينگه نيازي به دانستن پيچيدگي هاي موجود داشته باشيم.
بهترين الگويي كه براي شبي ه سازي استفاده م ي شود، همان الگوي نوروفازي است، كه از بخش فازي
آن براي پي بردن شباهت ورودي به الگوي آموزش ديده و پي بردن به ويژگـي و خـصوصيات كلـي
تصوير (به بررسي تك تك پيكسل ها نم ي پردازد) و از شبكه هاي عصبي براي يادگيري و درون يـابي
بين اطلاعات ورودي مشابه با الگوهاي آموخته شده استفاده مي شود؛ براي اين منظـور از ويژگيهـاي
كلي يك حرف مثل تعداد دندانه افقي، تعداد دندانه عمودي، تحدب عمودي، تحدب افقي، و كمانهـا
در دو راستاي 45 و 135 درجه بعنوان ورود ي هاي فازي استفاده مي شود كه تصوير ورودي از لحاظ
اين ويژگيها بصورت فازي داراي يك تابع تعلق خواهد بود (يـك بـردار هـشت مؤلفـه اي)، و از يـك
شبكه عصبي براي يادگيري روابط بين ويژگي ها و حروف اصلي استفاده ميشود.
40
پيش
پردازشگر

43. يك روش پيشنهادي براي تشخيص الگوها، استفاده از پيش پردازشگرهايي مانند شبكه عصبي است،
كه توانايي آنها با تعداد لاي ه ها و تعداد نرون هاي موجود در هر لايه متناسب است، كه استفاده از اين
پــيش پردازشــگرها توانــايي شــبكه در مرزبنــدي بــين مقــادير موجــود در فــضاي تحليــل را بــالاتر
مي برد(مطابق شكل زير).
معادله مرزهاي جداكننده(معادله يك بيضوي) 2 0
2
1 X w + X X w + X w + w X =
41
11 1 2 12 2 2 22 2
تشخيص الگو:
در صو رتي كه ورودي ها و الگوها فضاي نمايش بوده و كلاس بنـدي بـين عناصـر فـضاي تفـسير مـا
باشند، به برقرار كردن ارتباط بين فـضاي تفـسير و فـضاي نمـايش، فرآينـد تـشخيص الگـو گفتـه
مؤلفه اي ذخيره مي شود كه اين ويژگي هـا n مي شود، در اين روش ويژگيهاي الگو بصورت يك بردار
از روي ساخ تار و خصوصيات هندسي و توپولوژي تصوير مورد تجزيه و تحليل قرار مي گيرد، سـپس
الگو بصورت برداري در فضاي تصوير نمايش داده مي شود كه نهايتا هدف تعيين ناحيه اي از فضاست
كه اين بردار ويژگي به آن تعلق دارد؛ سيستم تشخيص كـاراكتر يـك مـورد خـاص از سيـستمهاي
تشخيص الگوست.
پيش پردازش روي تصوير:
به مجموعه عملياتي كه روي تصوير براي فهم راحت تر الگوي آن صورت مي گيرد (مانند حذف نـويز،
نازك سازي، افزايش كنتراست و ...) پيش پردازش روي تصوير گفته مي شود.
در اين پروژه براي آموزش شـبكه ابتـدا اطلاعـات ورودي بـصورت تـصاويري از حـروف بـه آن د اده
مي شود، سپس با خواندن پيكسل به پيكسل اين تصاوير، هـر يـك از تـصاوير و تعـاريفي كـه ارائـه
خواهند شد، هر يك مقداري از تعلق ( با تعاريف فازي ) نسبت به ويژگي هايي مانند، پردندانـه افقـي،
حروف بلند، حروف كشيد ه، ،Y تحدب نسبت به محور ،X پردندانه عمودي، تحدب نسبت به محور
پيدا خواهند كرد، كـه ايـن ويژگـي هـا ،y=-x و كماندار نسبت به خط y=x كماندار نسبت به خط
براي هر كاراكتر به صورت يك بردار 8 مؤلفه اي ذخيره خواهند شـد، سـپس ايـن بـردار و كـاراكتر
براي يادگيري روابط داده مي شوند. MLP مربوطه به عنوان ورودي و خروجي به شبكه عصبي

44. خطوط قطع كننده كاراكتر براي استخراج ويژگي ها
تعريف توابع تعلق مورد نياز براي دسته بندي ويژگي هاي كاراكترها از ديدگاه فازي:
x كاراكترهاي پردندانه افقي : در صورتي كه نقطه ياب به صورت افقي از وسط كاراكتر مـوازي محـور
عبور كرده و كاراكتر مورد نظر را در نقاطي قطع كند، بر اساس تعداد نقاط تقاطع و تابع تعلـق زيـر
وابستگي به اين خصوصيت ايجاد خواهد شد.
42
1
4
F1 = .25 + + .75
+
3
5 .
2
1
كاراكترهاي پردندانه عمودي : در صورتي كه نقطه ياب به صورت افقي از وسط كاراكتر موازي محـور
عبور كرده و كاراكتر مورد نظر را د ر نقاطي قطع كند، بر اساس تعداد نقاط تقـاطع و تـابع تعلـق y
زير وابستگي به اين خصوصيت ايجاد خواهد شد.
1
4
F2 = .25 + + .75
+
3
5 .
2
1
كاراكترهاي محدب نسبت به طول تصوير : بر اساس تجربه افراد خبره نشان داده شـده كـه هـر چـه
نسبت محيط به ارتفاع تصوير بيشتر باشد، شكل تحدب بيشتري در راسـتاي افقـي خواهـد داشـت،
براي بدست آوردن تصوير كافيست تعداد نقاط سياه تصوير را بشماريم (عدد ثابت بكـار بـرده شـده
يك عدد تجربي براي نرمالايز كردن اين مقادير مي باشد).
F black pixel numbers
∫ ×
=
height
5
total pixel numbers
3

45. كاراكترهاي محدب نسبت به عرض تصوير : بر اساس تجربه افراد خبره نشان داده شده كـه هـر چـه
نسبت محيط به عرض تصوير بيشتر باشد، شكل تحدب بيشتري در راسـتاي افقـي خواهـد داشـت،
براي بدست آوردن تصوير كافيست تعداد نقاط سياه تصوير را بشماريم.
F5 = .1 + + +
ازكاراكتر عبور كرده و y=-x در صورتي كه نقطه ياب با قاعده :y=-x كاراكترهاي كماندار نسبت به
كاراكتر مو رد نظر را در نقاطي قطع كند، بر اساس تعداد نقاط تقاطع و تابع تعلق زيـر وابـستگي بـه
اين خصوصيت ايجاد خواهد شد.
43
F black pixel numbers
∫ ×
=
width
5
total pixel numbers
4
ازكـاراك تر عبـور كـرده و y=x در صورتي كه نقطه ياب با قاعده :y=x كاراكترهاي كماندار نسبت به
كاراكتر مورد نظر را در نقاطي قطع كند، بر اساس تعداد نقاط تقاطع و تابع تعلق زيـر وابـستگي بـه
اين خصوصيت ايجاد خواهد شد.
1
4
6 .
3
3 .
2
1
1
4
F6 = .1 + + .
6 +
3
3 .
2
1
كاراكترهاي كشيده : با اندازه گيري ابعاد تصوير و بدست آوردن نسبت طول بـه عـرض ، مقـدار تـابع
تعلق مربوطه بدست مي آيد.
AR
.01 .25 , .05
⎧
⎪⎪ ⎪ ⎪
⎨
⎪ ⎪ ⎪ ⎪
⎩
≤ <
AR
.25 ≤ <
.75 , .2
AR
.75 ≤ <
1 , .4
AR
1 ≤ <
1.5 , .6
AR
1.5 ≤ <
2 , .8
≤
=
2 , .95
7
AR
F
كاراكترهاي عريض : با اندازه گيري ابعاد تصوير و بدست آوردن نسبت عرض بـه طـول ، مقـدار تـابع
تعلق مربوطه بدست مي آيد.
F8 = 1− F7
جمع بندي: در نهايت پس از تقسيم بندي كردن بردارهاي ويژگي الگوهاي مختلـف بـه روش فـازي،
اين ويژگي ها و الگوها به شبكه عصبي براي آموزش داده مي شوند تا بعد از اتمام يـادگييري
از وزن هاي سيناپسي توليد شده به عنوان پردازشگر و از طبقه بندي كننده فازي بـه عنـوان
يك كدگر براي استخراج ويژگي هاي داده هاي ورودي استفاده مي شود.