MIRZO ULUG‘BEK NOMIDAGI O‘ZBEKISTON MILLIY UNIVERSITETI JIZZAX FILIALI SUN’IY INTELLEKT “AXBOROT TIZIMLARI VA TEXNOLOGIYALARI” KAFEDRASI. SUN’IY INTELLEKT FANI S.B. Ergashev s.b.ergashev@gmail.com

1. БАНК
WOODGROVE
MIRZOULUG‘BEKNOMIDAGIO‘ZBEKISTON
MILLIYUNIVERSITETIJIZZAXFILIALI
SUN’IYINTELLEKT
XATOLARNITESKARITARQALISHI
(BACKPROPAGATION)USULI
S.B. ERGASHEV
ATT KAFEDRASI

2. БАНК
WOODGROVE 2
 Rekursiv ishlaydigan chiziqli bo'lmagan funktsiyalar (Sun'iy neyron tarmoqlar)
mashinani o'rganish dunyosiga kiritilgandan beri, uni qo'lash jadal rivojlanmoqda.
 Backpropagation (teskari tarqalishi usuli) - bu neyron tarmoqni o'qitish bilan
bog'liq jarayon. Neyron tarmoq qatlamlari oldinga siljishning xatoliklar va
og'irliklarini aniq sozlash uchun bu yo'qotishlarni tuzatish orqali orqaga
qaytarishni o'z ichiga oladi.
 Backpropagation neyron tarmog'ini o'qitishning mohiyatidir. Bu oldingi davrning
iteratsiya jarayoni olingan xato darajasi (yo'qotish) asosida neyron tarmog'ining
umumlashtirilgan og'irliklarini qayta sozlash amaliyotidir.
SNT
O‘ZMUJF
ORQAGATARQALISH ( BP - BACKPROPAGATION )

3. БАНК
WOODGROVE
XATOLARNI TUZATISH UCHUN TESKARI TARQALISH
USULINIANIQLASH
3
Neyron tarmog'ini o'rgatish uchun 2 ta o'tish (bosqich) mavjud:
 Oldinga
 Orqaga
Oldinga o'tishda biz kirish qatlamiga ma'lumotlar kiritilishini targ'ib qilishdan
boshlaymiz, yashirin qatlam(lar) orqali o'tamiz, chiqish sathidan tarmoqning
bashoratlarini o'lchaymiz va nihoyat tarmoqning bashoratlari asosida tarmoq
xatosini hisoblaymiz.
SNT
O‘ZMUJF

4. БАНК
WOODGROVE 4
Orqaga tarqalishning maqsadi tarmoq prognozlari va ma'lum bir kirish uchun
kerakli chiqish o'rtasidagi xatolikni minimallashtirishdir. Ushbu jarayon ko'plab
iteratsiyalar uchun takrorlanadi, tarmoqning bashoratlari etarlicha aniq bo'lgunga
qadar har bir iteratsiyadan keyin og'irliklar o'rnatiladi.
Backpropagation neyron tarmoqlarni o'qitish uchun keng qo'llaniladigan
algoritmdir, u nisbatan samarali va turli xil turdagi neyron tarmoqlari, jumladan
MLP, CNN va RNN bilan ishlatilishi mumkin. Biroq, har doim ham optimal
yechimga yaqinlashish kafolatlanmaydi.
SNT
O‘ZMUJF
ORQAGATARQALISH ( BP - BACKPROPAGATION )
MAQSADI

5. БАНК
WOODGROVE 5
ORQAGATARQALISHALGORITMI ISHLASHI
SNT
O‘ZMUJF
MLPlar BPL algoritmida ishlatiladigan og'irliklarni sozlashda orqa yo'nalishi bo'yicha
ma'lumotlarni oldinga uzatuvchi tarmoqlar deb ataladi. Konvolyutsion neyron tarmog'i (CNN -
Convolutional Neural Network)
Orqaga tarqalish-o'rganish BPL
(BP – Backpropagation. Orqa
tarqalish qatlami) bo'lgan MLP
(Multi-Layer Perceptron - Ko'p
Qatlamli Neyron)lar ixtiyoriy chiziqli
bo'lmagan xaritalashni amalga
oshirish qobiliyati tufayli o'rnatilgan
ANN arxitekturalaridan biridir.

6. БАНК
WOODGROVE
BACKPROPAGATIONI (TESKARI TARQALISH USULI)
QO'LLASHNING BA'ZI SOHALARI QUYIDAGILAR
6
Tabiiy tilni qayta ishlash (NLP): Backpropagation neyron tarmoqlarni tilni tarjima qilish,
matnni tasniflash kabi tabiiy tilni qayta ishlash vazifalarni o'rgatish uchun qo'llanilgan.
Avtonom transport vositalari: Backpropagation avtonom transport vositalarida neyron
tarmoqlarni o'rgatish uchun, ularga ob'ektlarni aniqlash, qarorlar qabul qilish va Real
vaqtda tegishli harakatlarni amalga oshirish imkonini beradi.
Robototexnika: Backpropagation robot harakatlarini boshqarish, atrofdagi ob'ektlarni
tanib olish va murakkab muhitda harakatlanish kabi robototexnika dasturlari neyron
tarmoqlarni o'rgatish uchun qo'llanilgan.
SNT
O‘ZMUJF

7. БАНК
WOODGROVE 7
• Tasvir va nutqni aniqlash: Backpropagation neyron tarmoqlarni tasvir va nutqni
aniqlash vazifalari uchun o'rgatish uchun ishlatiladi. Ushbu tarmoqlar tasvirlardagi
ob'ektlar, yuzlar va naqshlarni aniqlashni yoki og'zaki tildagi so'zlar va iboralarni tanib
olishni o'rganishi mumkin.
SNT
O‘ZMUJF
BACKPROPAGATIONI (TESKARI TARQALISH USULI)
QO'LLASHNING BA'ZI SOHALARI QUYIDAGILAR

8. БАНК
WOODGROVE
BACKPROPAGATIONNI MODELNI MISOLIDAO'RGANAMIZ
MODELINIO'RGATISHNINGBUUSULIORQAGATARQALISHDEBNOMLANADI
8
Diagrammada keltirilgan barcha qadamlarni umumlashtiramiz:
• Model: Biz ustida ishlayotgan model.
• Calculate The Error – Model Chiqishi haqiqiy Chiqishdan qanchalik yiroqda?
SNT
O‘ZMUJF

9. БАНК
WOODGROVE
XATONI MINIMALLASHTURUVCHIASOSIYQADAM
9
• Minimum Error - Xato minimallashtirilgan / kamaytirilgan yoki yo'qligini tekshirish.
• Update The Parameters - Agar xato juda katta bo'lsa, xatoni minimallashtirish uchun
parametrlarni (og'irliklar va noaniqliklar) o'zgartiring. Parametrlarni yangilagandan so'ng
xatoni tekshirishda davom etadi. Xato minimal bo'lguncha jarayonni davom etadi.
Model Is Ready To Make A Prediction
– Xatolik minimallashganidan keyin siz
modelingizga baʼzi maʼlumotlarni
kiritishingiz mumkin va berilgan
maʼlumotlarga koʻra u chiqishni ıshlab
chiqaradi.
SNT
O‘ZMUJF

10. БАНК
WOODGROVE
MISOL: MA'LUMOTLAR TO'PLAMI. QUYIDAGI JADVALNI
KO'RIB CHIQISH
10
SNT
O‘ZMUJF
Kiritish Istalgan Chiqish
0 0
1 2
2 4
Endi "W" vazn qiymati = 3 bo'lganda modelingizning chiqishi:

11. БАНК
WOODGROVE
MISOL: MA'LUMOTLAR TO'PLAMI. QUYIDAGI JADVALNI
KO'RIB CHIQISH
11
SNT
O‘ZMUJF
Kiritish Istalgan Chiqish Model Chiqishi (W=3)
0 0 0
1 2 3
2 4 6
Haqiqiy Chiqish va kerakli Chiqish o'rtasidagi farqga qaraymiz:

12. БАНК
WOODGROVE
MISOL: MA'LUMOTLAR TO'PLAMI. QUYIDAGI JADVALNI
KO'RIB CHIQISH
12
SNT
O‘ZMUJF
Kiritish Istalgan Chiqish Model Chiqishi (W=3) Mutlaq Xato Kvadrat Xato
0 0 0 0 0
1 2 3 1 1
2 4 6 2 4
Keling, "W" vaznining qiymatini o'zgartiramiz. Xatoga e'tibor bering (W = 4)

13. БАНК
WOODGROVE
MISOL: MA'LUMOTLAR TO'PLAMI. QUYIDAGI JADVALNI
KO'RIB CHIQISH
13
SNT
O‘ZMUJF
Kiritish Istalgan Chiqish
Model Chiqishi
(W=3)
Mutlaq Xato Kvadrat Xato
Model Chiqishi
(W=4)
Kvadrat Xato
0 0 0 0 0 0 0
1 2 3 1 1 4 4
2 4 6 2 4 8 16
Bu yerda biz W qiymatini oshirganimizda, maksimal xatolik paydo bo‘ldi. Shunday qilib, W
qiymatini yanada oshirishning ma'nosi yo'q. Ammo, o'ylab ko'rsak, agar W qiymati kamaytirilsa
nima bo'ladi? Quyida keltirilgan jadvalga o'tamiz:

14. БАНК
WOODGROVE
MISOL: MA'LUMOTLAR TO'PLAMI. QUYIDAGI JADVALNI
KO'RIB CHIQISH
14
SNT
O‘ZMUJF
Kiritish Istalgan Chiqish
Model Chiqishi
(W=3)
Mutlaq Xato Kvadrat Xato
Model Chiqishi
(W=2)
Kvadrat Xato
0 0 0 0 0 0 0
1 2 3 2 4 3 0
2 4 6 2 4 4 0

15. БАНК
WOODGROVE
MINIMAL GRADIENTLARI TOPISH
15
SNT
O‘ZMUJF

16. БАНК
WOODGROVE
MINIMAL GRADIENTLARI TOPISH
16
SNT
O‘ZMUJF

17. БАНК
WOODGROVE 17
SNT
O‘ZMUJF
MINIMAL GRADIENTLARI TOPISH

18. БАНК
WOODGROVE
XATOLARNI TUZATISH UCHUN TESKARI TARQALISH
USULINI ANIQLASH
18
SNT
O‘ZMUJF
 Nazorat ostidagi o'rganishda bu yo'qotish funktsiyasi farqlanadi natijada
gradient hosil qiladi, bu neyron tarmog'ining oxirgi qatlamining aniqlik
darajasini oshirish va og'irliklarini to'g'rilash uchun ishlatiladi.
 Oldingi qatlamlarga o'tish paytida neyron tarmog'i tomonidan amalga
oshiriladigan har bir signal transformatsiyasi farqlanishi, xatoga nisbatan
chiqish gradientining oxirgi qatlami, oldingi qatlam gradientni hisoblash uchun
ishlatilishi mumkin. Bu holat kirish signaliga yetguncha davom etadi v.k.z.
 Keyinchalik bu gradientlar Neyron tarmog'ining har bir vazniga kichik
yangilanishlar qilish uchun ishlatiladi.

19. БАНК
WOODGROVE
MINIMAL
GRADIENTLARI
TOPISH
19
SNT
O‘ZMUJF

20. БАНК
WOODGROVE
MINIMAL GRADIENTLARI TOPISH
20
SNT
O‘ZMUJF

21. БАНК
WOODGROVE
XATOLARNI TUZATISH UCHUN TESKARI TARQALISH
USULINIANIQLASH
21
SNT
O‘ZMUJF
Kirish bilan bog'liq xato gradientlari
odatda e'tiborga olinmaydi, chunki
kirish orqaga tarqalish algoritmi
tomonidan yangilanmaydi. Biroq, bu
gradientlar muhim ma'lumotlarni
taqdim etadi: ular tarmoq chiqishini
tegga yaqinroq qilish uchun
kirishdagi har bir signal
komponenti qanday o'zgarishi
kerakligini tasvirlaydi.
Gradient orqaga tarqalishini hisoblash

22. БАНК
WOODGROVE
BIZ OG‘IRLIK QIYMAT XATOSINI MINIMALASHTIRISHGA
HARAKAT QILAMIZ
22
SNT
O‘ZMUJF
 Shuning uchun biz nima uchun vazn qiymatini oshirish va
kamaytirishimiz kerakligini aniqlashimiz kerak. Xato qiymati minimal
bo'lgunga qadar og'irlik qiymatlarini yangilashda davom etamiz.
 Jarayon davomida agar og'irlik qiymati keragidan ortiq yangilansa,
xatolik ko‘payadi. O'sha vaqtda to'xtash kerak va bu vazningizning
yakuniy qiymati xisoblanadi.

23. БАНК
WOODGROVE
ENDI BARCHAQADAMLARNI KO‘RIB CHIQAMIZ
23
Nihoyat, xato kamayganini payqadik.
Shunday qilib, biz yana orqa qatlamga qaytdik va W vazn qiymatini kamaytirdik.
Shundan so'ng biz xato ko'payganini payqadik.
W og'irlik qiymati oshdi.
Shunday qilib, bu xatoni kamaytirish uchun biz orqa qatlamga qaytdik.
Shundan so'ng biz qandaydir xato borligini ko'ramiz.
Shunday qilib, birinchi navbatda tasodifiy W qiymatni ishga tushirdi.
SNT
O‘ZMUJF

24. БАНК
WOODGROVE
QUYIDAKELTIRILGAN GRAFIKNI
KO‘RAMIZ
24
SNT
O‘ZMUJF
•When The Gradient Is Negative(-)
Gradient Salbiy Bo'lsa (-),
Increase In Weight Decreases The Error
(Og'irlikning Oshishi Xatoni Kamaytiradi).
•When The Gradient Is Positive(+)
Gradient Ijobiy Bo'lsa (+),
Decrease In Weight Decreases The Error
•(Og'irlikning Pasayishi Xatoni Kamaytiradi).
Umumiy yo'qotishni minimallashtirish uchun biz og'irliklarni yangilashimiz kerak. Bunda “umumiy
yo'qotish minimal" ga erishish kerak. Neyron tarmoqlarda orqaga tarqalish shunday ıshlaydi.

25. БАНК
WOODGROVE
ORQAGATARQALISHNINGAVZALLIKLARI
QUYIDAGILARDAN IBORAT
25
 Buzilmaydigan: orqaga tarqalish usuli buzilmaydigan usul bo'lib, u namunalarni
o'zgartirmasdan yoki shikastlamasdan o'rganish imkonini beradi.
 Yuqori sezuvchanlik: orqaga tarqalish usuli juda sezgir bo'lib, kichik miqdordagi
ma’lumotlarni aniqlash imkonini beradi.
 Minimal namuna tayyorlash: orqaga tarqalish usuli minimal namuna tayyorlashni talab
qiladi, bu amallar uchun nisbatan oson va tejamkor usuldir.
 Chuqurlik profilini yaratish: orqaga tarqalish usuli chuqurlik funksiyasi sifatida
namunadagi materialning taqsimlanishini o'rganish orqali malum bir chuqurlik profilini
belgilab olishi hamda ushbu chuqurlik profilini amalga oshirish uchun ishlatilishi mumkin.
SNT
O‘ZMUJF

26. БАНК
WOODGROVE
ORQAGATARQALISHNING KAMCHILIKLARI
QUYIDAGILARDAN IBORAT
26
 Orqaga tarqalish aniqlik darajasi past ma'lumotlarga va tartiblanmaganlikga nisbatan
juda sezgir bo'lishi mumkin
 Uning ishlashi kirish ma'lumotlariga bog'liq
 Trening uchun ortiqcha vaqt kerak
 Mini-partiya uchun xam orqaga tarqalish uchun matritsaga asoslangan usulga ehtiyoj
SNT
O‘ZMUJF

27. БАНК
WOODGROVE
USULNING MUHOKAMASI
27
Orqaga tarqalish algoritmi ma'lum bir kirish uchun tarmoqning chiqishini hisoblash va
keyin uni haqiqiy chiqish bilan solishtirishdan boshlanadi. Prognoz qilingan va haqiqiy
chiqish o'rtasidagi farq xato deb ataladi va u tarmoqdagi og'irliklarning gradientlarini
hisoblash uchun ishlatiladi.
Orqa tarqalishning afzalliklaridan biri shundaki, u kirish va chiqish o'zgaruvchilari
o'rtasidagi chiziqli bo'lmagan munosabatlarni boshqarishi mumkin, bu esa uni keng
doiradagi ilovalar uchun moslashtiradi.
Biroq, orqaga tarqalish algoritmida ba'zi cheklovlar mavjud. U o'rganish tezligi va
tarmoqdagi qatlamlar soni kabi giperparametrlarni tanlashga sezgir bo'lishi mumkin. Agar
ushbu giperparametrlar ehtiyotkorlik bilan tanlanmasa, algoritm mahalliy minimallarga
yopishib qolishi va global minimumga yaqinlasha olmasligi mumkin.
SNT
O‘ZMUJF

28. БАНК
WOODGROVE
XULOSA
28
 Backpropagation shuningdek, teskari tarqalish sifatida tanilgan, neyron tarmoqlarida neyronlar orasidagi
ulanishlar og'irliklarini yangilash uchun ishlatiladigan nazorat ostida o'rganish algoritmidir.
 Algoritm xatoni tarmoq orqali orqaga yoyish orqali prognoz qilingan chiqish va haqiqiy chiqish o'rtasidagi
xatolikni minimallashtirish uchun ishlatiladi.
 Orqaga tarqalish algoritmi ma'lum bir kirish uchun tarmoqning chiqishini hisoblashni, uni haqiqiy chiqish bilan
solishtirishni va keyin xatoni kamaytirish uchun tarmoqdagi og'irliklarning gradientlarini hisoblashni o'z ichiga
oladi.
 Gradientlar xatoni kamaytirish uchun tarmoqdagi har bir vaznga amalga oshirilishi kerak bo'lgan
o'zgarishlarning yo'nalishi va kattaligini ifodalaydi. Keyin og'irliklar salbiy gradient yo'nalishi bo'yicha o'rnatiladi.
 Orqa tarqalish kirish va chiqish o'zgaruvchilari o'rtasidagi chiziqli bo'lmagan munosabatlarni boshqarishi
mumkin va turli xil neyron tarmoq arxitekturalari bilan ishlatilishi mumkin.
 Biroq, u o'rganish tezligi va tarmoqdagi qatlamlar soni kabi giperparametrlarni tanlashga sezgir bo'lishi mumkin.
 Umuman olganda, orqaga tarqalish - bu xatolarni tuzatish va neyron tarmoqlarni aniqroq bashorat qilish uchun
o'rgatish uchun ishlatilishi mumkin bo'lgan kuchli algoritm.
SNT
O‘ZMUJF

29. БАНК
WOODGROVE
“AXBOROTTIZIMLARIVA
TEXNOLOGIYALARI”KAFEDRASI
S.B. Ergashev s.b.ergashev@gmail.com
https://www.slideshare.net/SirojKalonov
/suniy-neyron-modeli
SUN’IYINTELLEKT
JIZZAX2023
SNT
O‘ZMUJF