„Kompiuterininkų dienos 2021“ Rugsėjo 24 d. Klaipėdos universitete

1. Prekių atpažinimo tyrimas
naudojant
giliuosius neuroninius tinklus
savitarnos kasų vaizduose
Bernardas Čiapas, Povilas Treigys, 2021.09.24

2. 330.000 savitarnos kasų (2020)
200 pick-list prekių, 30 tūkst. prekių su barkodais
1400 apsipirkimų per savaitę,
7 prekės krepšelyje
75% vagysčių padidėjimas
(lyginant su įprastomis kasomis)
Vaizdų ypatybių tyrimas sprendžiant
atpažinimo uždavinius savitarnos
kasose

3. Tikslas ir Uždaviniai
 Tikslas: prekių atpažinimas savitarnos
kasoje
 Uždaviniai:
 Uždavinys 1: prekių klasifikavimas
(prekių pasirinkimo asistentas)
 Uždavinys 2: prekių grupavimas pagal panašumą
 Uždavinys 3: pažįstamos prekės atskyrimas
(asistento sužadinimui)
 Uždavinys 4: prekių sulyginimas
(vagysčių aptikimui)

4. Tikslas ir Uždaviniai
 Tikslas: prekių atpažinimas savitarnos
kasoje
 Uždaviniai:
 Uždavinys 1: prekių klasifikavimas
(prekių pasirinkimo asistentas)
 Uždavinys 2: prekių grupavimas pagal panašumą
 Uždavinys 3: pažįstamos prekės atskyrimas
(asistento sužadinimui)
 Uždavinys 4: prekių sulyginimas
(vagysčių aptikimui)
Panašių prekių grupė 2
Panašių prekių grupė 1

5. Tikslas ir Uždaviniai
 Tikslas: prekių atpažinimas
savitarnos kasoje
 Uždaviniai:
 Uždavinys 1: prekių klasifikavimas (prekių
pasirinkimo asistentas)
 Uždavinys 2: prekių grupavimas pagal panašumą
 Uždavinys 3: pažįstamos prekės atskyrimas
(asistento sužadinimui)
 Uždavinys 4: prekių sulyginimas (vagysčių
aptikimui)
Ar pažįstama
prekė?
NE
TAIP

6. Tikslas ir Uždaviniai
 Tikslas: prekių atpažinimas
savitarnos kasoje
 Uždaviniai:
 Uždavinys 1: prekių klasifikavimas
(prekių pasirinkimo asistentas)
 Uždavinys 2: prekių grupavimas pagal panašumą
 Uždavinys 3: pažįstamos prekės atskyrimas
(asistento sužadinimui)
 Uždavinys 4: prekių sulyginimas
(vagysčių aptikimui)

7. Duomenų rinkimas
 Kameros vieta
 10 kadrų [0;1] sek. nuo įvykio
 Kasos įvykis: skenavimas, svėrimas

8. Problematika
- Skirtingas prekių pasiskirstymas
- Ranka uždengtos prekės
- Tušti vaizdai
- Maišeliuose esančios prekės

9. Vaizdų paruošimas
 Iškarpa (crop)
 Apšviestumo intensyvumo suvienodinimas
 Atimant intensyvumo vidurkį: taško, kasos, paveikslėlio
 Kiti metodai (AHE, CLAHE)
 Fono pašalinimas
 Gausian Mixture Model, Kernel Density Estimation
 „Langelio“, „žvaigždynų“ šalinimas
 Tarpų užpildymas prekės viduje
Originalus Kaukė Be fono

10. Vaizdų atrinkimas
 Panaudoti vaizdų atrinkimo būdai:
 „Matomumo“ (prekės) klasifikatorius
 „Tuštumo“ klasifikatorius
Vaizdų
atrinkimas
Balansavimas/
Augmentavimas
Požymių
ištraukimas
Kiti užaviniai
Klasifikavimas

11. Prekės „matomumo“ klasifikatorius
• Sužymėta duomenų vaizdų aibė naudojant 6
kategorijas
• Pasiūlyti grupavimo būdai atskiriant matomas
nuo nematomų
• Eskperimentiškai nustatyti geriausi grupavimo
būdai
• Publikuota Baltic Journal of Modern Computing

12. Tuštumo klasifikatorius
 Išbandytos klasifikavimo technikos:
 2 klasių (tuščia/netuščia)
 Overfit tušti
 Siamo
Tikslumas (accuracy): 98.8% (val), 98% (test)

13. Balansavimas/Augmentavimas
 Siekiai:
 Subalansuoti klases
 Padidinti duomenų aibę
 Išbandytos technikos:
 Posūkis, postūmis, artinimas, hor. atspindys (baseline)
 Kampinių taškų perspektyvinė transformacija
Vaizdų
atrinkimas
Balansavimas/
Augmentavimas
Požymių
ištraukimas
Kiti užaviniai
Klasifikavimas

14. Augmentavimas – kampų perspektyvinė
transformacija Originalus [-10 px; +10 px] [-30 px; +30 px]
Random 0-{10,20,30 px}
Augmentavimas Įtaka test. tikslumui
Baseline (shift, zoom, rotate, hor.flip)
Kampų Perspektyvinė (4 taškų stumdymas, 10-
30px) -2.8% - +5.4%
Perspektyvinė + Baseline -0.6% - +10.9%

15. Klasifikavimas neuroniniais tinklais
- Gerai žinomi tinklai „iš interneto“
- Savo sukurta architektūra
- Autoenkoderiai

16. Klasifikavimas neuroniniais tinklais
https://www.geeksforgeeks.org/residual-networks-resnet-deep-learning/
- Gerai žinomi tinklai „iš interneto“
- Savo sukurta architektūra
- Autoenkoderiai

17. Klasifikavimas neuroniniais tinklais
- Gerai žinomi tinklai „iš interneto“
- Savo sukurta architektūra
- Autoenkoderiai

18. Autoenkoderiai
https://www.mdpi.com/1424-8220/20/13/3718/htm
Encoder Decoder
Softmax
4x4x256
Flatten
1024
Dense
Dense
Encoder
(fixed weights)
Agurkai
...
Bulvės
Originalus Dekoduotas

19. Neuroniniai tinklai. Rezultatai
- Gerai žinomi tinklai „iš interneto“
- Savo sukurta architektūra
- Autoenkoderiai

20. Prekių grupavimas
 Siekis: padidinti tikslumą
 Metodai:
 Saviorganizuojantys tinkai (Self Organizing Maps – SOM)
 Dažniausiai maišomos klasės
 Atstumai tarp latentinių sluoksnių aktyvacijų (embeddings)

21. Self-organizing maps
 Daugiamačių duomenų grupavimas 2-matėje ar 3-matėje erdvėje
 T.Kohonen. Exploration of very large databases by self-organizing maps (1997)
https://en.wikipedia.org/wiki/Self-organizing_map

22. Self-organizing maps – taikymas vaizdams
- Klasifikatoriaus aktyvacijos
- Priešpaskutinis tankus sluoksnis
- Kiti sluoksniai?

23. Self-organizing maps
“Geri” klasteriai
“Blogas” klasteris
Gardelės dydis ~ klasių skaičius (15x15-6 ~ 194)

24. Self organizing maps: prekių panašumas

25. Self organizing maps:
distance from center by class

26. “Atstumai” tarp vaizdų embeddings

27. “Atstumai” tarp vaizdų embeddings

28. Klasifikavimo matrica: dažniausiai maišomos
klasės

29. Tikslumo gerinimas „suliejant“ panašias
klases: klasių suliejimo metodas

30. Tikslumo gerinimas „suliejant“ panašias
klases

31. Tikslumo gerinimas „suliejant“ panašias
klases: klasių skaičius
Tikslumas: susikirtimai F-score: susikirtimai F-score: lokalūs maksimumai

32. Palyginimas:
- Klasių suliejimas po mokymo
- Mokymas suliejus panašias klases

33. Prototipas

34. Ačiū!