Prezentacija o Image recognitionu na Data Science Meetupu

1. Image Recognition
Jurica Cerovec, 18. 5. 2016.

3. Teme
1. Image recognition - što sve obuhvaća
2. Komercijalne primjene
3. Photomath - način izvedbe
4. Budućnost - deep learning

4. Image recognition
Object Detection
Object Classification
Machine Learning
Image Processing
Computer Vision

5. Machine vision tehnologija
za mobilne uređaje

6. Klijenti u 2015.

7. PhotoPay - plaćanje računa skeniranjem

8. PhotoPay
Standard za plaćanje
na 11 tržišta

9. Detekcija uplatnice

10. Skeniranje barkoda

11. Image processingom je potrebno odrediti
koji pikseli slike su crni, a koji bijeli

12. Logistička regresija (dva razreda, A i B)
π - vjerojatnost da objekt pripada razredu B
π > 0.5 kad je desna strana > 0

13. Učenje logističke regresije
- gradijentni spust
- genetski algoritam
- brojne druge metode

15. Proces obrade
Rezolucija
945x272
257.040 pixela
1. Predobrada slike (image processing)
2. Detekcija znakova (object detection)
3. Klasifikacija znakova (machine
learning)
4. Ekstrakcija matematičkog izraza
5. Rješavanje matematičkih izraza
(ekspertni sustav)

16. Ulazna slika

17. 1. Predobrada slike

18. 2. Detekcija znakova

19. 4 x - 3 y + z = 2
3. Klasifikacija znakova
222 x
x
y
y
z
z
=
=
--
-
-
-++ 2 4 9

20. 4. Ekstrakcija matematičkog
izraza
system(
equals(add(sub(mul(4,x),mul(3,y)),z),2),
equals(sub(sub(mul(neg(2),x),y),mul(2,z)),2),
equals(add(add(neg(1),x),mul(2,y)),mul(4,z)),neg(9))
)
4 x - 3 y + z = 2
222 x
x
y
y
z
z
=
=
--
-
-
-++ 2 4 9

21. 5. Rješavanje izraza

22. Problematični slučajevi ovakvog pristupa

23. ← Klasični pristup
image recognitionu
Budućnost -
deep learning →

24. Inception model
State of the art model za
generalni image recognition
Rethinking the Inception Architecture for Computer Vision (2015)
Christian Szegedy, Vincent Vanhoucke, Sergey Ioffe, Jonathon
Shlens, Zbigniew Wojna

25. Photomath Dataset
- 5 milijuna slika jednadžbi = 50 milijuna slika znakova
- Potencijal za skupljanje 500k slika dnevno
- Ručno labeliramo 100 tisuća slika znakova tjedno
- Potencijalno najveći dataset za OCR na svijetu.

26. Neoznačeni dataset iz Photomatha

27. Označeni dataset

28. Cilj:
- nova generacija OCR
enginea
- za Photomath i sve
druge proizvode
MicroBlinka

30. Primjene image recognitiona
Augmented/
Virtual reality
Poboljšanja UX-a u
softwareu
Autonomna vozila
Poboljšanje
poslovnih procesa
Robotika

31. Broj kolegija vezanih uz
image recognition
PMF - 4
FER - 9

32. Broj kolegija vezanih uz
iOS/Android
PMF - 0 (1 izborni)
FER - 0 (2 vještine)

33. Koliko ima uspješnih tvrtki u RH koje se
bave iOS/Android developmentom?
A koliko image recognitionom?

34. Postoji velik potencijal i znanje za bavljenje
image recognitionom u Hrvatskoj!

35. Zaključak:
- image recognition otvara
mnoge prilike
- naši ljudi imaju podlogu za
baviti se tim područjem
- i tvrtke u RH se time bave!

36. Photomath, Inc.
MicroBlink, Ltd.
jurica.cerovec@microblink.com
photomath.net/jobs
microblink.com/jobs