OCR @ Startit meetup

1. Decembar, 2015

2.  Projekat započet 2008, prekinut 2009 i opet oživeo
2010
 Originalno radilo 7, trenutno 4 inžinjera
 Windows 10 Windows.Media.Ocr namespace
 Windows 8 NuGet
Install-Package Microsoft.Windows.Ocr
 Project Oxford servis
Computer Vision APIs -> OCR
OCR projekat
• Bing Image Search
• Windows 10
• Office Lens
• Translator
• OneNote
• OneDrive

3.  Mali broj pretpostavki:
 Tekst je štampan, slične boje
 Tekst se nalazi u linijama
 Bitne performance (demo)
Pregled
OCR Engine
Tekst
Layout info
Slika

4. Pregled
Detekcija
Reči
Prepoznavač
Reči

5. Pregled
Preprocessing
Binarization
Oreintation
& Angle
Line
Formation
Line
Filtering
Baseline &
xHeight
Region
Detection
Missed
Connected
Components
Word
Breaker
Image
Recognition
Chopper
Post-
procesiranje
Lattice
ICR
Beam
Search
Text

6.  RGB u Grayscale
 Grayscale u WoB I BoW
Binarizacija

7.  Cilj: grupisati piksele slične boje
 Ideja: binarizovati sliku, i onda odrediti koji
pikseli su povezani
 Raditi binarizaciju na malim delovima slike
 Računati parameter za binarizaciju na većim
delovima
 Srednja vrednost
 Devijacija
 Sauvola binarization
Povezane komponente

8. Globalna Binarizacija
 Lako i efikasno za implementaciju
 Ne radi dobro u određenim slučajevima

9. Lokalna Binarizacija
 Bolje rezultate od globalne binarizacije
 Kako implementirati da bude efikasno?

10. Implementacija

11. Implementacija

12. Implementacija

13.  Problemi
 Puno dupliranog računanja
 Memorija nije prostorno lokalna
 Rešenje: predprocesiranje!
 Izračunati parametre za binarizaciju na manjim
delovima -i dalje nije prostorno lokalno, neke
operacije se ponavljaju
 Još bolje: računati kumulativnu sumu za srednju
vresnost i devijaciju
Analiza

14. Kumulativna Suma

15. Orijentacija i ugao
Preprocessing
Binarization
Oreintation
& Angle
Line
Formation
Line
Filtering
Baseline &
xHeight
Region
Detection
Missed
Connected
Components
Word
Breaker
Image
Recognition
Chopper
Post-
procesiranje
Lattice
ICR
Beam
Search
Text

16.  Horizontalna projekcija za
sve uglove
 Projektovati centre povezanih
komponenti
 „Nazubljeni obrazac“ linija
Ugao

17. Formiranje linija

18. Filtriranje linija

19. Osnovna linija, x-height
Preprocessing
Binarization
Oreintation
& Angle
Line
Formation
Line
Filtering
Baseline &
xHeight
Region
Detection
Missed
Connected
Components
Word
Breaker
Image
Recognition
Chopper
Post-
procesiranje
Lattice
ICR
Beam
Search
Text

20.  Definicija: osnovna linija je linija na kojoj
većina slova „leže“, ali ispod koje se spuštaju
descenti.
 Ne postoji stroga matematička definicija
 Aproksimacija: linija koja stoji ispod teksta i
ima najveći kontrast
Osnovna linija

21.  Tekst često nije ravan, što znači da i osnovna
linije nije prava
 Pristup: aproksimirati liniju koja se sastoji iz K
pravih linija koje prolaze kroz K + 1
kontrolnih tačaka
Problem

22.  Kontrolne tačke treba odrediti
 Imaju fiksiranu X kordinatu, dok Y kordinatu
treba odrediti
 Za svaku kombinaciju tačaka može se
izračunati kontrast, i bira se najbolja
kombinacija
Implementacija

23.  Problemi - broj kombinacija je previše veliki
da bi se svaka kombinacija proverila
𝐵𝑟𝑘𝑜𝑚𝑏𝑖𝑛𝑎𝑐𝑖𝑗𝑎 = 𝑉𝑖𝑠𝑖𝑛𝑎 𝐵𝑟 𝑇𝑎č𝑎𝑘𝑎 −1
Primer: visina linije - 20px, kontrolnih tačaka – 6,
kombinacija - 3,200,000
 Rešenje: Koristiti dinamičko programiranje!
𝐵𝑟𝑘𝑜𝑚𝑏𝑖𝑛𝑎𝑐𝑖𝑗𝑎 = 𝑉𝑖𝑠𝑖𝑛𝑎2
× 𝐵𝑟 𝑇𝑎č𝑎𝑘𝑎 − 1
Primes: 20px, 6 tačaka, kombinacija 2000
prethodno 3,200,000
Implementacija

24.  Slično matematičkoj indukciji
 Ideja: Ako nadjemo najbolje rešenje za N, da
li možemo da nađemo najbolje rešenje za
N+1?
Dinamičko programiranje

25.  Prvi korak: za svaku pixel u drugom sloju,
izračunati minimalnu cenu putanje koja se u
njemu završava i zapamtiti je
 N-ti korak: za svaki pixel u N+1 sloju,
izračunati minimalnu cenu putanje koja se u
njemu završava i zapamtiti pixel iz kojeg
dolazimo
 Kad sve završimo: izabrati pixel sa
najmanjom cenom i putanju kojom smo došli
Dinamičko programiranje

26.  Verovatnoća i statistika – podaci sa šumom
 Nadgledano učenje
 Regresija – predviđa sa neprekidnim izlazom
 Cene automobila
 Klasifikacija – izlaz je diskretan
 Email spam filter
 Nenadgledano učenje
 Uglavnom klasterizanje
Mašinsko učenje

27.  Množenje matrice vektorom i aktivaciona
funkcija zbog nelinearnosti
𝑦 = 𝐶 · 𝜎 𝐴 · 𝑥 + 𝑏 + 𝑑
𝑒 𝑦 𝑖/𝑠, 𝑠 = 𝑒 𝑦1 + 𝑒 𝑦2 + ⋯ + 𝑒 𝑦 𝑛
 Na izlazu soft-max da
bi imali verovatnoće klasa
 Optimizacija
 CPU SSE instrukcije
 int16_t – 4 bita ceo broj
i 12 bita decimalni deo
Neuronske mreže

28. Hiper-ravni nisu dovoljne

29.  Cilj: predvideti da li je linija ili nije
 Postoji jako raznovrsan skup linija
 Teško opisati šta čini liniju a šta ne čini liniju
 Binarni klasifikator
 22 svojstva
 Debljina linije
 Broj razmaka
 Kompleksnost oblika
 ...
Klasifikator linija

30.  Features - osobine
 Konvolucia sa Gabor filterima
 Širina / visina
 197 ulaza
 ~200 neurona u skrivenom sloju
 ~100 izlaza za različite karaktere
 Gabor filter
 Proizvod sinusoide i Gausove distribucije
 O vs o vs 0 ili P vs p,
Prepoznavanje oblika karaktera