Cieľom projektu je detekcia dát z oskenovaných bločkov z obchodu. Predovšetkým názov obchodu a celková suma za nákup. Pomocou klasifikácie bločkov do skupín (napr. podľa loga) je možné pre rôzne skupiny prispôsobiť rozpoznanie textu. Zdrojový kód, príklady a dokumentácia: gitlab.fit.cvut.cz/zitnyjak/receiptscanner

1. Detekcia dát z bločkov
Jakub Žitný
8.1.2014
MI-PDD

2. Motivácia
● vytvoriť službu, mobilnú appku, ktorá po
oskenovaní bločku digitalizuje dáta
○ obchodník, celková cena, dátum nákupu, …
● rýchlejšie vybavenie záruk a reklamácií
● zbavenie sa potreby uchovávať bločky
fyzicky (plná krabica starých/vyblednutých
bločkov)

3. Rozpoznávanie znakov z textu
● custom komerčné riešenia
● Tesseract OCR engine, open-source
● OpenCV

4. Návrh rozpoznávania bločkov

5. Predspracovanie (1)
Dáta
● vlastné z pozbieraných bločkov
● JPEG fotky z nekvalitného fotoaparátu
Predspracovanie
● desaturácia, jas, kontrast, norm
● klasifikácia podľa loga
● Tesseract OC
○ detekcia stĺpcov a riadkov textu, sklonu písma, …

6. Predspracovanie (2)

7. Detekcia loga

8. Klasifikácia podľa loga (1)
Príznaky
● EdgeHistogram
● ColorLayout
● CEDD
● FCTH
● SimpleColorHistogram
● Tamura
● Gabor
● JointHistogram
● OponnentHistogram
Klasifikátor
● Rocchio
- najbližší centroid
● SURF
- počet zhodných bodov

9. Klasifikácia podľa loga (2)

10. Rozpoznávanie znakov (OCR)
● wrapper nad Tesseractom
○ request podľa triedy v ktorej sa nachádza
○ jednoduché parsovanie textu
Tesseract OCR
● OpenSource OCR od Google (orig. od HP)
● predspracovanie (orezanie, sklon, riadky, spoje)
● klasifikácia znakov => rôzne písma
● lingvistická analýza + slovníky => rôzne jazyky

12. Implementácia
● Spring webapp v Jave
● moduly (rozšíritelné o nové klasifikátory a pod.)
● batch testy a merania
Knižnice a frameworky
● Tesseract, Leptonica
● Lire, Lucene
● jOpenSurf
● Spring, Jade, …

13. Otázky?
gitlab.fit.cvut.cz/zitnyjak/receiptscanner