Download to read offline
![1. def _img_rotate(im):
2. avg_gradient = 0
3. #特徴点のx,y座標を取り出す
4. for i in range(len(list_keypoints_x)):
5. kp_x = np.array(keypoints_x[i])
6. kp_y = np.array(keypoints_y[i])
7. #最小二乗法で直線の傾きを取得する
8. #a=傾き,b=切片
9. #傾きの絶対値の最大値を取得
10. ones = np.array([kp_x, np.ones(len(kp_x))])
11. ones = ones.T
12. a,b = np.linalg.lstsq(ones,kp_y)[0]
13. gradients.append(a)
14. max_gradient =gradients[np.argmax(np.abs(gradients))]
15. #画像回転
16. rows,cols = thresh.shape
17. d = math.degrees(avg_gradient)
18. M = cv2.getRotationMatrix2D((cols/2,rows/2),d,1)
19. thresh = cv2.warpAffine(thresh,M,(cols,rows))
AKAZEで特徴量を検出
→クラスタリング
→最小二乗法で文字列の傾
きを求める
→画像を回転させる](https://image.slidesharecdn.com/first-step-for-ocr-190729231702/75/OpenCV-OCR-16-2048.jpg)
![[DL Hacks]Visdomを使ったデータ可視化](https://cdn.slidesharecdn.com/ss_thumbnails/dlhacks20181115-181116004623-thumbnail.jpg?width=640&height=640&fit=bounds)
プログラミング初心者がOpenCVと機械学習でOCRエンジン自作に挑戦する話
- 1. プログラミング初心者が OpenCVと機械学習で OCRエンジン自作に挑戦する話 marika.h 2019 年 7月 29 日 @KANSAI AI PUB
- 2.
- 3.
- 4.
- 5.
- 6. OCR (光学文字認識) とは… フルスペル：OpticalCharacter Recognition OCRとは、スキャナなどで入力された画像情報の中から、 文字の形状に基づいて文字を識別し、 コンピュータ上で扱える文字データへと変換する仕組みのことである。 (IT用語辞典バイナリより)
- 7.
- 8.
- 9.
- 10.
- 11.
- 12. 1. 画像取り込み 2. グレースケール変換 3.レイアウト解析 4. 正規化 5. 特徴抽出 6. 行ごとに取り出す 7. 一文字ずつ取り出す 8. 文字認識 9. 知識処理 etc... 一般的なOCR処理の流れ 1. 画像取り込み 2. 画像のゆがみ補正 3. 二値化 4. 単語ごとに取り出す 5. 一文字ずつ取り出す 6. 正規化 7. 文字認識 今回作るOCR処理の流れ ↑ちょっと簡略化してます
- 13.
- 14.
- 15.
- 16. 1. def _img_rotate(im): 2.avg_gradient = 0 3. #特徴点のx,y座標を取り出す 4. for i in range(len(list_keypoints_x)): 5. kp_x = np.array(keypoints_x[i]) 6. kp_y = np.array(keypoints_y[i]) 7. #最小二乗法で直線の傾きを取得する 8. #a=傾き,b=切片 9. #傾きの絶対値の最大値を取得 10. ones = np.array([kp_x, np.ones(len(kp_x))]) 11. ones = ones.T 12. a,b = np.linalg.lstsq(ones,kp_y)[0] 13. gradients.append(a) 14. max_gradient =gradients[np.argmax(np.abs(gradients))] 15. #画像回転 16. rows,cols = thresh.shape 17. d = math.degrees(avg_gradient) 18. M = cv2.getRotationMatrix2D((cols/2,rows/2),d,1) 19. thresh = cv2.warpAffine(thresh,M,(cols,rows)) AKAZEで特徴量を検出 →クラスタリング →最小二乗法で文字列の傾 きを求める →画像を回転させる
- 17.
- 18.
- 19. 5. 文字認識 1. #英字の認識モデル 2.from keras.models import Sequential 3. def build_model(): 4. model = Sequential() 5. model.add(Conv2D(32, kernel_size=(3, 3), 6. activation='relu', 7. input_shape=(28,28,1))) 8. model.add(MaxPooling2D(pool_size=(2, 2))) 9. model.add(Flatten()) 10. model.add(Dense(784, activation='relu')) 11. model.add(Dense(52, activation='softmax')) a. 分類器はkerasで CNNを構築します
- 20.
- 21.
- 22.
- 23.
- 24.
- 25.
- 26. 引用 画像等: Wikipedia/ Tesseract https://ja.wikipedia.org/wiki/Tesseract_(%E3%82% BD%E3%83%95%E3%83%88%E3%82%A6%E3%8 2%A7%E3%82%A2) Online OCR https://www.onlineocr.net/ DocuWorks https://www.fujixerox.co.jp/product/soft ware/docuworks 参考 NTTデータ/ OCR技術解説 文字の読み取り・認識について https://mediadrive.jp/technology/techocr05.html A gentle introduction to OCR https://towardsdatascience.com/a-gentle- introduction-to-ocr-ee1469a201aa EAST https://arxiv.org/abs/1704.03155v2
- 27.