너무도 아름답고 과학적인 글자, 한글 珞 다른 언어에 비해 손글씨 데이터셋이 적고, 만들어진 손글씨 예측 모델의 인식률이 낮은 점이 아쉬워 직접 데이터를 생성하고 간단한 iOS 애플리케이션을 만들어봤습니다. 2019년 2월 23일 KCD 행사에서 케라스 코리아 팀에서 발표했던 자료를 보완/수정했습니다. 관련 코드는 아래 링크에서 확인할 수 있습니다. https://github.com/MijeongJeon/KoreanClassification_Keras_Coreml

1. 모바일에서
인식하기
2019.02.23. KCD

2. 안녕하세요, 미정입니다 :)
iOS 모바일 개발자이구요,
취미는 AI입니다 🤗

3. 네모 동그라미 세모
손 그림 도형 예측 in iOS

4. 를 예측하고싶어요
사실 저는

5. MNIST
EMNIST

8. 모바일에서
인식하기

9. OCR
(Optical Character Recognition)
광학기술을 이용한 문자 인식

10. Optical character recognition - Wikipedia
CamCard
Code1System
M2M Coding

11. OCR
단계
Pre-Processing
Recognition Post-Processing
Segmentation

12. OCR
단계
Pre-Processing
Recognition Post-Processing
Segmentation

13. Recognition
Pattern Matching
Feature Extraction
Classification

14. Pattern Matching
H
Arial
Helvetica
Times New Roman
Menlo
Futura Chalkboard

15. Feature Extraction
http://www.how-ocr-works.com

16. OCR

17. 문제 정의
데이터 셋
모델 학습
모델 변환
모바일 적용

18. 문제 정의
데이터 셋
모델 학습
모바일 적용
모델 변환

19. 총 11,172개
초성(19개)
ㄱㄲㄴㄷㄸㄹㅁㅂㅃㅅㅆㅇㅈㅉㅊㅋㅌㅍㅎ
중성(21개)
ㅏㅐㅑㅒㅓㅔㅕㅖㅗㅘㅙㅚㅛㅜㅝㅞㅟㅠㅡㅢㅣ
종성(27개)
ㄱㄲㄳㄴㄵㄶㄷㄹㄺㄻㄼㄽㄾㄿㅀㅁㅂㅄㅅㅆㅇㅈㅊㅋㅌㅍㅎ
초성 * 중성 = 19 * 21 = 399
초성 * 중성 * 종성 = 19 * 21 * 27 = 10,773

20. http://advent.perl.kr/2016/2016-12-14.html
위대한 한국어

25. 980

26. 980개 음절

28. https://developer.ibm.com/kr/journey/create-a-mobile-handwritten-hangul-translation-app/

29. True Type Font(*.ttf)

30. 케
32 x 32 공간 생성 ttf로 글자 쓰기
케
.jpg 저장

31. 케 케
케 케

32. IMAGE_WIDTH = 32
IMAGE_HEIGHT = 32
for font in fonts:
image = Image.new('L', (IMAGE_WIDTH, IMAGE_HEIGHT), color=255)
drawing = ImageDraw.Draw(image)
w, h = drawing.textsize(character, font=font)
font = ImageFont.truetype(font, 48)
drawing.text(
((IMAGE_WIDTH-w)/2, (IMAGE_HEIGHT-h)/2),
“ ”,
fill=(0),
font=font
)
image.save(file_path, 'JPEG')
python 3.6.5

34. 46개 필기체 폰트
사용폰트 : 이순신, 고양시, TvN, 제주 한라산, J신영복, KCC 은영, KCC 김훈, 포천시 막걸리, 산돌미생, 앵무부리, 다래손글씨, DX3학년1반, DX하루, DX
베이글, DX클래식, DX둥글레, DX설레임, DX깜찍발랄, DX경필명조, DX밀키캔디, DX영화자막, DX오렌지나무, DX슈가플럼 네이버 나눔 펜, 상상신비,
Tae흘림 +

35. 46개 필기 폰트 + 미정필기

36. 46개 필기 폰트 + 미정필기
총 46,060개
한글 손 글씨 이미지

37. train_generator = ImageDataGenerator(rescale=1./255,
rotation_range=15,
width_shift_range=0.3,
height_shift_range=0.3,
shear_range=0.3,
zoom_range=[0.7, 1.3])
데이터 부풀리기
python 3.6.5
keras 2.2.4

38. 문제 정의
데이터 셋
모델 학습
모바일 적용
모델 변환
980 class
32pixel x 32pixel
총 46,060개
- 훈련 셋 : 36,848(80%)
- 검증 셋 : 9,212(20%)

39. 문제 정의
데이터 셋
모델 학습
모델 변환
모바일 적용

40. keras 2.2.4 tf 1.10.0
python 3.6.5jupyter 1.0.0
model = Sequential()
model.add(Convolution2D(32, (3, 3), padding='same',
input_shape=X_train.shape[1:]))
model.add(Activation('relu'))
model.add(Convolution2D(32, (3, 3)))
model.add(Activation('relu'))
model.add(MaxPooling2D(pool_size=(2, 2)))
model.add(Dropout(0.25))
model.add(Convolution2D(64, (3, 3), padding='same'))
model.add(Activation('relu'))
model.add(Dropout(0.50))
model.add(Convolution2D(64, (3, 3)))
model.add(Activation('relu'))
model.add(MaxPooling2D(pool_size=(2, 2)))
model.add(Dropout(0.25))
model.add(Flatten())
model.add(Dense(512))
model.add(Activation('relu'))
model.add(Dropout(0.5))
model.add(Dense(num_classes))
model.add(Activation('softmax'))

41. model = Sequential()
model.add(Convolution2D(32, kernel_size=(5, 5),
activation='relu',
input_shape=input_shape))
model.add(MaxPooling2D(pool_size=(2, 2)))
model.add(Convolution2D(64, (5, 5), activation='relu'))
model.add(MaxPooling2D(pool_size=(2, 2)))
model.add(Dropout(0.25))
model.add(Convolution2D(128, (3, 3), activation='relu'))
model.add(MaxPooling2D(pool_size=(2, 2)))
model.add(Flatten())
model.add(Dense(512, activation='relu'))
model.add(Dropout(0.5))
model.add(Dense(num_classes, activation='softmax'))
model.compile(loss='categorical_crossentropy', optimizer='adam', metrics=['accuracy'])
32pixel x 32pixel
46,060개 이미지
500 epoch

42. model = Sequential()
model.add(Convolution2D(32, kernel_size=(5, 5),
activation='relu',
input_shape=input_shape))
model.add(MaxPooling2D(pool_size=(2, 2)))
model.add(Convolution2D(64, (5, 5), activation='relu'))
model.add(MaxPooling2D(pool_size=(2, 2)))
model.add(Dropout(0.25))
model.add(Convolution2D(128, (3, 3), activation='relu'))
model.add(MaxPooling2D(pool_size=(2, 2)))
model.add(Flatten())
model.add(Dense(512, activation='relu'))
model.add(Dropout(0.5))
model.add(Dense(num_classes, activation='softmax'))
model.compile(loss='categorical_crossentropy', optimizer='adam', metrics=['accuracy'])
Mac OS
CPU 2.9GHz, i5
RAM 8G
No GPU!!
4

43. model = Sequential()
model.add(Convolution2D(32, kernel_size=(5, 5),
activation='relu',
input_shape=input_shape))
model.add(MaxPooling2D(pool_size=(2, 2)))
model.add(Convolution2D(64, (5, 5), activation='relu'))
model.add(MaxPooling2D(pool_size=(2, 2)))
model.add(Dropout(0.25))
model.add(Convolution2D(128, (3, 3), activation='relu'))
model.add(MaxPooling2D(pool_size=(2, 2)))
model.add(Flatten())
model.add(Dense(512, activation='relu'))
model.add(Dropout(0.5))
model.add(Dense(num_classes, activation='softmax'))
model.compile(loss='categorical_crossentropy', optimizer='adam', metrics=['accuracy'])
Tesla K80
3

44. Tesla K80CPU 2.9GHz, i5
380s/epoch 64s/epoch
<< 6배속
3

45. 3

46. GPU - AMD Radeon Pro 460
2

47. AMD Radeon Pro 460
loss ‘nan’ error
2

48. 정확도
손실률
정확도 63.33%
model1.h5

49. 0
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1
1 101 201 301
tarin_acc val_acc
0
1
2
3
4
5
6
1 101 201 301 401
train_loss val_loss
정확도
손실률
정확도 85.35%
model2.h5

50. 문제 정의
데이터 셋
모델 학습
모델 변환
모바일 적용
정확도 85.35%
model2.h5
정확도 63.33%
model1.h5

51. 문제 정의
데이터 셋
모델 학습
모델 변환
모바일 적용
model.h5
model.mlmodel
Xcode Swiftpythonnotebook

52. keras 2.2.4 coremltools
python 3colab netebook
coreml_model = coremltools.converters.keras.convert
(loaded_model,
input_names ='image',
image_input_names = 'image',
class_labels = './labels/980-common-hangul.txt')
coreml_model.save(‘hangul-classification-v1.mlmodel')
import coremltools
from keras.models import load_model

54. 문제 정의
데이터 셋
모델 학습
모델 변환
모바일 적용

55. 문제 정의
데이터 셋
모델 학습
모델 변환
모바일 적용
손 글씨 앨범 사진

56. 위치에 따른 인식률 차이

57. 클래스에 없는 음절 segmentation

59. ninevincentg@gmail.com
전미정
자세한 코드는 여기서 볼 수 있어요. https://github.com/MijeongJeon/KoreanClassification_Keras_Coreml