[분석] Img2Braille - 이미지 to 점자 번역기
•
1 like•5,095 views
[보아즈 7th 빅데이터 컨퍼런스] 이 프로젝트는 현재 전 세계적으로 스마트폰 보급과 그 사용량이 늘어나고 있는 반면, 시각장애인들은 이를 제대로 사용하지 못해 정보 격차가 점점 심해진다는 내용의 기사를 접한 이후 시작되었다. 이미 웨어러블 점자 워치에는 일반적인 스마트 워치의 기능이 상당 부분 구현되어 있으나, 이미지를 설명해주는 기능은 결여되어있다. 이 점에 착안하여 이미지를 점자로 번역해주는 기능을 구현하고자 노력했다. 8기 조준희, 김창현, 이민영, 김현지 ** 국내 최초 대학생 빅데이터 연합동아리 BOAZ ** 블로그: http://blog.naver.com/boazbigdata 페이스북: https://www.facebook.com/BOAZbigdata
Recommended
More Related Content
What's hot
What's hot (17)
More from BOAZ Bigdata
More from BOAZ Bigdata (20)
[분석] Img2Braille - 이미지 to 점자 번역기
- 1. 2017-12-28 1BOAZ Img2Braille 8기 데이터 분석 부문 김창현 김현지 이민영 조준희
- 2. BOAZ 22018 - 01 Contents - Motivation - Methodology - Experiment - Conclusion
- 3. BOAZ 32018 - 01 Motivation
- 4. BOAZ 42018 - 01 Motivation Cisco VNI Mobile Forecast, 2013 전 세계적 스마트폰 사용량의 증가. 그러나…
- 5. BOAZ 52018 - 01 http://www.etnews.com/20160419000292 Motivation
- 6. BOAZ 62018 - 01 http://www.etnews.com/20160419000292 “ 많은 기술이 개발되었지만 고가 장비이기 때문에 경제적 어려움을 겪는 장애인이 사용하기 어렵다 ” Motivation
- 7. BOAZ 72018 - 01 Motivation: Why Braille? 기존 시각장애인들의 읽기 수단. 최근 기술의 발전으로 웨어러블 점자 워치가 개발 됨. 점자 워치와 연동시 시각 장애인들의 정보 격차가 크게 줄어들 것으로 예상.
- 8. BOAZ 82018 - 01 Motivation Img2Braille : 이미지 데이터에 대한 캡션을 점자 형태로 해석. “네명의 군인들이 걷고 있으며, 무기를 들고 서로에게 이야기하고 있다.” cne]w @gqi!o @s9@u o/[e:“ em@o"! i!@u ,s"un@n o>@oj@u o/i
- 9. BOAZ 92018 - 01 Methodology
- 10. BOAZ 102018 - 01 Methodology: show attend and tell - Overview
- 11. BOAZ 112018 - 01 Methodology: Image Caption Generator model 일반적인 Image caption generator 모델은 이미지로부터 캡션을 생성하는 과정을 이미 지라는 언어에서 캡션이라는 언어로 번역하는 개념을 사용. → show attend and tell 역시 같은 개념을 사용함.
- 12. BOAZ 122018 - 01 Methodology: Encoder-Decoder [Encoder-Decoder] Encoder Decoder
- 13. BOAZ 132018 - 01 Methodology : Convolutional Neural Network [Encoder: Feature Extraction from Image]
- 14. BOAZ 142018 - 01 Methodology: show attend and tell [Encoder: Feature Extraction from Image] 이미지 데이터로부터 feature를 추출을 위해 Convolutional neural network(CNN)의 일종 인 VGG network-19 구조를 사용.
- 15. BOAZ 152018 - 01 Methodology : Recurrent Neural Network [Decoder: RNN with attention over the image]
- 16. BOAZ 162018 - 01 Attention
- 17. BOAZ 172018 - 01 Soft / Hard Attention Xu, K., Ba, J., Kiros, R., Cho, K., Courville, A., Salakhudinov, R., ... & Bengio, Y. (2015, June). Show, attend and tell: Neural image caption generation with visual attention. In International Conference on Machine Learning (pp. 2048-2057). Soft Hard
- 18. BOAZ 182018 - 01 Soft Attention 𝒎𝒊 = 𝐭𝐚𝐧𝐡(𝑾 𝒄𝒎 𝑪 + 𝑾 𝒚𝒎 𝒚𝒊) 𝒔𝒐𝒇𝒕𝒎𝒂𝒙 𝒙 𝟏, 𝒙 𝟐, … 𝒙 𝒏 = 𝒆 𝒙 𝒊 𝜮𝒆 𝒙 𝒋 𝒎𝒊 𝒔𝒊
- 19. BOAZ 192018 - 01 Experiment
- 20. BOAZ 202018 - 01 Data Set : Flickr30k - 총 31,783개의 이미지 파일 - 이미지 1개당 5개의 문장이 캡션으로 : 총 158,915개의 문장 Bryan A. Plummer, Liwei Wang, Christopher M. Cervantes, Juan C. Caicedo, Julia Hockenmaier, and Svetlana Lazebnik, Flickr30k Entities: Collecting Region-to-Phrase Correspondences for Richer Image-to-Sentence Models, IJCV, 123(1):74-93, 2017
- 21. BOAZ 212018 - 01 - 기존의 Flickr30k의 description들을 한국어로 번역 Data Set : Flickr30k
- 22. BOAZ 222018 - 01 - 번역된 문장들을 직접 검수 Data Set : Flickr30k
- 23. BOAZ 232018 - 01 - ‘Twitter’ 형태소 분석기를 이용하여 형태소별 띄어쓰기로 구분 Two men in green shirts are standing in a yard . 초록색 셔츠를 입은 두 남자가 마당에 서있다. 초록색 셔츠 를 입은 두 남자 가 마당 에 서 있 다 . Data Set : Flickr30k
- 24. BOAZ 242018 - 01 Experiment: Braille 0. 국가별로(언어별로) 점자의 형태와 규칙이 상이함 영어 중국어
- 25. BOAZ 252018 - 01 Experiment : Braille 0. 국가별로(언어별로) 점자의 형태와 규칙이 상이함 영어 한국어 ∴ 한국어 점자의 형태와 규정을 준수함.
- 26. BOAZ 262018 - 01 Experiment : Braille 1. 한국어 점자 규정에 의한 한글의 자음, 모음 및 약자들을 점자의 유니코드에 따라서 딕셔너리 형태로 맵핑
- 27. BOAZ 272018 - 01 Experiment : Braille 2. 한국어들을 초성, 중성, 종성의 형태로 분리
- 28. BOAZ 282018 - 01 Experiment : Braille 3. 각종 한국어 점자 규정 적용(숫자, 기호 등의 형태는 제외)
- 29. BOAZ 292018 - 01 Experiment : Braille 4. 맵핑에 따라서 초성, 중성, 종성 및 약자들을 점자로 번역
- 30. BOAZ 302018 - 01 Conclusion
- 31. BOAZ 312018 - 01 BLEU? - “Bilingual Evaluation Understudy” Score - 2002년 IBM에서 기계 번역을 평가하는 지표로 제시 - 0은 완전 불일치, 1은 완전 일치 (즉, 1에 가까울수록 일치도가 높음) - BLEU, BLEU-1/BLEU-2/BLEU-3/BLEU-4(BLEU precision) - BLEU Score : Precision Score(PN)과 Brevity Penalty(BP)로 구성
- 32. BOAZ 322018 - 01 BLEU Precision? - N-gram Method - BLEU-n(=BLEU Precision) = 정답 캡션과 일치하는 𝑛−𝑔𝑟𝑎𝑚의 수 기계 번역 결과 나온 캡션의 𝑛−𝑔𝑟𝑎𝑚 수
- 33. BOAZ 332018 - 01 BLEU? r: caption data의 길이 c: 모델에서 생성된 캡션 문장의 길이 N: 평가에 적용하는 gram의 단위 PN: 설정된 gram에서 모델이 맞춘 비율
- 34. BOAZ 342018 - 01 BLEU Score - Evaluation Show, Attend and Tell Bleu_1 Bleu_2 Bleu_3 Bleu_4 0.667 0.434 0.288 0.191 한글 검수 O 형태소 분석 O Bleu_1 Bleu_2 Bleu_3 Bleu_4 0.548089 0.370727 0.222921 0.150293
- 35. BOAZ 352018 - 01 한글 검수 X 형태소 분석 X Bleu_1 Bleu_2 Bleu_3 Bleu_4 0.414520 0.266251 0.140074 0.073202 BLEU Score - Evaluation 한글 검수 X 형태소 분석 O Bleu_1 Bleu_2 Bleu_3 Bleu_4 0.480245 0.314478 0.193355 0.121406 한글 검수 O 형태소 분석 X Bleu_1 Bleu_2 Bleu_3 Bleu_4 0.410551 0.261709 0.133510 0.066048 한글 검수 O 형태소 분석 O Bleu_1 Bleu_2 Bleu_3 Bleu_4 0.548089 0.370727 0.222921 0.150293
- 36. BOAZ 362018 - 01 Bad Case Caption: j3 em"ow l"<5i!o .oj;t! h@u o/i4 한 무리의 사람들이 지하철을 타고 있다. Caption: j3 c5.$ l@:a *,[b.7n,s l@:a *,[b.7n,s ;=! @:cm@u o/i4 한 남자가 사격 연습장에서 사격 연습장에서 총을 겨누고 있다.
- 37. BOAZ 372018 - 01 Good Case Caption: j3 l"<5o l7sb+7 ^ms6n,s ,oal"! .g^oj@u o/i 4 한 사람이 상업용 부엌에서 식사를 준비하고 있다 . Caption: j3 c5.$ $@nn,s e&@)! d1@u o/i4 한 남자가 가게에서 물건을 팔고 있다.
- 38. BOAZ 382018 - 01 End? And… 1. 정제되지 않은 데이터셋 : 실용성을 논하기 위해서는, 노이즈가 있는 데이터셋을 직접 생성하여 모델을 적용했다 면 좋았을 것이다. 2. 다양한 조합의 모델 : 다양한 조합으로 구현된 모델들을 생성하여, 동일한 데이터셋을 기준으로 성능을 비교 하여 최적의 조합을 찾아본다면 더 풍부한 프로젝트가 될 것이다. 3. 번역 정확도의 한계 : 아직까지 파파고나 구글 번역기가 완벽하지 않기 때문에, 직접 캡션들을 다 번역하지 않 는 한 오류 없는 번역은 불가능하다.
- 39. BOAZ 392018 - 01 Q & A