@NanheeKim @nh9k 질문이 있으면 언제든지 연락주세요! Please, feel free to contact me, if you have any questions! github: https://github.com/nh9k email: kimnanhee97@gmail.com

1. 전자공학과
21611591
김난희
Computer Vision Term Project 2019-06-24 FINAL
수다스러운

2. Computer Vision Term Project
Topic
Motivation
Condition
http://grail.cs.washington.edu/projects/AudioToObama/
But, 학습이 아니라,
OpenCV를 사용해서 만들어 본다면?
FINAL

3. Computer Vision Term Project
아 어 오 으 우 이1. 콘솔창에
글자를 입력하면
2. 웹캠에서
사용자의 이미지를
받아와
3. 입모양이 움직이게
FINAL
Topic
Motivation
Condition

4. 1. 학습이 아니라
Computer Vision(OpenCV)
로 구현하면 자연스러울까?
→ 도전 관점
2. 실제로 하지 않은 말을
하게 만들 수 있을까?
원하는 텍스트를 입력해서
사용자가 원하는 사람이
했던 말처럼 할 수 있을까?
→ 재미있을 것 같다!
3. 종합설계 프로젝트와
함께 연관
괜찮은 UI가 있을까?
→ 다른 곳에도 유용할까?
Topic
Motivation
Condition
Computer Vision Term Project
FINAL

5. 3. Display your photo, ID number, Name
처음 시작할 때 & 테스트를 자신의 얼굴로 함
2. Size of the code length ≥ 500
Line : 186 + 38 + 465 = 689
FINAL
Topic
Motivation
Condition
Computer Vision Term Project
1. Use OpenCV library
Version: 2.4.13.6
4. Platform-VSC 2017
FINAL

6. FINAL
Creativity
Usefulness
Level of Difficulty
Development
Result(Demo)
Computer Vision Term Project
1. 구현 방법에서 창의성
처음에는 입술의 land mark를 detect해서
얼굴 위에 띄우려고 하였음
FINAL
입술보다 작게
마스크가 씌워지거나
마스크를 씌워도
마스크 뒤에 입모양이
보이는 문제 발생

7. FINAL
Creativity
Usefulness
Level of Difficulty
Development
Result(Demo)
Computer Vision Term Project
1. 구현 방법에서 창의성
입술 자체를 원초적으로 detect 하여
피부와 함께 Rect 영역을 자르는 것으로
다음의 문제 해결
FINAL
입술보다 작게
마스크가 씌워지거나
마스크를 씌워도
마스크 뒤에 입모양이
보이는 문제 발생

8. FINAL
Creativity
Usefulness
Level of Difficulty
Development
Result(Demo)
Computer Vision Term Project
2. OpenCV 소재를 사용한 창의성
(1) 학습을 하지 않고 가벼운 프로그램에 탑재하기 위해서는
적절한 프로그램
(2) 학습이라는 번거로움이 없어 용이한 개발을 할 수 있음
(3) 무거운 데이터 셋과 학습 서버가 필요 없음
(4) 이것을 학습으로 해결하려면 text파일과 영상 파일이
함께 필요함
FINAL
Lip
Synthesis
Deep
Learning

9. FINAL
Creativity
Usefulness
Level of Difficulty
Development
Result(Demo)
Computer Vision Term Project
3. 참신한 아이디어
(1) 문장만 보고는 화자가 누구인지 알 수 없다!
(2) 텍스트 입력하여 사람의 얼굴이 텍스트에 따라
움직인다면 의사 전달을 더욱 잘할 수 있다!
(3) 재미와 즐거움을 준다!
FINAL
아 어 오 으 우 이

10. FINAL
Creativity
Usefulness
Level of Difficulty
Development
Result(Demo)
Computer Vision Term Project
1. 종합 설계 프로젝트와 연관시킬 수 있다
→ 제작자에게 가장 좋은 유용성
2. 이모티콘으로 활용가능성
FINAL

11. 4. 메신저 어플리케이션과
접목가능성
텍스트를 입력하여 사용자의 얼굴로
영상을 합성하여 전송 가능
FINAL
Creativity
Usefulness
Level of Difficulty
Development
Result(Demo)
Computer Vision Term Project
3. 미디어 활용 가능성
실제로 영상을 촬영하지 않고도
인터넷 강의나,
영상을 사용하는 곳과 접목 가능
FINAL

12. 1. 얼굴 인식을 하는 데 오탐지가 많았다.
사용자의 입술을 detect 해야하는데 눈과 코가 자주 detect되었다.
→ 얼굴 detection 기반으로
하관 영역을 먼저 잡고 입술을 detect하도록 하였다.
FINAL
Creativity
Usefulness
Level of Difficulty
Development
Result(Demo)
Computer Vision Term Project
FINAL

13. 2. 한글을 초중종성으로 분리하고 자료형을 바꾸는데 어려움
+ 문자와 관련된 자료형이 많았다.
wchar, wchar_t, Cstring, string, char, char* 등
상호 변환에서 어려움
FINAL
Creativity
Usefulness
Level of Difficulty
Development
Result(Demo)
Computer Vision Term Project
FINAL

14. 3. 입력하는 한글 글자에 따라 입모양 분리하기
+ 처음 전처리로 받는 데이터가 7개의 입모양이라서,
한글을 모두 표현하는데 조금 부족함이 있음
FINAL
Creativity
Usefulness
Level of Difficulty
Development
Result(Demo)
Computer Vision Term Project
FINAL
기본
아
어
오
우
으
이

15. 4. 웹캠 이미지위에 한글로 글자 넣기
putText함수는 한글이 불가능했다.
구글링으로 해결했지만, 마지막 글자가 잘리는 문제가 발생하여
문제 해결을 하는데 시간을 보냈다.
FINAL
Creativity
Usefulness
Level of Difficulty
Development
Result(Demo)
Computer Vision Term Project
FINAL

16. 1. 종합 설계 프로젝트와 접목
웹 프레임 워크에서 개발 가능
, 홈페이지로 개발
2. 사용자가 더욱 쉽게 사용할 수 있도록 어플리케이션으로 개발
앞서 말한 이모티콘 기능, 인강 기능, 편지 보내기 기능
을 할 수 있음
FINAL
Creativity
Usefulness
Level of Difficulty
Development
Result(Demo)
Computer Vision Term Project
FINAL

17. 3. 입술 주변에 Rect 영역을 잡아 mask로 사용하기 때문에
자연스럽지 않은 부분이 있음
더욱 부드러운 합성이 될 것.
FINAL
Creativity
Usefulness
Level of Difficulty
Development
Result(Demo)
Computer Vision Term Project
FINAL
그 부분만 가우시안 필터를 씌우거나,
Rect 영역 모서리를 둥글게 잡으면

18. FINAL
Creativity
Usefulness
Level of Difficulty
Development
Result(Demo)
Computer Vision Term Project
FINAL

19. Computer Vision Term Project 2019-06-24 FINAL
경청해 주셔서
감사합니다