Capstone Design at Incheon National University

1. Artistic Sentence
You & AI
김영민, 유의선, 김영훈, 신우탁

2. Introduction
Introduce Our Teams, Project Motivation & Goal
A
B Applied Technologies
Our Full Architecture, Our Technique
C Our Application Demonstration
App Demonstration
Context
D Conclusion & Future Work
Conclusion and Future work

3. Introduction

4. 김영훈
Our Team
python generate.py –p “$Member_name”
유의선
Application
Programmer
신우탁
Programmer
김영민
AI Programmer
& Team Leader
Application
Programmer
유의선
Application
Programmer
신우탁
AI Programmer

5. Motivation
01
03
02
04
최근 AI Top-tier 학회(CVPR, ECCV, etc)
에 Multimodal에 대한 많은 연구가 진행되고
있다.
Multimodal에 대한 연구 증가
그림을 처음 접하는 아이들에게 어떻게 어떤
단어는 어떻게 그려야하는지 도움을 줄 수 있
다.
그림을 처음 접하는 아이들에
게 도움
웹툰 등의 작가들에게 어떠한 글이 어떠한 그
림으로 나타낼지에 대한 아이디어 제공
글 및 그림 작가에게 그림
가이드라인 제공
마음에 드는 그림 스타일을 추천 받아서 자신
이 좋아하는 그림 스타일을 찾을 수 있다.
자신만의 그림 스타일을 찾을
수 있음

6. Our Goal
Input Text Select Style Generate Image
반 고흐 초상화가
걸려있는 침실
Pop Art
Recommend Text, Image
and Style
꿈꾸는 버스와 로고
Picasso
ex

7. Applied Technologies

8. User 데이터
및 평가 데이터
저장
TCP/IP
Socket
통신
Image, 추천 데이터 전송
입력값 전송, Image 요청
User
Download
Text, Style,
Quality
App Server
DB
평가
로그인 정보
입력
Image 출력
추천 데이터 선택
Text,
Style,
Quality
수신
Image
생성

9. AI Technology
Text2Image
CLIP
Create a Dataset classifier from label-text Zero-shot Prediction
Contrastive Pre-training
Similarity-Learning Various Combinations

10. AI Technology
Text2Image
VQGAN
High-Resolution Image Generator

11. AI Technology
Text2Image
CLIP + VQGAN (Perceptor + Generator)
CLIP
Latent
Vector
VQGAN

12. AI Technology
Image Recommendation System
Similar Image Recommendation based on Image Feature
EfficientNet
Image Feature
Vector
ID Age Eval Sex Style
1 32 3.5 M 0
3 18 5.0 W 1
4 49 2.5 M 2
5 69 3.5 W 2
6 52 3 M 0
User DataBase
Similarity Table
Recommend
Image

13. Application Technology
클라이언트
소켓 서버 데이터베이스
TCP/IP 소켓 통신
Firebase ML Kit 번역 기능
Firebase Authentication : (구글) 로그인 기능 구현
Firebase Realtime Database : 회원정보 관리
사용자 평점 데이터
회원정보
회원정보 요청
회원정보 전송
Google STT API 음성입력 기능
사용자

14. Demonstration

15. Login
Login and Sign up
로그인을 통한 회원 관리
(비회원으로도 가능)
Login
회원 가입을 통한 회원
정보 수집
Sign Up
Google 과 연동하여
로그인 가능
Google Login

16. How to Artistic Sentence?
Select Option
그림으로 생성할 문장 입력
(음성 인식 기능 추가)
Enter Text
그림체 선택
Select Style
그림의 퀄리티 선택
(퀄리티와 생성 시간은 반비례)
Select Quality

17. Image Generation
Result
- 이미지 저장 기능
- 같은 텍스트 다른 이미지 재생성
- 비슷한 이미지 추천 받기
Evaluation
Picture

18. - 문장 추천
- 이미지 추천
- 그림체 추천
이미지 추천

19. Conclusion &
Future Work

20. Conclusion
- Firebase ML Kit, Google STT API를 통해
번역, 음성입력 기능 구현
- Firebase를 통한 소셜 로그인 기능 구현과 데이
터베이스 구축
Firebase를 이용하여 빠른 앱 개발 실현
- CLIP과 VQGAN을 합친 AI 모델 구현을 통해
Multi-modal AI system을 적용
- EfficientNet를 이용하여 이미지와 DB에 있는
사용자 정보를 통한 Image
Recommendation system Algorithm 구축
Multi-modal AI 구현 및 Image
Recommendation System 구축
01 02

21. Future Work
- SOTA 모델을 사용 및 응
용하여 모델 고도화
- 맞춤형 이미지 훈련하여
사용
- Image Generation 시
간 단축
AI 모델의 고도화
01
- 이미지 유사도 뿐만 아니
라 개인의 특성을 통한
더욱 고도화된 알고리즘
구축
- 정밀한 이미지 유사도 계
산 알고리즘 구축
정교화된 초개인화 이
미지 추천 알고리즘
02
- 로그인 인증방식 추가로
소셜 로그인 기능 고도화
- Firebase Database 위
치 변경으로 데이터 조회 시
간 단축
모바일 앱의 고도화
03

22. Thank you