.

1. Nam Gyu Jung
Intelligent Information Processing Lab
Dept. of Computer Engineering
Gachon University
E-mail: jng6017@gachon.ac.kr
2023.07.31

2. 1
 멀티모달 데이터
 모듈화 및 모델 통합

3. 2
1. 멀티모달 데이터
N24News Dataset
• 이미지와 텍스트 정보를 이용하여 해당 뉴스 기사의 테마를 예측하는 데이터세트

4. 3
1. 멀티모달 데이터
N24News Dataset
• 이미지 : 뉴스 기사의 이미지
• 텍스트 : Headline, Caption, Abstract, Body

5. 4
1. 멀티모달 데이터
멀티모달 기반 모델
• 각각 분석을 위한 모델 적용 후 feature 단계 혹은 prediction 단계에서 융합하여 사용함
ViT
features
prediction
Roberta
features
prediction

6. 5
2. 모듈화 및 모델 통합
디렉토리 구조
• 실행은 main.py에서 진행하며, 각각의 활용요소들을 모듈화 시켜 필요할 때마다 사용
• 코드가 간소화되며, 타 모델 사용시 재활용이 가능하여 편리함
main.py
datasets dataset.py
models model.py
__init__.py
__init__.py
outputs
utils utlis.py
__init__.py

7. 6
2. 모듈화 및 모델 통합
utils.py
• 모델을 실행함에 있어 필요로 하는 소스코드의 집합
• ex) 전처리 함수, 시드 고정 함수, 학습 및 평가 함수

8. 7
2. 모듈화 및 모델 통합
utils.py
• RobertaTokenizer : 허깅페이스에서 제공하는 자연어 처리 라이브러리

9. 8
2. 모듈화 및 모델 통합
utils.py
• Train, Test 함수

10. 9
2. 모듈화 및 모델 통합
utils.py
• 저장 함수
• __init__.py에서 각 함수들 정의

11. 10
2. 모듈화 및 모델 통합
dataset.py
• 데이터 생성

12. 11
2. 모듈화 및 모델 통합
model.py
• Image 모델, text 모델 생성

13. 12
2. 모듈화 및 모델 통합
model.py
• 모델 합성

14. 13
2. 모듈화 및 모델 통합
main.py

15. 14
2. 모듈화 및 모델 통합
main.py

16. 15
2. 모듈화 및 모델 통합
main.py