개발자 동아리 SOCC 발표주제 주제 - 네이버 해커톤 (VISION-AI) 참여 주제 설명 및 적용된 이론 설명

1. Image retrieval &
Deep learning
Naver AI hackathon project

2. Image Retrieval?

3. 프로그램의 목표

4. 왜 딥러닝인가 ?

5. 먼저 사진과 관련된
딥러닝 적용 예시를 보
자

7. 2012년에 Deep learning이 이 대회에 처음 적용됨
기존의 전통적 방법보다 월등한 성능 차이를 보임

8. 우리가 아는 딥러닝은 이건데 ?….
(feat 서현님 강의)

9. 우리가 아는 딥러닝은 이건데 ?….
(feat 서현님 강의)
Y = Ax + B

10. 잠시 Remind12
8
7
11
12
0.2
0.000001
0.6
0.1
평수
방 개수
우편 번호
(집위치)
연봉
5.2
0.7
1.52
0.6
0.2
0.2
파란색이 인공 신경망이 학습하는 가중치!
(y = ax + b)
1억 5천 2억

11. 하지만 사진은 학습해야 할 정보가 너무 많다.
부동산 데이터는 숫자 여러개로 표현 할수 있는데…..
한 사진에 해당하는 데이터 => 너비 * 높이 = 짱많음
… ㅎㅎ

12. 답은 CNN 이다!
정말 간단히 보자면, 사람이 사진을 볼때 픽셀단위로 보지
아니하듯,
컴퓨터도 중요한 사진의 특징을 뽑아낼 것이다.
중요한 정보만 남기고, 덜 중요한 정보는 뭉개 뜨리면서 학
습하자.

13. 컴퓨터가 보는 고양이…

14. 그럼 컴퓨터가 학습하는
것은?
• 이전의 부동산에서는 방 개수나, 크기같은 숫자데이터에 곱
해줄 가중치 (ax + b) 를 학습했다.
• 사진데이터를 학습하는 CNN에서는 필터를 학습한다.

15. 우리가 쓰는 카메라 필터 컴퓨터가 사진을 이해하기 위해 사용하는 필터
Y = Ax
A = 필터
x = 사진
Y = 컴퓨터가 좋아하는 사진… 응? (컴퓨터가 작업하기 좋은
사진 형태)

16. 필터로 뭐 어쩌라구?
이제 컴퓨터가 자신이 학습하는 필터로 이미지 데이터를 줄일
수 있으니,
우리가 이전에 알고있던 인공 신경망에 넣을 수 있다.
원본 사진 컴퓨터가 좋아하는 사진 분류

18. 자 이제 우리는 사진을 분류하는 인공
지능을 만들 수 있다.
이제 Image Retrieval 기능을 구현해 보
자.

19. 사진 (feature)는 각각 RGB 숫자로 표현이 된다.
CNN

20. Cosine similarity
두 이미지의 feature (2차원 벡터로 표현)
Cosine similarity 가 클수록 비슷하다 -> retrieval

21. 이미지 검색 vs 이미지
분류
더 어렵다..

22. 접근법 1. 중요한 부분 찾아내기
(Attention 기법)

23. Attention 기법

24. 잠시 Remind12
8
7
11
0.1
0.5
0.1
0.6
0.1
평수
방 개수
우편 번호
(집위치)
연봉
5.2
0.7
1.52
0.6
0.2
0.2
파란색이 인공 신경망이 학습하는 가중치!
(y = ax + b)
1억 5천 2억

25. 접근법 2. Pretrain model 적용
(fine-turing기법)

26. Google Resnet

27. 접근법 3. Loss 함수 조정
+
Cross entropy loss Mean Squared loss

28. 접근법 4. 데이터 양 불리기(Data
augmentation)

29. SOCC 현재 14등