연세대학교 빅데이터 학회 YBIGTA에서 주최한 2017 YBIGTA Open Session 발표자료입니다.

1. By 김범수 손진원 김지중 박주연
데이터로 바라본 독버섯
함부로 먹지 마요
함부로 먹지 마요
데이터로 바라본 독버섯
YBIGTA 김범수, 손진원, 김지중, 박주연

2. 문제
제기
데이터
수집
데이터
전처리
데이터
모델링
평가
INDEX

3. By 김범수 손진원 김지중 박주연
데이터로 바라본 독버섯
함부로 먹지 마요
문 제 제 기

4. 독버섯 관련 사고

5. 세상은 넓고 버섯 덕후는 많다

6. 이미지만으로?

7. By 김범수 손진원 김지중 박주연
데이터로 바라본 독버섯
함부로 먹지 마요
데이터 수집

8. 1. 종류별 수집
Data Collection

9. Data Collection
• 버섯 소개 페이지를 활용
• 버섯 이미지와 학술명 혹은 일반명 크롤
• Wikipedia를 통해 버섯 사전 구축
• 버섯 사진 – 식용 여부 맵핑
• 약 2,700개의 데이터

10. 2. 종류와 무관하게 수집
Data Collection
• Shutterstock 페이지 활용
• edible fungi / toadstool 등 키워드
• 장점 : 많은 이미지 데이터
• 단점 : 데이터의 정확성
• 약 80,000개의 데이터 (4GB)

11. By 김범수 손진원 김지중 박주연
데이터로 바라본 독버섯
함부로 먹지 마요
데이터 전처리

12. Data Preprocessing
1. 워터마크
• Shutterstock 페이지 자체 워터마크
• 해결 방안
• 주변 픽셀 값 가중 평균
• 혹시 영향이 없지 않을까..?
• 반대로 모든 사진에 워터마크 삽입

13. Convolution Layer

14. 2. 버섯이 아닌 이미지
Data Preprocessing
• 학습하기 좋은 버섯이란..?
• 해결 방안
• 픽셀간 상관계수
• 픽셀간 Euclidean Distance

16. 70 * 70 * 3 = 가로, 세로, RGB
14,700 * 1 벡터로 평탄화
학습하기 좋은 이미지로 기준벡터 만들기

17. 70 * 70 * 3 = 가로, 세로, RGB
70 * 70 * 3 = 가로, 세로, RGB
70 * 70 * 3 = 가로, 세로, RGB
14,700 * 1 벡터로 평탄화
14,700 * 1 벡터로 평탄화
14,700 * 1 벡터로 평탄화

18. 양질 버섯 평균백터
검증이 필요한 버섯 1
검증이 필요한 버섯 2
검증이 필요한 버섯 3
검증이 필요한 버섯 4
피어슨 상관계수
상관계수 : 0.9023
상관계수 : 0.223
상관계수 : 0.403
상관계수 : 0.7518만 개 2만 개

19. By 김범수 손진원 김지중 박주연
데이터로 바라본 독버섯
함부로 먹지 마요
데이터 모델링

20. Data modeling
Convolutional Neural Network

21. Data modeling
• ALEXNET(2012)
• GoogLeNet(2014)
• ResNet(2015)
Convolutional Neural Network

22. ALEXNET
• Validation accuracy : 86.4%
• Loss : 0.27
• 시간 : 12m 42 sec

23. ALEXNET (fine-tuned)
• Validation accuracy : 87.0%
• Loss : 0.19
• 시간 : 16m 13 sec

24. GoogLeNet
• Validation accuracy : 85.34%
• Loss : 0.48
• 시간 : 43m 15 sec

25. T e s t

26. Result – ALEXNET
• Validation accuracy : 85.34%
• Loss : 0.48
• 시간 : 43m 15 sec

27. 데이터에 대한 검정

28. 중복 사진이 많다

29. 데이터: 20,000 →8,000

30. 데이터: 20,000 →8,000

31. • Validation accuracy : 73.12%
• Loss : 0.33
• 시간 : 7m 14 sec
데이터 정제 후, Alexnet (fine-tuned)

32. Data augmentation

34. PRE-trained alexnet with augmented data
• Validation accuracy : 95.26%
• Loss : 0.19
• 시간 : 1h 26 min

35. 다시 한 번 테스트

36. Test set - alexnet

37. Test set - alexnet

38. Test set - human

39. Test set - human

40. 한계 및 시사점

41. 웬만하면 파는 것만 드세요

42. 한계 및 시사점
정제된
대용량의
데이터
도메인
지식
+

43. By 김범수 손진원 김지중 박주연
데이터로 바라본 독버섯
함부로 먹지 마요
EPILOGUE

44. 연세대학교에 서식하는 버섯

45. 먹어도 괜찮을까요?

46. By 김범수 손진원 김지중 박주연
데이터로 바라본 독버섯
함부로 먹지 마요
Thank you