이커머스에서 가장 중요한 사용자 리뷰! 사용자 리뷰 내 특정 키워드 관련 표현을 스마트하게 찾고, 하이라이팅 정보를 제공하는 ML모델 개발하여 서비스에 반영하였습니다. 복잡한 전처리와 모델링전반의 프로세스를 Amazon SageMaker + Custom Docker 로 구현 방법을 소개합니다.

1. 자연어 처리 ML 모델을 활용한
이커머스 문제 해결하기
진현두
데이터 사이언티스트
카카오스타일

2. - 자연어 처리 분야 전공
- 카카오스타일 데이터사이언티스트
📧 : toona.jin@kakaostyle.com

3. 왜 Sagemaker를 써야 하는가?

4. - 데이터 적재
- 데이터 라벨링
- 데이터 전처리
- Task 정의
- 모델 선택
- 개발환경 구축
- (cuda, docker, venv 등)
- 모델 배포
- 모니터링
- 파이프라인 운영
- 모델 학습
- 하이퍼파라미터 튜닝

5. - 데이터 적재
- 데이터 라벨링
- 데이터 전처리
- Task 정의
- 모델 선택
- 개발환경 구축
- (cuda, docker, venv 등)
- 모델 배포
- 모니터링
- 파이프라인 관리
- 모델 학습
- 하이퍼파라미터 튜닝

7. Sagemaker를 활용한
복잡한 ML 파이프라인 구축

8. 직진배송 리뷰 중 특정 키워드와 관련하여 긍정적인 감정을 느낀 리뷰를 추출

9. 긍정적인 리뷰 추출
특정 키워드와 관련한 리뷰 추출
(가능하다면) 문장 내 하이라이트
리뷰 평점 사용하여 데이터셋 구축
Word Embedding 사용하여 키워드 유사도 계산
Classifier 및 Explainer를 사용하여
토큰 importance 계산

10. 전처리(Tokenization, text Cleaning)
유사 키워드 데이터셋 구축
키워드 분류 모델 학습
긍/부정 분류 모델 학습

11. Dataset Sample
전처리(Tokenization, text Cleaning)
유사 키워드 데이터셋 구축
키워드 분류 모델 학습
긍/부정 분류 모델 학습

12. 전처리(Tokenization, text Cleaning)
유사 키워드 데이터셋 구축
키워드 분류 모델 학습
긍/부정 분류 모델 학습

13. Additional Dataset Sample
https://www.kaggle.com/junbumlee/kcbert-pretraining-corpus-korean-news-comments
전처리(Tokenization, text Cleaning)
유사 키워드 데이터셋 구축
키워드 분류 모델 학습
긍/부정 분류 모델 학습

14. Image
Text
1)
2)
전처리(Tokenization, text Cleaning)
유사 키워드 데이터셋 구축
키워드 분류 모델 학습
긍/부정 분류 모델 학습
1) "Why Should I Trust You?": Explaining the Predictions of Any Classifier(Marco Tulio Ribeiro and Sameer Singh and Carlos Guestrin, 2016)
2) http://ndcreplay.nexon.com/NDC2018/sessions/NDC2018_0033.html
classifier
LIME
Explainer

15. 전처리(Tokenization, text Cleaning)
유사 키워드 데이터셋 구축
키워드 분류 모델 학습
긍/부정 분류 모델 학습
뱃살 잘 가려주고 얇아서 시원해요. 배송도 진짜 빨라요
배송 진짜 하루만에 왔어요. 근데 린넨이라 접힌자국이 있네요
종류 다양하고 배송도 진짜 빠른데 가격은 좀 있는거같아요
목요일 밤에 주문했는데 진짜 금요일에 왔어요
석유냄새 좀 나는거 빼고는 만족해요
긍정
부정
부정
부정
Distilbert

16. 전처리(Tokenization, text Cleaning)
유사 키워드 데이터셋 구축
키워드 분류 모델 학습
긍/부정 분류 모델 학습
이 제품은 후기가 거의 없어서 반신반의하며 샀는데 대만족이에요!! 두께는 얇아서 겨울 제
외하고는 다 입기 좋을 것 같아요~~ 코튼 재질이라 보들보들하니 촉감도 좋고
무엇보다 저는 색상이 넘넘 맘에 듭니다. 배송만 좀 더 빠르면 좋을 것 같아요~
이 제품은 후기가 거의 없어서 반신반의하며 샀는데 대만족이에요!!
두께는 얇아서 겨울 제외하고는 다 입기 좋을 것 같아요~~
코튼 재질이라 보들보들하니 촉감도 좋고 무엇보다 저는 색상이 넘넘 맘에 듭니다.
배송만 좀 더 빠르면 좋을 것 같아요~

17. Preprocessing
Sentence
Split Model
Training & Inference
두 가지 모델 학습 / 관리
대용량의 GPU로 학습, 비교적 작은 용량의 GPU로 배포
Train / Inference 시 동일한 pipeline을 통한 전처리
배포 시 발생하는 Error 처리 및 모델 버전 관리

18. Preprocessing
Sentence
Split Model
Training & Inference

20. Docker 구성

21. 1)
1) https://hub.docker.com/r/nvidia/cuda/tags?page=1
2) https://github.com/aws/deep-learning-containers/blob/master/available_images.md
2)

22. https://sagemaker-examples.readthedocs.io/en/latest/aws_marketplace/creating_marketplace_products/Bring_Your_Own-Creating_Algorithm_and_Model_Package.html
train

23. https://sagemaker-examples.readthedocs.io/en/latest/aws_marketplace/creating_marketplace_products/Bring_Your_Own-Creating_Algorithm_and_Model_Package.html
predictor.py

24. https://sagemaker-examples.readthedocs.io/en/latest/aws_marketplace/creating_marketplace_products/Bring_Your_Own-Creating_Algorithm_and_Model_Package.html
predictor.py

25. https://aws.amazon.com/ko/blogs/korea/train-and-host-scikit-learn-models-in-amazon-sagemaker-by-building-a-scikit-docker-container/
복잡한 개발환경
더 복잡한 파이프라인
모델 버전 관리
생각지 못한 버그들

26. 감 사 합 니 다