Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

SKPlanet 추천 플랫폼 콜로세오 - SK ICT Tech Summit 2017 SKPlanet 추천 플랫폼 콜로세오 - SK ICT Tech Summit 2017

6,521 views

Published on

SK ICT Tech Summit 2017 빅데이터 세션에서 발표한
SK Planet 추천 플랫폼 콜로세오 내용을 공유합니다.

추천 로직과 관련된 내용이 아닌
추천서비스 측면에서 추천 플랫폼의 역할에 대해서 기본적인 내용들을 설명 했습니다.

Recopick 부터 콜로세오까지 5년 가까이 추천 서비스를 개발/운영하면서 생각해본 기본 적인 내용들로 구성되어 있습니다.

마지막 장 3줄 요약 있습니다. :)

Published in: Software
  • Sex in your area is here: ♥♥♥ http://bit.ly/2F7hN3u ♥♥♥
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here
  • Dating for everyone is here: ❤❤❤ http://bit.ly/2F7hN3u ❤❤❤
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here

SKPlanet 추천 플랫폼 콜로세오 - SK ICT Tech Summit 2017 SKPlanet 추천 플랫폼 콜로세오 - SK ICT Tech Summit 2017

  1. 1. 개인화 추천팀 정재훈 SK Planet 추천 플랫폼 콜로세오
  2. 2. @uzysjung Objective-c Ranking git-awards.com 5 Apps I developed were chosen as New & Noteworthy, Staff Favorite in Apple App Store. 정재훈 북미 iPad 교육 카테고리 1등
  3. 3. Collaborative Filtering 추천 관련 발표는 다 추천알고리즘에 대한 발표 뿐… 추천 플랫폼은? Deep Neural Networks Matrix Factorization Wide & Deep Learning 이 발표는 …
  4. 4. • 안정적인 데이터 서빙. • 빠른 응답성 • 알고리즘 생성 • 알고리즘 성능 평가 • 알고리즘 최적화 • 사용자 로그 수집 • 추천 성과 수집 • 추천 성과 분석 • 추천 성과 리포팅 추천 플랫폼 서빙 생성수집 추천 플랫폼의 역할
  5. 5. 현황 • 11번가 추천 Recopick  Colloseo 전환. (3월) • 추천 호출 하루 1억 건, Max RPS 2천 건 (11월) • A/B테스트를 거쳐 11번가 20개 영역에 추천/광고 상용 서비스 중 • 2,200만 고객에게 7천만 상품에 대해 추천 적용 중 • 전년 대비 11번가 추천 경유거래액 7배 증가 SK플래닛 빅데이터 클러스터 기반 추천 플랫폼. 치열한 추천 알고리즘의 각축 장이 되기를 바라며 ‘IL COLOSSEO’에서 유래 콜로세오
  6. 6. 최적화 실시간 ROI 콜로세오 아키텍쳐
  7. 7. 상품상세 페이지 최하단 CF , MF , I2V , AR ’Title’ , ‘CollectionView’ 추천 최적화 고려 요소 추천/호출 수, 추천수/상품 수 클릭율 , 경유거래액 , 경유거래 수 , 순거래액 서비스 영역 UI Component 적용 알고리즘 추천 커버리 지 성과 지표 Optimization
  8. 8. Optimization 추천에서 최적화 대상은? 알고리즘? , 서비스 영역?
  9. 9. 서비스영역에 적용되어 있는 추천 알고리즘들 + UI Optimization : 최적화 대상은?
  10. 10. RNN 상품상세 장바구니CF 알고리즘을 여러영역에 적용 서비스 영역에 알고리즘들을 적용 1. 알고리즘을 만든다. 2. 알고리즘이 적합한 영역을 찾는다. 1. 추천이 들어갈 서비스 영역을 선정한다. 2. 영역에 적합한 추천알고리즘을 고민한다. 3. 적용한다. Optimization : 접근법 VS Now배송 긴급공수 쇼킹딜 상품상세 장바구니 MF CF RNN I2V
  11. 11. 어떤 알고리즘이 좋을까? 커버리지 : 50% 평균 CTR 10% 각각의 추천 알고리즘은 개별적인 특성과 한계를 가짐. Optimization : 어떻게 최적화 하지? A 커버리지 : 100% 평균 CTR 5% B 다양한 알고리즘의 조합으로 서비스 영역에 적용 가능 VS +A B 커버리지 : 100% 평균 CTR 7.5%
  12. 12. 그럼 어떻게 조합하지? 추천 Timeout Optimization : 대안 알고리즘 A B C D추천 요청
  13. 13. BuyTogether : CF 기반 추천 로직 (Coverage : 29% ) BuyNext : CategoryToItem 기반 추천 로직 (Coverage : 100% ) PC 장바구니 A/B/C 테스트 (2017.9.11 ~ 12) 보완재 추천 알고리즘 BuyTogether BuyNext BT+BN 노출CTR (비율) 1.5 1 1.15 구매건수(비율) 1.52 1 2.1 Optimization : PC 장바구니 추천 <11번가 PC 장바구니 화면>
  14. 14. 메인 알고리즘 대안 알고리즘 Optimization : AB테스트 A A’ A’’ 추천 요청 B B’ AB테스트 결과 AB A’B A’’B AB’ A’B’ A’’B’ 메인 알고리즘의 로직 향상으로 이어짐. 적용결과 B’ A
  15. 15. ex) Norm * 0.3 + Vector * 0.7 Optimization : NOW배송 개인화 추천 Harald Steck et al, Interactive Recommender Systems: Tutorial, Proceedings of the 9th ACM Conference on Recommender Systems, September 16-20, 2015, Vienna, Austria While the orientations of the vectors reflect similarity, their norms reflect the items’ popularity. 플랫폼 상에서 서비스 영역의 지속적인 무중단 A/B테스트 를 통해 최적값을 찾을 수 있음. 콜로세오 MF 서비스 영역적 특성에 맞게 Norm 과 Vector 비중을 최적화 “ “
  16. 16. 영역 클릭 장바구니 구매 추천 없음 1 1 1 인기도 기반 1.17 1.34 1.2 유사도 기반 1.24 1.26 1 NOW배송 탭 개인화 MF A/B 테스트 2017.9.5 ~ 2017.9.15 (비율 5: 2.5: 2.5 ) Matrix Factorization - Norm (인기도) VS Vector (유사도) Optimization : NOW배송 개인화 추천 <11번가 Now배송 탭 >
  17. 17. 연관 상품 광고 AB테스트 2017.03.20 ~ 2017.03.21 플랫폼 기반 추천 로직 최적화 CF Item MAB CF Category 앙상블 사용자 플랫폼 지원 영역 사용자반응 추천결과 광고 추천 기존 광고 클릭 1.47배 1 광고매출 1.25배 1 Optimization : 연관 상품 광고 <11번가 상품상세 하단 영역>
  18. 18. User’s interest In Realtime – eCommerce 특성 Implicit feedback (User action) Explicit feedback (User rate) E-Commerce >> E-Commerce는 사용자 성향을 명시적으로 Feedback 받기 어렵다. 오픈마켓 특성 상 뚜렷한 목적을 가지고 방문하는 고객이 많다 생필품 사는데 사용자 성향이 반영될 수 있을까?
  19. 19. 실시간 개인화 추천 영속성 단발성 그럼 개인화 추천은 어떻게 되야 할까? + 현재 사용자의 쇼핑을 돕는 추천 (구매의도, 가격) 사용자의 성향에 기반한 추천 User’s interest In Realtime
  20. 20. User’s interest In Realtime : 콜로세오 Colloseo 특징 비로그인 상태 사용자 행동 수집 가족 계정에 대한 추론을 통해 각 사용자 추천 로직 대응 (동일 계정에 여러 핸드폰) +App Mobile Web PC Web + Colloseo 실시간 로그 수집
  21. 21. 실시간 개인화 추천 2차 5:5 A/B테스트 결과 기간 : 2016.12.13 ~ 2016.12.16 응답속도 개선( 평균 50ms ) 커버리지 향상 ( 98% ) 구분 노출 대비 CTR 비율 빌보드 3 긴급공수 1 개인화추천 8 쇼킹딜 2 User’s interest In Realtime : 콜로세오 Colloseo 개인화 추천 1.향상된 풍부한 사용자 로그 2. 실시간 연산 로드 분산 - 코드 최적화 , 인프라 개선 CTR (Clicks/Views) CTR 비율 경유 구매 비율 Recopick 0.41% 1(기준) 1(기준) Colloseo 1.566% 3.819 3.459 구분 노출 대비 CTR 비율 기획전 1 개인화추천 5
  22. 22. Near Realtime Matrix Factorization - Item Feature 시간 단위 연산 - User Latent Feature 실시간 연산 매 시간 학습 추천 호출 시점 사용자 히스토리 기반 계산 추천 결과 생성 추천 요청 K-Mean MF-NRT 성과 CTR 1 1.07 7%↑ CVR 1 1.04 4%↑ 홈탭 쇼킹딜 5:5 A/B테스트 기간 : 2017.08.26~09.6 (7일간, App) User’s interest In Realtime : NRT MF Item Latent Feature User Latent Feature <11번가 홈탭 긴급공수, 쇼킹딜>
  23. 23. 기존 로직 대비 10% 성능 향상 된 알고리즘 무조건 적용해야 될까? Return On Invest
  24. 24. A 알고리즘 : Deep Neural Network 기반 CTR 5.5% , CVR 1% B 알고리즘 : Thompson Sampling 기반 CTR 5 % , CVR 1% - A/B 테스트 결과 : A가 B보다 10%↑ - 추천 상품 Pool : 500개 알고리즘 클릭 건수 구매 전환 A (DNN) 550 Click 5.5건 B (TS-MAB) 500 Click 5건 Return On Invest ex) 기획전 페이지 (PV : 1만/일) A (DNN) 학습 + 인퍼런스 장비 (GPU 장비 필요) >> B (TS-MAB) 서버 Only 시스템 복잡도
  25. 25. A (수동, 5) B (MAB, 5) 성과 CTR 1 1.94 94.39%↑ CVR 1 1.71 70.88%↑ A/B테스트 07.27~07.30 (4일간, Android) - 1년 약 4천개의 기획전. - 상대적으로 적은 노출 - 상품 변경이 잦음. - 상품Pool 한정적 (100 ~ 2,000 개) 11번가기획전 성/연령 13개 Segment Thompson Sampling 기반 최적화 ROI : 기획전
  26. 26. CF 배치시간 최적화 6천만 상품에 대한 시간단위 배치  15% 추천 성능 향상 11번가 가장 PV가 높은 영역 고객 충성도가 높은 영역 ROI는 ? 상품상세 ROI : 이 상품과 함께 본 상품
  27. 27. - 추천 서비스 영역은 특성 존재 - 한정된 상품 내에서는 추천알고리즘은 한계를 가지게 됨. (기획전의 경우 상품 Pool 이 한정) - 한정된 조건  아무리 좋은 알고리즘도 고만 고만 해짐. 매출 뿐 아니라 Retention, Session 유지등 다양한 지표를 통해 효율 측정 고려 필요! Return On Invest ROI 고려하여 해당 영역의 최적화!
  28. 28. Summary 2 1 3 Commerce 추천은 실시간 사용자의 관심사가 중요! 추천은 알고리즘 연구가 아니다. 추천은 고객을 위한 서비스! 궁극적인 최적화 대상은 ‘고객을 위한 서비스 영역임’을 잊지 말자. 추천도 비즈니스 ! 추천도 투자 대비 수익을 생각해야 한다.
  29. 29. SKPlanet 개인화 추천팀 정재훈 감사합니다!

×