[우리가 데이터를 쓰는 법] 모바일 게임 로그 데이터 분석 이야기 - 엔터메이트 공신배 팀장Dylan Ko
Gonnector(고넥터) 고영혁 대표가 주최한 스타트업 데이터 활용 세미나 '우리가 데이터를 쓰는 법' 의 세 번째 발표 자료
세미나 : 우리가 데이터를 쓰는 법 (How We Use Data)
일시 : 2016년 4월 12일 화요일 10:00 ~ 18:00
장소 : 마루180 (Maru180) B1 Think 홀
제목 : 모바일 게임 로그 데이터 분석 이야기
연사 : 엔터메이트 공신배 팀장
[우리가 데이터를 쓰는 법] 모바일 게임 로그 데이터 분석 이야기 - 엔터메이트 공신배 팀장Dylan Ko
Gonnector(고넥터) 고영혁 대표가 주최한 스타트업 데이터 활용 세미나 '우리가 데이터를 쓰는 법' 의 세 번째 발표 자료
세미나 : 우리가 데이터를 쓰는 법 (How We Use Data)
일시 : 2016년 4월 12일 화요일 10:00 ~ 18:00
장소 : 마루180 (Maru180) B1 Think 홀
제목 : 모바일 게임 로그 데이터 분석 이야기
연사 : 엔터메이트 공신배 팀장
데이터 분석에 필요한 기본 개념: 지표, Funnel 등 데이터를 이해하기 위한 멘탈 모델(Mental Model)Minwoo Kim
- 강의록 전문 읽기: http://bit.ly/2KKtzRA
데이터 분석(데이터 사이언스 말고, 통상적으로 스타트업에서 '데이터 분석'이나 '그로스'에 쓰는 데이터 분석)을 공부하려면, 어떤 기본 개념을 가지고 계시면 좋을지에 대해 만들어 본 강의 자료입니다.
카우앤독에서 지인 위주로 꾸린 강의에서 꽤 좋은 평가를 받았으나, 강의안 준비가 너무 힘들어서 실제 유료 강의로 이어지지는 않은 비운의 슬라이드...
멘탈 모델이란 무엇인지, 지표는 무엇이며 퍼널(Funnel)은 무엇인지, 등등의 이야기를 합니다. 기승전 결론은 SQL 배우세요. (https://brunch.co.kr/@minu-log/4)
[NDC18] 야생의 땅 듀랑고의 데이터 엔지니어링 이야기: 로그 시스템 구축 경험 공유Hyojun Jeon
NDC18에서 발표하였습니다. 현재 보고 계신 슬라이드는 1부 입니다.(총 2부)
- 1부 링크: https://goo.gl/3v4DAa
- 2부 링크: https://goo.gl/wpoZpY
(SlideShare에 슬라이드 300장 제한으로 2부로 나누어 올렸습니다. 불편하시더라도 양해 부탁드립니다.)
Little Big Data #1 다양한 사람들의 데이터 사이언스 이야기에서 발표한 자료입니다
궁금한 것은 언제나 문의주세요 :)
행사 후기는 https://zzsza.github.io/etc/2018/04/21/little-big-data/ 에 있습니다!
(2018.5 내용 추가) 현재 회사가 없으니, 제게 관심있으신 분들도 연락 환영합니다 :)
Spark 의 핵심은 무엇인가? RDD! (RDD paper review)Yongho Ha
요즘 Hadoop 보다 더 뜨고 있는 Spark.
그 Spark의 핵심을 이해하기 위해서는 핵심 자료구조인 Resilient Distributed Datasets (RDD)를 이해하는 것이 필요합니다.
RDD가 어떻게 동작하는지, 원 논문을 리뷰하며 살펴보도록 합시다.
http://www.cs.berkeley.edu/~matei/papers/2012/sigmod_shark_demo.pdf
[NDC18] 야생의 땅 듀랑고의 데이터 엔지니어링 이야기: 로그 시스템 구축 경험 공유 (2부)Hyojun Jeon
NDC18에서 발표하였습니다. 현재 보고 계신 슬라이드는 2부 입니다.(총 2부)
- 1부 링크: https://goo.gl/3v4DAa
- 2부 링크: https://goo.gl/wpoZpY
(SlideShare에 슬라이드 300장 제한으로 2부로 나누어 올렸습니다. 불편하시더라도 양해 부탁드립니다.)
데브시스터즈 데이터 레이크 구축 이야기 : Data Lake architecture case study (박주홍 데이터 분석 및 인프라 팀...Amazon Web Services Korea
데브시스터즈 데이터 레이크 구축 이야기 : Data Lake architecture case study
이 세션에서는 데브시스터즈의 Case Study를 통하여 Data Lake를 만들고 사용하는데 있어 요구 되는 사항들에 대해 공유합니다. 여러 목적에 맞는 데이터를 전달하기 위해 AWS 를 활용하여 Data Lake 를 구축하게된 계기와 실제 구축 작업을 하면서 경험하게 된 것들에 대해 말씀드리고자 합니다. 기존 인프라 구조 대비 효율성 및 비용적 측면을 소개해드리고, 빅데이터를 이용한 부서별 데이터 세분화를 진행할 때 어떠한 Architecture가 사용되었는지 소개드리고자 합니다.
한빛데브그라운드에서 발표했던 내용입니다.
발표 영상 : https://youtu.be/ohpfSLf0V3Y
--
스타트업 비즈니스에서 데이터를 활용한 전략 수립과 의사결정은 필수적인 요소입니다. 서비스 운영 데이터에서부터 다양한 고객의 행동 로그, 소셜 미디어 데이터까지 다양한 데이터를 모두 모아 분석 환경을 구축하기 위해서는 많은 준비와 고민이 필요합니다. 스타트업에서 빠른 속도와 최소한의 비용, 다양한 분석 Tool들과 연동되는 Data Pipeline, Data Lake, Data Warehouse 구축 경험기를 공유하고자 합니다. 이 과정을 통해 애널리틱스 파이프라인을 구축 과정과 S3, Glue, Athena,EMR, Quicksight와 같은 서버리스 애널리틱스 서비스에 대한 구축 사례를 확인하실 수 있습니다.
데이터 분석에 필요한 기본 개념: 지표, Funnel 등 데이터를 이해하기 위한 멘탈 모델(Mental Model)Minwoo Kim
- 강의록 전문 읽기: http://bit.ly/2KKtzRA
데이터 분석(데이터 사이언스 말고, 통상적으로 스타트업에서 '데이터 분석'이나 '그로스'에 쓰는 데이터 분석)을 공부하려면, 어떤 기본 개념을 가지고 계시면 좋을지에 대해 만들어 본 강의 자료입니다.
카우앤독에서 지인 위주로 꾸린 강의에서 꽤 좋은 평가를 받았으나, 강의안 준비가 너무 힘들어서 실제 유료 강의로 이어지지는 않은 비운의 슬라이드...
멘탈 모델이란 무엇인지, 지표는 무엇이며 퍼널(Funnel)은 무엇인지, 등등의 이야기를 합니다. 기승전 결론은 SQL 배우세요. (https://brunch.co.kr/@minu-log/4)
[NDC18] 야생의 땅 듀랑고의 데이터 엔지니어링 이야기: 로그 시스템 구축 경험 공유Hyojun Jeon
NDC18에서 발표하였습니다. 현재 보고 계신 슬라이드는 1부 입니다.(총 2부)
- 1부 링크: https://goo.gl/3v4DAa
- 2부 링크: https://goo.gl/wpoZpY
(SlideShare에 슬라이드 300장 제한으로 2부로 나누어 올렸습니다. 불편하시더라도 양해 부탁드립니다.)
Little Big Data #1 다양한 사람들의 데이터 사이언스 이야기에서 발표한 자료입니다
궁금한 것은 언제나 문의주세요 :)
행사 후기는 https://zzsza.github.io/etc/2018/04/21/little-big-data/ 에 있습니다!
(2018.5 내용 추가) 현재 회사가 없으니, 제게 관심있으신 분들도 연락 환영합니다 :)
Spark 의 핵심은 무엇인가? RDD! (RDD paper review)Yongho Ha
요즘 Hadoop 보다 더 뜨고 있는 Spark.
그 Spark의 핵심을 이해하기 위해서는 핵심 자료구조인 Resilient Distributed Datasets (RDD)를 이해하는 것이 필요합니다.
RDD가 어떻게 동작하는지, 원 논문을 리뷰하며 살펴보도록 합시다.
http://www.cs.berkeley.edu/~matei/papers/2012/sigmod_shark_demo.pdf
[NDC18] 야생의 땅 듀랑고의 데이터 엔지니어링 이야기: 로그 시스템 구축 경험 공유 (2부)Hyojun Jeon
NDC18에서 발표하였습니다. 현재 보고 계신 슬라이드는 2부 입니다.(총 2부)
- 1부 링크: https://goo.gl/3v4DAa
- 2부 링크: https://goo.gl/wpoZpY
(SlideShare에 슬라이드 300장 제한으로 2부로 나누어 올렸습니다. 불편하시더라도 양해 부탁드립니다.)
데브시스터즈 데이터 레이크 구축 이야기 : Data Lake architecture case study (박주홍 데이터 분석 및 인프라 팀...Amazon Web Services Korea
데브시스터즈 데이터 레이크 구축 이야기 : Data Lake architecture case study
이 세션에서는 데브시스터즈의 Case Study를 통하여 Data Lake를 만들고 사용하는데 있어 요구 되는 사항들에 대해 공유합니다. 여러 목적에 맞는 데이터를 전달하기 위해 AWS 를 활용하여 Data Lake 를 구축하게된 계기와 실제 구축 작업을 하면서 경험하게 된 것들에 대해 말씀드리고자 합니다. 기존 인프라 구조 대비 효율성 및 비용적 측면을 소개해드리고, 빅데이터를 이용한 부서별 데이터 세분화를 진행할 때 어떠한 Architecture가 사용되었는지 소개드리고자 합니다.
한빛데브그라운드에서 발표했던 내용입니다.
발표 영상 : https://youtu.be/ohpfSLf0V3Y
--
스타트업 비즈니스에서 데이터를 활용한 전략 수립과 의사결정은 필수적인 요소입니다. 서비스 운영 데이터에서부터 다양한 고객의 행동 로그, 소셜 미디어 데이터까지 다양한 데이터를 모두 모아 분석 환경을 구축하기 위해서는 많은 준비와 고민이 필요합니다. 스타트업에서 빠른 속도와 최소한의 비용, 다양한 분석 Tool들과 연동되는 Data Pipeline, Data Lake, Data Warehouse 구축 경험기를 공유하고자 합니다. 이 과정을 통해 애널리틱스 파이프라인을 구축 과정과 S3, Glue, Athena,EMR, Quicksight와 같은 서버리스 애널리틱스 서비스에 대한 구축 사례를 확인하실 수 있습니다.
취향기반의 개인화 서비스를 통한 이커머스 혁신 – 소성운 ZIGZAG 데이터사이언티스트, 강상원 마이셀럽스 대표:: AWS Cloud We...Amazon Web Services Korea
패션 테크 스타트업 지그재그의 AWS 기반 지속 가능한 AWS 데이터 분석 플랫폼 구축과 Personalize를 활용한 개인화 상품 추천 서비스 구축 경험을 공유드립니다. [마이셀럽스] MATS(Mycelebs AI Transformation Suite)를 이용한 Data 수집, 시각화, 자동화를 통해 고객 취향 기반의 추천 서비스를 제공한 사례를 공유합니다.
핵심 미래 분석 기술! 시계열 분석을 활용한 수요예측과 재고관리 최적화 사례 – 김형일 AWS 솔루션즈 아키텍트, 이환기 신세계아이앤씨 A...Amazon Web Services Korea
리테일을 포함한 많은 기업들이 디지털 전환의 핵심 기술로 AI와 머신러닝 활용을 고려하고 있습니다. 본 세션에서는 리테일 비즈니스 최적화를 위한 수요 예측과 재고관리에 시계열 분석을 도입하기 위한 분석도구로 Amazon Forecast와 Amazon SageMaker를 활용하는 방안에 대해 알아보고, 국내 대형유통업체가 AWS 서비스를 활용하여 어떻게 재고를 최적화했는지 성공사례를 공유해 드립니다.
[AWS Innovate 온라인 컨퍼런스] Amazon Personalize를 통한 개인화 추천 기능 실전 구현하기 - 최원근, AWS 솔...Amazon Web Services Korea
발표자료 다시보기: https://youtu.be/npwFUT6XO18
Amazon Personalize는 Amazon.com에서 20년 이상 추천/개인화를 제공해 온 경험을 바탕으로, 회사가 권장 사항, 검색 결과, 이메일 캠페인및 알림과 같은 개인화 된 경험을 제공하도록 돕는 완전 관리 형 서비스입니다. 본 세션에서는 기계 학습에 대한 지식 없이도 개인화 및 추천 기능을 도입하고 싶을때, 현장에서 충분히 활용 가능한 Amazon Personalize를 상세하게 알아보고 이를 활용한 간단한 데모를 통해 실제 활용 예시를 살펴보겠습니다.
3. 소개
• 저는
• 20년 경력의 소프트웨어 엔지니어/데이터 엔지니어
• 컨설턴트 및 Application Arcihtect 로서 프리랜서 경력 10년 (삼성/LG전자,
통신3사)
• 삼성전자 바다플랫폼 서버사이드(현 SSP), FindMyMobile, SamsungLink등 대용
량/분산/DB Sharding/세션스토어/GSLB/Geo-Replication/Disaster Recovery
Center 시스템을 설계 및 구축/ 24*365 운영
전세계 대상 글로벌 서비스 플랫폼 상용화 첫 사례. AWS의 No.1 고객
• 삼성전자/LG전자 안드로이드 개발자, IoT 사물인터넷 국제 표준중 하나 –
OneM2M 스펙 구현
• 인터파크 (2016~2018)
• 하둡 3.0 alpha2 버전의 빅데이터 플랫폼/Doc2Vec 모델기반 도서 추천 시스템
구축
• SKPlantet/11번가 (2018~2021)
• 셀러오피스-가격경쟁력, 셀러 애널리틱스/11번가 데이터 플랫폼 (10PB
Hadoop기반 데이터레이크, 광고/추천/검색/BI시스템 등 일 3000여개 배치등이
수행되는 2개의 Spark/Hive 전용 Yarn 클러스터) 이관 및 구축/운영
• 이마트 DT본부 (2021~현재)
5. 소개
• D/T본부는
• 이마트의 경영 혁신과 고객경험 혁신
• 오프라인 리테일의 디지털 전환하는 사명
• https://www.youtube.com/channel/UCDZ6upUPAfv3bO_vQdSfpUQ/featured
6. 소개
• D/T본부는
• 오프라인 자산 온라인화
• 구전되는 노하우를
데이터화/시스템화
• 휴먼 인텔리전스를
디지털 자산화/시스템화/자동화/지능화
역할
• IT/Data/AI 자산 내재화
• 시스템 & 서비스 완성도 재고
• 일하는 방식의 전환
• 기존 경험과 직관 + 데이터
= 데이터 기반의 업무수행
점포 효율화
상품/판매/물류
고객 경험 개선
스마트/편리한 서비스
B2B2C
7. 소개
• D/T본부는
• On – Off 통합 에코 시스템, 생활문화 서비스 제공하는 플랫폼
• emart/트레이더스/노브랜드/문화센터/스타벅스/SSG랜더스/카사미아/신세계백
화점/조선호텔/스타필드 …
• SSG.com/지마켓/SI Village/W컨셉/신세계홈쇼핑…
• 옴니채널 마케팅 도구(플랫폼) 제공
• 신세계 유니버스 (통합 유료 멤버십, 신세계 페이먼트, …)
16. 부적절 리뷰 필터
• 설계 시 고려한점
• 이미지 필터 모델 개발은?
• Model Engineer 부재
• SaaS 솔루션 검토
• Google Vision (Safe Search) à AWS Rekognition (detect_moderation_labels)
• adult, spoof, medical, violence, racy
17. 부적절 리뷰 필터
• 설계 시 고려한점
• Web Application Framework
• 파이썬 기반으로 모델 개발과 서빙 환경을 통일
• Pre-Trained Model 로딩
• 빠른 성능 제공
• 동시성 기반의 Asyncio 비동기 처리를 지원 (ASGI – Uvicorn)
• Java, Go기반의 Framework과 비견될 성능
• background task 지원
• Data Validator 기본 탑재
• API Spec 문서 자동화 - Swagger기반
18. 부적절 리뷰 필터
• 설계 시 고려한점
• Python, Java, Go 등 Polyglot 지원
• 독립성, 민첩성을 제공하는 컨테이너 환경 지원
• 분산환경 지원 및 리소스 격리 가능
• 로컬환경과 Cloud 환경 모두에 적합한 애플리케이션의 지속적인 통합
배포, 전개 가능
19. 부적절 리뷰 필터
• 설계 시 고려한점
• Service Mesh : Istio
• 서비스간 상호 호출을 위한
Service Discovery
• 장애전파 차단을 위한 Circuit
Break
• 네트워크 트래픽 관리 (Canary, 배
분율, AB Test)
• 분산 추적, 모니터링, 로깅에 적합
20. 부적절 리뷰 필터
• 설계 시 고려한점
• Multi Tenancy
• 내/외부 Network
Security 및 통신비용
21. 부적절 리뷰 필터
• 설계 시 고려한점
• 이미지 인퍼런싱 타임 1초~30초간의 긴 처리 시간 고려
• 통신 방식 : Http / 이벤트 기반의 비동기 처리 / 댓글 리뷰 필터아웃 - Post Audit
방식
• BackgroundTask : HTTP Req à HTTP Res (202 Accepted)
• DB Connection Pooling
• SQLAlchemy v1.4 - async_scoped_session
• Http Client Pooling
• FastAPI request adapter / Poolmanager - urllib3기반
22. • 아키텍처
부적절 리뷰 필터
Argos API
EmartApp API
Argos Admin
evaluate(ContentID, Text, ImageURL)
202 Accepted
block(ContentID) AWS
Rekognition
API
BackgroundTask
/ Async
3s~50s
부적절 리뷰 필터
BentoML API
BentoML API
DB
Admin
23. 부적절 리뷰 필터
• 필더
• 부적절 텍스트 필터
• 욕설, 비방 등 부적절한 문장
• 필터 모델
• Naïve Bayes 분류기 à FastText
• 모델 교체가 자유롭도록 느슨한 결합 구조 – BentoML
• 모델 아티팩트를 온라인 서빙이 가능하도록 편리성 지원
• Swagger API 문서 자동 생성
BENTOML
24. 부적절 리뷰 필터
• 필더
• 부적절 이미지 필터
• AWS Rekognition
• detect_moderation_labels – 최상위 카테고리 Confidence 값 70이상 시 부적절 처리
• "Tobacco", "Drugs", "Alcohol", "Gambling", "Hate Symbols" 이 포함된 이미지는
적합 판정 처리
• Food인 경우 Label 예외처리를 통해 검출 정확도를 높이고 있음
Top-Level Category
Explicit Nudity(노골적인 나체)
Suggestive(선정적)
Violence(폭력)
Visually Disturbing(시각적으로 불편한 콘텐츠)
Rude Gestures(무례한 제스처)
25. 부적절 리뷰 필터
• 부적합 이미지 필터
• 상품과 관계 없는 이미지는 안되요~
• 필터 모델 - sentence-transformers/clip-ViT-B-32
28. 부적절 리뷰 필터
• Admin
• Frontend Framework - Semantic UI React
• 프론트엔드 전문 엔지니어 부재
• 반응형 디자인
• 백엔드 개발자 입장에서 사용성이 편리
• 직관적인 상속, 테마 변수 사용
• 성능 로깅등 디버깅 지원
• 3000+ 테마 제공
• 자유로운 UI 컴포넌트 제공
34. 부적절 리뷰 필터
• Go Live
• 보안성 검토
• 정보보안팀
• 성능측정
• Locust
• Single/Distributed 모드
35. 부적절 리뷰 필터
• 리뷰
• 이마트 합류 후 최초 수행 과제
• AI DevOps 체계 수립
• Multi Tenant, Poliglot 지원
• Cloud Native
• Service Mesh
• 서비스 개시(’22 5/16~) 이후 7,816,140건 처리
• AWS Rekognition 사용료 약 $2,445 발생중
36. <행사 상품 추천 시뮬레이터>
바이어님들을 위해 준비한 지능화 도구
EARS – Emart Ai Recommendation System
얼티메이트 데몬스트레이션 디스크 : 체스키 오디오 테스트 길라잡이 [귀그림 테스트 - 황인용 해설]
출처 : http://www.yes24.com/Product/Goods/234126
37. 행사 상품 추천 시뮬레이터
• 진행 배경
• 행사 효율성 향상
• 바이어들이 행사계획 수립 전에 시뮬레이션 할 수 있는 tool
실적(매출) 악화
행사 상품 수 확대
행사 재고 증가
행사 투자비용
증가
일반행사 * 상품 수
축소
행사상품은
지속적으로 증가
38. 행사 상품 추천 시뮬레이터
• 진행 배경
• 행사 상품/오퍼유형 추천 및 예측결과 제공
• 추천 결과 기반의 체계적인 행사 계획 수립을 통한 협상력 재고, 매출액 및 이익
액을 증대하는 지렛대로 활용
• 대상 상품군
• 냉장가공, 상온간편식으로 시작 à 가공 전 상품군으로 확대
• 행사 기본 정보 입력
• 매출액 또는 이익액 가중치 조정을 통한 행사 목적식 조정하여 예측
• 할인유형, 할인율, 진열매대, 판매가격, 매입원가 조정 가능
• 산출 결과를 저장하여 실행 결과와 비교 분석 및 모델학습에 활용
39. 행사 상품 추천 시뮬레이터
• 적용 대상 – 라면, 햇반, 탕, 찌개 등 즉석식품(상온 간편식)
• 수요 예측 모델
• 시즌성, 행사유형, 행사매대, 점포 등의 피처를 대상으로 판매량 산출
• Resnet
• 행사 상품 추천 모델
• Mixed Integer Programming à OR-Tools MPSolver
40. 행사 상품 추천 시뮬레이터
• 아키텍처
행사 추천
시뮬레이터
수요예측
모델
행사 추천
모델
영업정보시스템
DB
행사 발주
추천
DT 행사/발주DB 발주 대장
1. 행사 예외 발주대장 데이
터
영업정보
시스템
행사추천
시스템
발주
추천등록
3. 행사 예외 발주 데이
터
발주 추천
검증
2. 발주 로직 적용 4. 행사 예외 발주 등
록
Buyer
46. 행사 상품 추천 시뮬레이터
• 리뷰
• 화면 기획자/디자이너 부재
• 엔지니와 PMO스태프 주도로 Wireframe 부터 구현까지 완주
• 오라클 ASCII 문자셋 한글 변환
• DB 커넥터 설정 binary 옵션 적용 해결
• 대용량 데이터 & 낮은 성능의 DB
• 전국 점포(140여개) x 상품수 N개 à 데이터 복제
• 행사ROI/성과 측정도구는 숙제로 남겨
• 예측과 실제 차이를 규명
48. e머니GO!
• 배경
• AR미션을 통한 매장 탐험
• 오프라인 이마트 매장 내 (개인화 된) 방문미션/
AR미션 제공 / 보너스 미션
• 정보와 혜택 제공
• 스마트폰의 실내측위 및 센싱 기술을 이용
• Tracking Data 기반 개인화 혜택, 전단 상품 정보 제공
• 실시간 고객 데이터를 활용한 프로모션, RMP(광고) 등에 활용
• 목표
• 연내 3개 점포 오픈 - 성수점, 미아점, 용산점?
58. e머니GO!
• 리뷰
• 다양한 조직과의 협업 경험 (삼성전자, 이마트내 여러 조직)
• 장보기라는 기본에서 벗어나, 실시간 e머니 획득 미션~! 재미요소를 추가한 서비스
• 서비스 확산에 어려운 조건들
• 고스펙 디바이스 요구사항
• 임베딩 모듈 사이즈 제한 55MB à 12MB
• 로딩속도 제한 10s à 5s
• 자이로/지자계/가속도 센서, WIFI, 카메라 등 하드웨어 사양 필요
• 적용 디바이스 앱사용자의 10%, 삼성전자 안드로이드 스마트폰 중 일부, 아이폰 제외
• 140여개 매장 적용의 어려움
• 매장 방문-실측 및 매장 별 지도 작성, 섹션과 이머니 매칭
• 노후 Wifi AP 교체에 따른 재 실측/매핑 작업
• 현실은 2개점 서비스
• DT조직내 부정적인 시각
• 물리적 공간적 제약
• 법인 vs 법인 (협업 난이도 상승)
• 해당 매장에서 실측 및 QA 수행
59. <상품 검색 서비스>
찾으시는 상품이 있으신가요?
Genie - 이마트 상품, 방문 전 확
인하세요.
출처 : https://twitter.com/cartoonhero7/status/1162330995435028481/photo/2
62. 상품 검색 서비스
• 이마트 상품, 방문전 확인하세요.
• 점포별 상품 취급 여부, 재고 수량, 가격, 행사 정보 조회
• 인기 검색어
• 오타교정/자동완성
• 빠른 메뉴 이동
• 카테고리 연관(랭킹) 서비스
• 셀렉션 리뷰(랭킹) 서비스
63. 상품 검색 서비스
• 이마트 상품, 방문전 확인하세요.
• 정확도순 = BM25 + 판매지수
• BM25는 ElasticSearch v5.0 부터 default scoring 알고리즘
• Term 출현 빈도의 점수를 제한
• 형태소 분석기
• 노리
• 한국어 분석 공식 지원
• 일본어 형태소 분석기 Kuromoji 엔진 기반
• 은전한닢(MeCab) 사전을 활용 (200MB à 24MB)
• 기존 플러그인보다 색인 속도 3~4배 향상
• ElasticSearch v6.5+
64. • 아키텍처
상품 검색 서비스
검색 Admin
영업 지원 시스템
PRD
사전
(불용어/동의어/사용자)
검색 클러스터
Ranker
Indexer
형태소
분석기
query
Admin
상품/가격/
재고량/행사
검색
Dashboard
Log
모니터링
검색
API
Data Platform
점포별 실시간 상품 재고량
행사정보
66. • 리뷰
• 배치 색인 데이터와 실시간(재고, 가격) 데이터간 정합성 차이 존재
• 참조 데이터 변경에 따른 상품 색인데이터 업데이트
• 0시 전체 색인, 8시/10시 증분 색인
• 검색 쿼리 시 색인 데이터(0시) 기준 필터링 및 결과 응답, ElasticSearch를 호출하
는 레이어에서 실시간 재고 데이터 업데이트 후 결과 제공
• 기본매가, 일중매가 변경에 따른 운영계 실시간 조회값 반영
• 검소한 사용자 사전
• 브랜드 키워드, 트랜디한 키워드에 맞춘 센스있는 결과 제공이 목표
상품 검색 서비스
67. 마치며
• 본 게임은 이제부터
• 엔지니어링 고도화
• Python/ FastAPI(Http) à Go/ Echo Framework(gRPC)
• Hexagonal Architecture
• Chaos Engineering
• MLOps Pipeline (+click stream 기반 학습)
• 서비스 다양화
• 디지털 맵 서비스
• 매장 위치 안내 (on 키오스크)
• 상품 위치 안내 (on 이마트앱)
• 발주 자동화
• 결품과 재고 사이의 균형 있는 발주
• Plan-O-Gram 최적화
• 동선데이터 기반의 상품연관전시
68. 마치며
• DT는 함께하는 것
• 경계 없는 협력 > 용광로
• DT/AI 도 사람이 만들어 가는 것
• 새로운 문화를 받아들일 수 있는 마
음
• 지혜를 모아 성공 할 때까지
• 실행은 한 마음으로
• 비즈니스 우선 사고
• Not only Tech
• 현장 상황과 비즈니스 이해 - 시간
(Time)과 장소(Place) 그리고 상황
(Occasion)
69. 마치며
• AI/ML 서비스가 성공하기 위해
서는
• 강력한 스폰서쉽이 있는가?
• 해결하고자 하는 Use Case
(숙원사업)가 있는가?
• 강력한 Data Platform 구성
되어 있는가?
• 성장 가능한 조직문화, 순
환적 시스템을 갖추었는가?
• 현업의 적극적인 동참이 이
루어 지는가?
73. • 상품 위치안내(앱, 상품상세, 챗봇 연계)
• 이마트앱 2.0
– 매장모드에 활용
• 데모 시연
• 맵저작도구
• 맵위치 매핑도구
• 이동경로 안내 시뮬레이터
디지털맵 서비스
74. • 테넌트 위치안내(키오스크)
• 판매본부 요청
• ‘23 3월 킨택스점
• ‘23 6월 연수점
• 데모 시연
• 맵저작 도구
• 매장/상품 위치 매핑도구
• 이동경로 안내 시뮬레이터
• 다익스트라 최단경로 알고리즘
• 층간 이동 안내
• 멀티 플로어 쿼터뷰 방식
에스컬레이터,
엘리베이터 경로 포함
디지털맵 서비스