YJTC18 D-7 Yahoo!ショッピングのサービスデータ活用事例

Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.
Yahoo!ショッピングの
サービスデータ活用事例
ヤフー株式会社ショッピングカンパニー
プロダクション2本部データ・CRM技術部技術1
藤木貴之

はじめに…
ServiceGrowthに、データ活用は必要不可欠
PLAN
計画
Do
実行
Check
評価
Action
改善
効果をデータで
定量的にはかる
データを用いた
施策展開
データによる
課題発見、仮説立て

今日お話すること
Yahoo!ショッピングのServiceGrowthを支える
データPFとデータ活用事例の紹介

アジェンダ
1. 自己紹介
2. Yahoo!ショッピングについて
3. Yahoo!ショッピングにおけるデータ利活用事例紹介
1. データPFについて
2. データドリブンへのアプローチ
4. 今後の展望

自己紹介
名前：藤木貴之
(ふじきたかゆき)
2013年新卒でヤフーに入社
ショッピングカンパニーに配属され、現在Yahoo!ショッピングのデータPFリーダー
 ストア様向けの統計ツール開発・運用
 社内向け可視化ツール開発・運用
 BIツール導入
 データPF刷新・構築

Yahoo!ショッピング
Yahoo! JAPANが運営する
オンラインショッピングモール
年間流通総額：4788億円
※ 2016年度、ショッピング事業単体
出店ストア数：約60万店舗
商品数：約2.9億商品
※ 2017年度第2四半期決算発表の「事業指標推移表」より

全社のデータPF
10
Hadoop Teradata
2800
Teradata
6690
S3互換
ストレージ
4100 nodes
120 PB
1.7 PB
250億
ファイル

Yahoo!ショッピングのデータPF
11
Hadoop Teradata
2800
Teradata
6690
S3互換
ストレージ
ログなどの大容量
データ処理基板
システムOLAP ユーザー分析
データストア
4100 nodes
120 PB
専用領域
約300TB 1.7 PB
250億
ファイル
専用領域
約110TB 専用領域

12
Hadoop Teradata
2800
Teradata
6690
ショッピングEDW
S3互換
ストレージ
データストア
4100 nodes
120 PB
1.7 PB
250億
ファイル
専用領域
約110TB
専用領域
約300TB
専用領域

13
Hadoop Teradata
2800
Teradata
6690
S3互換
ストレージ
データストア
4100 nodes
120 PB
1.7 PB
250億
ファイル
専用領域
約110TB
専用領域
約300TB
専用領域
Yahoo!ショッピングに必要なデー
タを
集約、一元管理（ETL）

Yahoo!ショッピングのデータドリブンへのアプローチ
ServiceGrowth
データ・ドリブン

ServiceGrowth
意思決定をデータで
・サービスのコンディションを知れる
・施策の効果測定がすぐできる(A/Bテスト)
・改善のためのファクトが発見できる
データ分析環境

ServiceGrowth
意思決定をデータで
・サービスのコンディションを知れる
・施策の効果測定がすぐできる(A/Bテスト)
・改善のためのファクトが発見できる
サービス提供をデータで
・欲しいデータを簡単に引ける
→ユーザー属性（パーソナライズ）
→注文
→商品
…And more
データ利活用環境
データ分析環境

データ分析環境概要
MicroStrategy/TableauなどのBIを元に
ショッピングEDWをフル活用した
ROLAPな分析環境を提供
Engineer
Analyst
Marketter
Sales

BI
以前(数年前)までの分析環境構成
Raw
Mart
Mart
Mart
Mart
Mart
Engineer
Analyst
Marketter
Sales

BI
以前(数年前)までの分析環境構成
Raw
Mart
Mart
Mart
Mart
Mart
Engineer
Analyst
Marketter
Sales
～独立型Mart～
1つ1つの分析要件に対してMartを作成していく
1レポート毎のレイテンシは低いが…
・同じ定義なのに、Mart間の数字が合わない
・バグが発生すると修正範囲が甚大
・煩雑なデータフローになり、拡張性が低い

BI
現在の分析環境
現在のデータフロー
Raw
ファクト
ディメンション
Engineer
Analyst
Marketter
Sales
ファクト
ファクト
……
And more!!
サービスMart
Teradata

BI
Raw
ファクト
Engineer
Analyst
Marketter
Sales
ファクト
ファクト
……
And more!!
サービスMart
Teradata
・スタースキーマ化
・多次元モデル化
・MDM化
・サロゲート化

BI
Raw
ファクト
Engineer
Analyst
Marketter
Sales
ファクト
ファクト
……
And more!!
サービスMart
Teradata
・MDM化
必要に応じた
Mart作成

BI
Raw
ファクト
Engineer
Analyst
Marketter
Sales
ファクト
ファクト
……
And more!!
サービスMart
Teradata
・MDM化
必要に応じた
Mart作成
BIと組み合わせて
ユーザーが分析時に
インタラクティブに
見たいデータの
レポーティングが
できる環境を提供

様々な分析環境を提供（MicroStrategy）
スライシング
ユーザーがセルフでインタラクティブに
アドホック分析が可能
ドリルダウン

様々な分析環境を提供（MicroStrategy）
導線分析
テ
ス
ト
で
効
果
検
証
AB
分
析
KPI

データPFを中心とした改善プロセス
仮説
データ分析
KPI分析
ABテスト効果測定
意思決定
リリース
EDW

ショッピングEDW（データPF）を利用したサービス提供
チャネル
Yahoo!ショッピング
CRMシステム
Web
メール
AppPush
…

ユーザーのプロファイル情報を作成
デモグラフィック
ビヘイビア
サイコグラフィック

ショッピングEDW（データPF）を利用したサービス提供
…
Webモジュールにて
ターゲティングされたユーザーに
クーポン情報表示

ユーザーの購買予測確率を作成
回帰分析を用いたモデルを構築
食品カテゴリの購買確率：95.23…％
家電カテゴリの購買確率：22.13…％
…
……
花カテゴリの購買確率：39.53…％
ペット用品カテゴリの購買確率：80.94…％
…
コスメカテゴリの購買確率：76.25…％
コンタクトレンズカテゴリの購買確率：93.15…％
…
米の購買確率：30.54…％
水カテゴリの購買確率：76.13…％
…
モデルを使って
予測確率を計算
様々なカテゴリ毎に
ユーザー単位で購買確率を作成

ユーザーの購買予測確率を作成
回帰分析を用いたモデルを構築
食品カテゴリの購買確率：95.23…％
家電カテゴリの購買確率：22.13…％
…
……
花カテゴリの購買確率：39.53…％
ペット用品カテゴリの購買確率：80.94…％
…
コスメカテゴリの購買確率：76.25…％
コンタクトレンズカテゴリの購買確率：93.15…％
…
米の購買確率：30.54…％
水カテゴリの購買確率：76.13…％
…
モデルを使って
予測確率を計算
様々なカテゴリ毎に
ユーザー単位で購買確率を作成
ターゲティングにて利用
従来の人の手による手動の
セグメントと比較し、
CVRが2倍以上
経由流通が4倍以上に！

データPFの整備が非常に重要
DataPreparation
&Janitor-Work
DataAnalysis
&Using

アジェンダ
1. 自己紹介
2. Yahoo!ショッピングについて
3. Yahoo!ショッピングにおけるデータ利活用事例紹介
1. Yahoo!ショッピングのデータPF
2. Yahoo!ショッピングのデータドリブンへのアプローチ
4. 今後の展望

今後の展望
■データPF
■データ利活用

今後の展望
■データPF
ユーザープロファイルの更なる強化（Teradata Aster）
データ鮮度の向上、ストリーム化（Kafka/Storm）
ショッピングEDWのデータをシームレスに活用できる環境整備（Presto）

今後の展望
■データPF
ユーザープロファイルの更なる強化（Teradata Aster）
データ鮮度の向上、ストリーム化（Kafka/Storm）
ショッピングEDWのデータをシームレスに活用できる環境整備（Presto）
作成したユーザープロファイルを用いたパーソナライズ強化
MAに向けた取り組み
マルチビックデータ活用！（メディア×EC）

YJTC18 D-7 Yahoo!ショッピングのサービスデータ活用事例

More Related Content

What's hot

Similar to YJTC18 D-7 Yahoo!ショッピングのサービスデータ活用事例

More from Yahoo!デベロッパーネットワーク

Recently uploaded

YJTC18 D-7 Yahoo!ショッピングのサービスデータ活用事例

Editor's Notes