Yahoo! JAPANの多種多様なサービスから発生する大量データを自由な発想で分析可能にするパワフルかつ柔軟な分析環境を、ヤフーがどのように構築しようとしているかをご紹介します。

1. マルチビッグデータの活用を支える
DWHの作り方
ヤフー株式会社
データプラットフォーム本部
櫻井 史彦
Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved.

2. 自己紹介
データプラットフォーム本部
DWHチーム
櫻井 史彦（さくらい ふみひこ）
2008年にヤフーに入社 8年目
DWHの構築とデータ整備を担当
Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 1

3. アジェンダ
Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved.
1. Yahoo! JAPANのビッグデータ
2. データプラットフォームの全体像
3. DWHの将来像
4. 最後に
2

4. アジェンダ
Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved.
1. Yahoo! JAPANのビッグデータ
2. データプラットフォームの全体像
3. DWHの将来像
4. 最後に
3

5. ヤフーのビッグデータ？
Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 4

6. 5http://www.statista.com/statistics/277483/market-value-of-the-largest-internet-companies-worldwide/
0
50
100
150
200
250
300
350
400
bilion U.S. dollars
15th Largest Internet Company in market cap
as of May 2015

7. 6
Extensive Reach to a Wide Range of Users
80%
80% of all Japanese Internet users use Yahoo! JAPAN
Nielsen NetView June 2015 : Data by Brands. Access from home and work using PCs (excl. internet applications)

8. 強力なサービス
Media
US
Search Video Answer Mail
JP
US
JP
Membership C2C Payment C2C EC B2C EC Local
Search Knowledge searchNews
YAHUOKU!Premium Wallet Loco
Mail

9. 膨大なデータボリューム
Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 8
68 Billion PV
PC + Tablet
33.6B PV
Smart Device
34.5B PV

10. ヤフーは多数のビッグデータを抱えた
マルチビッグデータカンパニー
Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 9

11. 1. Yahoo! JAPANのビッグデータ
2. データプラットフォームの全体像
3. DWHの将来像
4. 最後に
アジェンダ
Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 10

12. 全体像
Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 11
NoSQL
Object
Storage
DWH
Hadoop
RDB

13. 全体像
Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 12
NoSQL
Object
Storage
DWH
Hadoop
RDB
6000 node
150 PB
800
DBs
300,000
Query/day
1500
nodes
2000
nodes

14. Phase1 2002-2008
Phase2 2009-2015
Phase3 2016-
主要サービスのデータを格納
限られた利用者のみで使用
より多くの種類かつ大量なデータを格納
多くの利用者に開放
Teradata以外のデータソースも統合する
“logical DWH”構想
ヤフーのDWH
Teradata 5255
Teradata 5255+5350
Teradata 5500
Teradata 5500+5600
Teradata 6690
Teradata 6690 & 2800
Unified Data Architecture
Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 13

15. 1. Yahoo! JAPANのビッグデータ
2. データプラットフォームの全体像
3. DWHの将来像
4. 最後に
アジェンダ
Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 14

16.  SQLだけでなく様々な分析クエリーを実行したい
 構造化、非構造化データをつなげて分析したい
 複数データソースにまたがって分析したい
全部、一箇所で…。
利用者のニーズ
Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 15

17. LogicalDWH
Teradata
構造化、非構造化データをつ
なげて分析できる
様々な分析ク
エリを実行で
きる
複数データソースにまたがっ
て分析できる
Teradata
現在 1年後
今後のDWH
Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 16

18. LogicalDWH
Teradata
QueryGrid, Presto
Informatica
Hadoop
RDB
NoSQL
S3 Storage
Presto
Teradata
現在 1年後
具体的なコンポーネント
Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 17

19. Logical DWH
Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved.
18
Data Sources RDB RDB
Informatica
Exadata Hadoop
Hadoop RDB
QueryGrid
TDCH
Teradata RDB
NoSQL
Low concurrency, large volume
batch queries
High concurrency, small volume
interactive queries and small batches
Presto
S3-compatible Storage

20. Logical DWH
Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved.
19
Data Sources RDB RDB
Informatica
Exadata Hadoop
Hadoop RDB
QueryGrid
TDCH
Teradata RDB
NoSQL
Low concurrency, large volume
batch queries
High concurrency, small volume
interactive queries and small batches
Presto
S3-compatible Storage

21. Prestoへの期待
Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 20

22. Prestoとは
 Facebook発のOSSプロジェクト
 メモリベースの高速なクエリーエンジン
 様々なデータソースにつながる技術
Teradata, Hive, MySQL, Cassandra, S3, etc.
※Teradata社も開発に積極参加
Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 21

23. RDB NoSQL Hadoop DWHPresto
従来のクエリーのエントリーポイント
Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 22

24. RDB NoSQL Hadoop DWHPresto
新しいクエリーのエントリーポイント
Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 23

25. QueryGridとPrestoの関係
Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 24
Copyright (C) 2016 Teradata Japan, Ltd. All Rights Reserved.

26. どんな用途が考えられるか？
Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 25

27. Customer
Attributes
Shopping Membership
Cassandra
Executive
Dashboard
Personalization
Analysis
Reports
Targeting list
Browsing
Web/click
Settlement
Teradata
・・・
Presto
Use Case – deliver personalization data
INSERT tableB@Cassandra
SELECT user_id FROM tableA
WHERE segment_code = 1;
Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 26

28. S3-compatible Storage Teradata
Service B
Service A
small
data
small
data
Presto
REST
REST
SELECT
SELECT
INSERT
INSERT
Use Case – small batches from storage
INSERT tableA
SELECT * FROM filename@S3storage
WHERE log_date = date - 1;
Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 27

29. Yahoo!スケールでの課題
Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 28

30. 課題
Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 29
 TBクラスのデータJOINを可能にする
push-down機能の強化
メモリーに乗り切らないデータの処理改善
 ワークロード管理
重たいクエリーも、軽いクエリーもバランスよく

31.  複数データソースに対して統一的なアクセスなど、
次世代データ分析基盤に必要な機能の共同開発
 テラデータの最新技術とヤフーが持つ多様なユース
ケース及びビッグデータを用いた先行的な共同検証
 UDA Product Advisory Councilに加盟。ビッグ
データ関連の課題を討議しフィードバック
Teradata Labsと協力
Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 30

32. 1. Yahoo! JAPANのビッグデータ
2. データプラットフォームの全体像
3. DWHの将来像
4. 最後に
アジェンダ
Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 31

33. Data Sources RDB RDB
Informatica
Exadata Hadoop
Hadoop RDB
QueryGrid
TDCH
Teradata RDB
NoSQL
Low concurrency, large volume
batch queries
High concurrency, small volume
interactive queries and small batches
Presto
S3-compatible Storage
DWHの将来像
32

34. 求む DWHエンジニア!!!
Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 33

35.  大規模DWHの構築。膨大なデータ量＆クエリ数と
格闘して経験値UP！
 新しいコンセプトのDWHを作り上げるチャンス
経験できること
http://hr.yahoo.co.jp/job-info/career/0157/
Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 34
ヤフー プラットフォーム開発エンジニア 検索

36. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 35