Investment in Yahoo! JAPAN's dataplatform and business growth by big data

1. 2016年12月15日
ヤフー株式会社 データ＆サイエンスソリューション統括本部
杉山 朋広
ヤフーのITインフラへの投資ポイントと
ビッグデータ活用によるビジネス成長

2. 自己紹介
杉山 朋広
（すぎやま ともひろ）
2002年
ヤフー株式会社中途入社
2002年ー2011年
Yahoo!ウォレットの開発・運用
Yahoo! JAPAN IDのログイン・登録・DBの運用
2012年ー現在
Hadoopクラスタの構築・運用
広告集計システムの開発
広告システム向けのデータプラットフォームの構築

3. ヤフーとデータ基盤の紹介
これまでのIT投資とビジネス成長
これからの成長に向けて
Agenda

4. ヤフーとデータ基盤の紹介

5. 5
>3418万MAU
>>110000services
2.2億商品数82%of PC users
74%of smartphone users
100以上
DUB
No.1App publisher ※1
>9007万
※1 ゲームアプリケーションを除く
ヤフーとデータ基盤の紹介(2016年第一四半期ベース)
日本最大級のポータルサイト
>699億
PV/月

6. 6
ヤフーとデータ基盤の紹介
ビジネスは常に拡大

7. 7
ヤフーとデータ基盤の紹介
ビジネスは常に拡大

8. 8
ヤフーとデータ基盤の紹介：データ量とシステム規模
0
10
20
30
40
50
60
70
80
90
100
0
1,000
2,000
3,000
4,000
5,000
6,000
22000099 22001100 22001111 22001122 22001133 22001144 22001155 22001166
RRoowwHHDDFFSSSSttoorraaggee((iinnPPBB))→→
NNuummbbeerrooffNNooddeess→→
Nodes HDFS
ビジネスの拡大と共にデータは増大

9. 9
0
10
20
30
40
50
60
70
80
90
100
0
1,000
2,000
3,000
4,000
5,000
6,000
22000099 22001100 22001111 22001122 22001133 22001144 22001155 22001166
RRoowwHHDDFFSSSSttoorraaggee((iinnPPBB))→→
NNuummbbeerrooffNNooddeess→→
Nodes HDFS
• PV集計
• 検索リンク解析
• サービス最適化
• 顧客行動分析
• タイムライン
型広告
ヤフーとデータ基盤の紹介：データ量とシステム規模
黎明期 導入期 データ爆増期
ビジネスの拡大と共にデータは増大
• 広告リーチ予測
• 広告ターゲティング

10. 10
ヤフーとデータ基盤のご紹介 ：データ基盤の概要
データ基盤は日本有数の規模
S3互換ストレージ
66000000
nnooddeess
22000000
nnooddeess
220000
ddbbss
550000
ddbbss
11..77
PPBB
11550000
nnooddeess
hot
warm
cold

11. 11
ヤフーとデータ基盤の紹介
D＆S統括本部・システム統括本部が全社基盤を担う

12. 12
ヤフーとデータ基盤の紹介
D＆S統括本部はデータ利活用の専門集団
データ＆サイエンスソリューション統括本部
システム統括本部
（データセンター・ネットワーク）
メ
デ
ィ
ア
マ
�
ケ
テ
ィ
ン
グ
ソ
リ
ュ
�
シ
ョ
ン
シ
ョ
ッ
ピ
ン
グ
オ
�
ク
シ
ョ
ン
パ
�
ソ
ナ
ル
サ
�
ビ
ス
決
済
金
融
データプラットフォーム本部
サイエンス本部
データサービス本部
Yahoo! JAPAN 研究所
データ＆サイエンスソリューション統括本部

13. これまでのIT投資とビジネス成長

14. 14
0
10
20
30
40
50
60
70
80
90
100
0
1,000
2,000
3,000
4,000
5,000
6,000
22000099 22001100 22001111 22001122 22001133 22001144 22001155 22001166
RRoowwHHDDFFSSSSttoorraaggee((iinnPPBB))→→
NNuummbbeerrooffNNooddeess→→
Nodes HDFS
• PV集計
• 検索リンク解析
• サービス最適化
• 顧客行動分析
• タイムライン
型広告
これまでのIT投資とビジネス成長：黎明期
黎明期 導入期 データ爆増期
Hadoop利用の初期段階
• 広告リーチ予測
• 広告ターゲティング

15. 15
これまでのIT投資とビジネス成長：黎明期：before
Web
Server
Web
Server
Web
Server
Data
Pipeline
(Y!Inc
origin)
Teradata
ORACLE
MySQL
Network
Storage
Batch
C++
Batch
perl
Batch
php
• サービス追加・アクセス増加によるデータ量の増大
• PV集計など基本的な処理が長時間化
• 独自分散フレームワークの破綻
独自分散フレームワークの限界が課題

16. 16
これまでのIT投資とビジネス成長：黎明期：投資ポイント
レガシーシステム Hadoop
最大並列性能
自社内利用で
30ノードの実績のみ
他者で既に
4,000ノードの実績あり
分散フレームワーク 内製で開発 hadoopがサポート
開発リソース 内製 オープンソース
利用者の開発範囲
分散フレームワークと
アプリケーション
アプリケーションのみ
開発リソースをアプリケーションにフォーカス
高いスケーラビリティを実現し、アプリケーション開発に集中できる
Hadoopを採用

17. 17
これまでのIT投資とビジネス成長：黎明期：after
• 必要な部門が必要な分だけのクラスタを入手
• 課題を持っていた部門が予算を組む
Hadoop
(x10〜x100)
Web
Server
Web
Server
Web
Server
Data
Pipeline
(Y!Inc
origin)
Teradata
ORACLE
MySQL
Network
Storage
Batch
C++
Batch
perl
Batch
php
予算がある部門がデータ基盤をもった

18. 18
これまでのIT投資とビジネス成長：黎明期：事例
350
400
450
500
550
600
650
700
2009Q1 2010Q1 2011Q1 2012Q1 2013Q1 2014Q1 2015Q1
億PV
月間PV数の遷移
黎明期の月間PVは既に450億を突破

19. 19
0
10
20
30
40
50
60
70
80
90
100
0
1,000
2,000
3,000
4,000
5,000
6,000
22000099 22001100 22001111 22001122 22001133 22001144 22001155 22001166
RRoowwHHDDFFSSSSttoorraaggee((iinnPPBB))→→
NNuummbbeerrooffNNooddeess→→
Nodes HDFS
• PV集計
• 検索リンク解析
• サービス最適化
• 顧客行動分析
• タイムライン
型広告
これまでのIT投資とビジネス成長：導入期
黎明期 導入期 データ爆増
データ基盤の集約とマルチテナント化
• 広告リーチ予測
• 広告ターゲティング

20. 20
これまでのIT投資とビジネス成長：導入期：before
• 部門個別で用意できる予算に限界
• 予算の限界からHadoopの規模も頭打ち
Hadoop
(x10〜x100)
Web
Server
Web
Server
Web
Server
Data
Pipeline
(Y!Inc
origin)
Teradata
ORACLE
MySQL
Network
Storage
Batch
C++
Batch
perl
Batch
php
部門個別最適の限界が課題

21. 21
これまでのIT投資とビジネス成長：導入期：投資ポイント
Hadoop
x100
Hadoop
x50
事業部A
Hadoop
x50 Hadoop
x30
事業部B
全社基盤化し共同利用

22. 22
これまでのIT投資とビジネス成長：導入期：投資ポイント
Hadoop x 1000
Hadoop
x100
Hadoop
x50
事業部A
Hadoop
x50 Hadoop
x30
事業部B
事業部A
リソース
35%
事業部B
リソース
25%
事業部C
リソース
20%
共通
リソース
20%
全社基盤化し共同利用
全社共通予算で大規模クラスタに投資

23. 23
これまでのIT投資とビジネス成長：導入期：after
• 従来の事業部予算の枠を超えた計算リソースを得ることができた
• アドホックな処理が可能となりサイエンスを醸成する土壌となった
Hadoop
(x1000)
Hadoop
(x10〜x100)
Web
Server
Web
Server
Web
Server
Data
Pipeline
(Y!Inc
origin)
Network
Storage
Teradata
ORACLE
MySQL
全体最適によるスケールメリットを享受

24. 24
これまでのIT投資とビジネス成長：導入期：事例
データ基盤の発達によりターゲティング広告を実現
• 過去のユーザの行動を解析し最適な広告を配信する
• プレミアム広告売上の３割以上を占める
AD
ページ閲覧履歴
検索キーワード
広告クリック
ヤフーの利用 最適な広告を配信
データ基盤

25. 25
これまでのIT投資とビジネス成長：導入期：データサイエンスのはじまり
• YDNの広告ターゲティングのためにデータサイエンスチームを発足
• マッチングに機械学習などの手法を導入
データサイエンスが売上高アップに寄与
サイエンスチーム発足

26. 26
0
10
20
30
40
50
60
70
80
90
100
0
1,000
2,000
3,000
4,000
5,000
6,000
22000099 22001100 22001111 22001122 22001133 22001144 22001155 22001166
RRoowwHHDDFFSSSSttoorraaggee((iinnPPBB))→→
NNuummbbeerrooffNNooddeess→→
Nodes HDFS
• PV集計
• 検索リンク解析
• サービス最適化
• 顧客行動分析
• タイムライン
型広告
これまでのIT投資とビジネス成長：データ爆増期
黎明期 導入期 データ爆増期
本格的なデータ利活用のはじまり
• 広告リーチ予測
• 広告ターゲティング

27. 27
これまでのIT投資とビジネス成長：データ爆増期：before
• いくつかの成功事例をもとにデータ利活用が促進
• すべてが同じ環境を利用することで高SLAのサービスに影響
Hadoop
(x1000)
Web
Server
Web
Server
Web
Server
Data
Pipeline
(Y!Inc
origin)
Network
Storage
Teradata
ORACLE
MySQL
データ利活用の促進と性能の競争

28. 28
これまでのIT投資とビジネス成長：データ爆増期：投資ポイント
Hadoop
(x1000)
アドホック 定常ジョブ 高SLA
大規模データ基盤への全社投資

29. 29
これまでのIT投資とビジネス成長：データ爆増期：投資ポイント
Hadoop
(x3000)
Hive/Tez
(x700)
Hadoop
(x1000)
アドホック 定常ジョブ 高SLA アドホック 定常ジョブ 高SLA
大規模データ基盤への全社投資
全社環境への投資、高SLAの専用環境など、全社判断で対応

30. 30
これまでのIT投資とビジネス成長：データ爆増期：after
Hadoop
(x3000)
ObjectStore
(YJ origin)
cassandra
Hive/Tez
• 全社基盤の利用率アップにより全社のデータが集約される
• データ利用方法の多様化
マルチビッグデータ基盤の醸成
Web
Server
Web
Server
Web
Server
Data
Pipeline
(Y!Inc
origin)
Network
Storage
Teradata
ORACLE
MySQL

31. 31
これまでのIT投資とビジネス成長：データ爆増期：事例
データの精細化によりサービス最適化
検索
キーワード
入力補助
レコメンデーション
感情分析音声アシスト

32. 32
これまでのIT投資とビジネス成長：データ爆増期：直近の成果
• タイムライン型の広告
• 広告売上を大幅に拡大
• データ量も増大
インフィード広告が広告売上を拡大

33. これからの成長に向けて

34. 34
0
10
20
30
40
50
60
70
80
90
100
0
1,000
2,000
3,000
4,000
5,000
6,000
22000099 22001100 22001111 22001122 22001133 22001144 22001155 22001166
RRoowwHHDDFFSSSSttoorraaggee((iinnPPBB))→→
NNuummbbeerrooffNNooddeess→→
Nodes HDFS
• PV集計
• 検索リンク解析
• サービス最適化
• 顧客行動分析
• タイムライン
型広告
これからの成長に向けて
黎明期 導入期 データ爆増 これから
技術革新による更なる最適化への挑戦
• 広告リーチ予測
• 広告ターゲティング

35. 35
これからの成長に向けて
効率化
設備投資
進化
最適化の３要素

36. 36
これからの成長に向けて：設備投資
効率化
設備投資
進化
設備投資額(億円)
１８０
2012年度 2015年度
３８０
積極的な設備投資

37. 37
これからの成長に向けて：効率化
• 海外DC利用
• 電力コスト圧縮
• 保守性重視から性能重視へ
• OCP利用
• Hadoopの開発
• Cassandraの開発
データセンター
ハードウェア
ソフトウェア
効率化
設備投資
進化
DC・HW・SWの相乗的な効率化

38. 38
これからの成長に向けて：進化
効率化
設備投資
進化
トップベンダーとの開発協力
HORTONWORKS
Teradata
DATASTAX

39. 39
これからの成長に向けて：進化
効率化
設備投資
進化
国際学会への参加でサイエンス人材にもアピール
4 3
15
11
2012 2013 2014 2015
Submission of papers in
International Journals
3papers were accepted in
WWW 2016
2papers were accepted in
WSDM 2016
UIST, Ubicomp, KDD, and more

40. 40
これからの成長に向けて：進化
効率化
設備投資
進化
シリコンバレー拠点の開設

41. 41
これからの成長に向けて：次世代基盤
New
Data
Pipeline
(Kafka cluster)
Hadoop
Stream
Platform
• kafkaの導入によりストレージ依存を脱却
• ストリーム処理基盤の追加
• KVS,RDBも適材適所で活用
Tez
llap
データ基盤全体の最適化
Web
Server
Web
Server
Web
Server
ObjectStore
(YJ origin)
cassandra
Hive/Tez
Teradata
ORACLE
MySQL

42. スケールアウト可能な技術を採用する
全社利用によりスケールメリットを生かす
専門部隊を置き全社利用を促進・サポートする
まとめ

43. 43
ご清聴ありがとうございました