2016/02/19 ITインフラTECH forumでの、池田の講演資料になります

1. リクルートのビッグデータ活用基盤
とデータ活用に向けた取組み
リクルートテクノロジーズ
池田

2. 本日のアジェンダ
1. 自己紹介
2. リクルートの紹介
3. リクルートのビッグデータへの取り組み
4. 全社統合分析基盤の構成
5. メタデータ管理Webの紹介
6. まとめ
2(C) Recruit Technologies Co.,Ltd. All rights reserved.

3. 本日のアジェンダ
1. 自己紹介
2. リクルートの紹介
3. リクルートのビッグデータへの取り組み
4. 全社統合分析基盤の構成
5. メタデータ管理Webの紹介
6. まとめ
3(C) Recruit Technologies Co.,Ltd. All rights reserved.

4. 自己紹介
4(C) Recruit Technologies Co.,Ltd. All rights reserved.
池田 英哲（いけだ ひであき）
株式会社 リクルートテクノロジーズ
ビッグデータ部
IDポイント ビッグデータインフラグループ
2003年～2006年 某SIer
Flashを用いたWebアプリケーション開発等を担当
2006年～2013年 某コンサル会社
インフォメーションマネジメント（BI・DWH）関連部署に配属
Analytics部隊の設立に携わる
2014年1月～ リクルートテクノロジーズ
入社後一貫して、リクルートIDプロジェクトのDWH構築・運用を担当
職歴

5. 本日のアジェンダ
1. 自己紹介
2. リクルートの紹介
3. リクルートのビッグデータへの取り組み
4. 全社統合分析基盤の構成
5. メタデータ管理Webの紹介
6. まとめ
5(C) Recruit Technologies Co.,Ltd. All rights reserved.

6. 6
企業概要（リクルート全体）
創立 １９６０年３月３１日 「大学新聞広告社」としてスタート
グループ
従業員数
３１,８４１名
連結売上高 約 １兆２９９９億円 ※２０１５年３月末
連結経常利益 約 １,２５６億円 ※２０１５年３月末
関連企業数 １６２社（国内＋海外）
目指す世界観 「あなた」を支える存在でありたい

7. リクルートテクノロジーズの位置づけ
7
リクルートキャリア
リクルートジョブズ
リクルートスタッフィング
リクルート住まいカンパニー
リクルートライフスタイル
リクルートマーケティングパートナーズ
スタッフサービス・ホールディングス
リクルートアドミニストレーション
リクルートコミュニケーションズ
事業会社
機能会社
ネットインフラ
大規模プロジェクト推進
UXD/SEO
ビッグデータ機能
テクノロジーR&D
事業・社内IT推進
リクルート
ホールディングス
リクルートとは、
主要７事業会社＋３機能会社
で構成されるグループ企業群
私が所属する会社は
リクルートテクノロジーズ
セキュリティAP基盤・オフショア開発

8. リクルートのビジネスモデル ～ リボンモデル
8(C) Recruit Technologies Co.,Ltd. All rights reserved.
マッチング
カスタマー
（一般ユーザー）
クライアント
（サービス提供企業）
世界中の生活者と産業界に
「まだ、ここにない、出会い。」を提供します

9. リクルートの展開しているサービス
ライフイベント領域
進学
就職
結婚
転職
住宅購入
車購入
出産/育児
旅行
IT/トレンド
生活/地域情報
グルメ・美容
ライフスタイル領域
選択・意思決定 を支援する情報サービスの提供
「まだ、ここにない、出会い。」を実現する

10. リクルートID
一人ひとりにあった最適な情報を提供し、皆様の選択や行動を支える存在
となることを目指す
10(C) Recruit Technologies Co.,Ltd. All rights reserved.

11. リクルートIDとは
11(C) Recruit Technologies Co.,Ltd. All rights reserved.

12. リクルートIDが使えるサービス①
12(C) Recruit Technologies Co.,Ltd. All rights reserved.

13. リクルートIDが使えるサービス②
13(C) Recruit Technologies Co.,Ltd. All rights reserved.

14. リクルートIDが使えるサービス③
14(C) Recruit Technologies Co.,Ltd. All rights reserved.

15. リクルートIDが使えるサービス④
15(C) Recruit Technologies Co.,Ltd. All rights reserved.

16. リクルートIDが使えるサービス⑤
16(C) Recruit Technologies Co.,Ltd. All rights reserved.

17. 「リクルートポイント」の「Pontaポイント」へ
17(C) Recruit Technologies Co.,Ltd. All rights reserved.

18. 本日のアジェンダ
1. 自己紹介
2. リクルートの紹介
3. リクルートのビッグデータへの取り組み
4. 全社統合分析基盤の構成
5. メタデータ管理Webの紹介
6. まとめ
18(C) Recruit Technologies Co.,Ltd. All rights reserved.

19. ビッグデータとは？
19(C) Recruit Technologies Co.,Ltd. All rights reserved.
ビッグデータ＝大量データ
Volume
量
Variety
多様性
Velocity
速度
Volume
行動履歴・ソーシャル・センサ(GPS)等
Variety
構造化データだけでなく、
文書・画像・動画・音声などの非構造データ
Velocity
リアルタイムに発生するCSの嗜好データ
スマホ/アプリデータ
利用者・利用パターンの増加

20. ビッグデータ活用事例① リアルタイムセグメント推定
20(C) Recruit Technologies Co.,Ltd. All rights reserved.
リクルート データセンター
リアルタイムに
ログ送付
リアルタイム
大量データ受付
リアルタイム
セグメント推定
推定されたセグメントに
合わせたコンテンツ表示
初回訪問者
コールドスタート問題に対応し、
初回訪問時（＝サービスにも最も期待しているタイミング）に最適な情報を提供
自分に合った情報
が見つからない
自分が欲しい情報
が出てくる！
CVR向上

21. ビッグデータ活用事例② 利用者・利用パターンの増加
21(C) Recruit Technologies Co.,Ltd. All rights reserved.
データサイエンティスト
ビジネス担当
 利用者が任意に操作・分析可能
 システム知識なくとも操作可能
 パフォーマンス向上
ビジネス担当
レポート表示・更新
（直観操作可能に）
オンメモリで
高速化
レポート開発・
提供工数大
データ抽出・加工
工数増加
利用者のすそ野を広げ、かつ利便性・パフォーマンス向上を実現
処理時間長期化
管理者

22. Big DataのTrend
ビッグデータ利用者の広がり
技術の進化や「ビッグデータ」の広がりでデータ利用者が拡大している
22(C) Recruit Technologies Co.,Ltd. All rights reserved.
IT部門
BIレポート開発者
DB管理者
データに興味のない層
ビジネスインサイト
マーケター
事業企画
技術進歩
(Hadoop/セルフBI etc.)
データ活用の
一般化
レポート/モニタリング
営業/経営層
数字は見るけど操作は覚えたくない
自分でデータをいじりたい
ITスキルはあまりない
データサイエンティスト
研究者
エンジニア 自分でデータを解析する

23. データソース データ格納 プレゼンテーション 利用者
外部データ
Hadoop
エコシステム
高度分析やモデル作成
レポート/モニタリング
ビジネスインサイト
（マーケター）
機械学習やモデル実装
エンドユーザー
(エグゼ／営業
／マネージャ)
(プロデューサ／事業
企画)
データ
サイエンティスト
（高度分析者）
データ
サイエンティスト
（エンジニア）
行動ログ
事業DB
事業Hadoop
• モニタリング
• レポート
• モデル作成
• データ収集
• 整形・加工
• データストレージ
• 高速分析処理
Webアクセスログ
アプリログ
PUSH通知ログ
ビーコンログ
リクルートのビッグデータ基盤構成
ビッグデータ（データの量/種類/頻度の増加）への対応と、利用者の増加
に合わせ、基盤は常に進化
(C) Recruit Technologies Co.,Ltd. All rights reserved.
全社DWH
中央Hadoop

24. 本日のアジェンダ
1. 自己紹介
2. リクルートの紹介
3. リクルートのビッグデータへの取り組み
4. 全社統合分析基盤の構成
5. メタデータ管理Webの紹介
6. まとめ
24(C) Recruit Technologies Co.,Ltd. All rights reserved.

25. リクルートのビッグデータ分析基盤（各サービス向け）
各サービス向けにそれぞれ分析基盤が存在
（利用するプロダクト・ツールは標準化）
25(C) Recruit Technologies Co.,Ltd. All rights reserved.
データソース
サービスA
事業DB
アクセス
ログ
サービスB
事業DB
アクセス
ログ
サービスC
事業DB
アクセス
ログ
データ格納
サービスA向け分析環境
サービスB向け分析環境
サービスC向け分析環境
プレゼンテーション 利用者
サービスA
担当
サービスB
担当
サービスC
担当
リクルートIDが始まり、上記に加え、リクルート横断の
データ分析基盤が必要となった

26. リクルート統合データ分析基盤
各サービスからデータを収集。統合されたデータ基盤を提供。
26(C) Recruit Technologies Co.,Ltd. All rights reserved.
サービスA
事業DB
アクセス
ログ
サービスB
事業DB
アクセス
ログ
サービスC
事業DB
アクセス
ログ
データソース データ格納 プレゼンテーション 利用者
Hadoop
エコシステム全社DWH
中央Hadoop
• モニタリング
• レポート
• モデル作成
• データ収集
• 整形・加工
• データストレージ
• 高速分析処理
サービスA
担当
サービスB
担当
リクルートID
担当
サービスC
担当

27. サービスA
事業DB
アクセス
ログ
サービスB
事業DB
アクセス
ログ
サービスC
事業DB
アクセス
ログ
データソース データ格納 プレゼンテーション 利用者
Hadoop
エコシステム全社DWH
中央Hadoop
• モニタリング
• レポート
• モデル作成
• データ収集
• 整形・加工
• データストレージ
• 高速分析処理
サービスA
担当
サービスB
担当
リクルートID
担当
サービスC
担当
リクルート統合データ分析基盤
数字で見ると①集めているデータ
27(C) Recruit Technologies Co.,Ltd. All rights reserved.
サービスから
データを収集
サイトの
アクセスログ収集
アプリの
ログ収集

28. サービスA
事業DB
アクセス
ログ
サービスB
事業DB
アクセス
ログ
サービスC
事業DB
アクセス
ログ
データソース データ格納 プレゼンテーション 利用者
Hadoop
エコシステム全社DWH
中央Hadoop
• モニタリング
• レポート
• モデル作成
• データ収集
• 整形・加工
• データストレージ
• 高速分析処理
サービスA
担当
サービスB
担当
リクルートID
担当
サービスC
担当
リクルート統合データ分析基盤
数字て見ると②利用のされ方
28(C) Recruit Technologies Co.,Ltd. All rights reserved.
テーブルを格納
クエリ発行/月
レポート提供

29. よりよい
ユーザ体験
データ
活用施策
データ
蓄積・統合
全社データ基盤の目指す世界観
収集 統合
展開
リピート率
UP
定着率
UP
新サービス
集客
メルマガ
コンテンツ
出しわけ
他サイト送客
顧客行動把握・予測 レコメンド
アプリログ
Webアクセスログ
個人情報マスク済み
事業DBデータ
施策
分析
beaconログ

30. ここまでの道のり
30(C) Recruit Technologies Co.,Ltd. All rights reserved.
データ収集への協力
利用者のシステム意識向上
利用者からの定義情報問合せ

31. サービスA
事業DB
アクセス
ログ
サービスB
事業DB
アクセス
ログ
サービスC
事業DB
アクセス
ログ
データソース データ格納 プレゼンテーション 利用者
Hadoop
エコシステム全社DWH
中央Hadoop
• モニタリング
• レポート
• モデル作成
• データ収集
• 整形・加工
• データストレージ
• 高速分析処理
サービスA
担当
サービスB
担当
リクルートID
担当
サービスC
担当
データ収集への協力
31(C) Recruit Technologies Co.,Ltd. All rights reserved.
提供側は負担増
（リソース・開発工数・運用）
相手先の状況に応じ、連携方式を見直し
提供側の負担を下げるツールも提供
相手を見て、何に困っているか・躊躇して
いるかを見極め、柔軟に対応

32. サービスA
事業DB
アクセス
ログ
サービスB
事業DB
アクセス
ログ
サービスC
事業DB
アクセス
ログ
データソース データ格納 プレゼンテーション 利用者
Hadoop
エコシステム全社DWH
中央Hadoop
• モニタリング
• レポート
• モデル作成
• データ収集
• 整形・加工
• データストレージ
• 高速分析処理
サービスA
担当
サービスB
担当
リクルートID
担当
サービスC
担当
利用者のシステム意識向上
32(C) Recruit Technologies Co.,Ltd. All rights reserved.

33. 利用者のシステム意識向上
33(C) Recruit Technologies Co.,Ltd. All rights reserved.
利用者の増加に伴い、リソース大量消費
⇒パフォーマンスダウン
利用者に環境管理を意識
⇒リソース過剰消費停止・
利用側からの改善提案
利用側とともに創ることで、
品質向上できる体制を実現

34. サービスA
事業DB
アクセス
ログ
サービスB
事業DB
アクセス
ログ
サービスC
事業DB
アクセス
ログ
データソース データ格納 プレゼンテーション 利用者
Hadoop
エコシステム全社DWH
中央Hadoop
• モニタリング
• レポート
• モデル作成
• データ収集
• 整形・加工
• データストレージ
• 高速分析処理
サービスA
担当
サービスB
担当
リクルートID
担当
サービスC
担当
利用者からの問い合わせ対応
34(C) Recruit Technologies Co.,Ltd. All rights reserved.
データの質・量の増加 利用者の増加

35. 本日のアジェンダ
1. 自己紹介
2. リクルートの紹介
3. リクルートのビッグデータへの取り組み
4. 全社統合分析基盤の構成
5. メタデータ管理Webの紹介
6. まとめ
35(C) Recruit Technologies Co.,Ltd. All rights reserved.

36. メタデータ管理Web構築の背景
データ意味情報（メタデータ）の問い合わせに忙殺される。
36(C) Recruit Technologies Co.,Ltd. All rights reserved.
会員情報はどこにある！？
XXの意味を教えてください！
利用者
テーブル定義書（ファイル）
DWH
Select * from XX limit 100
Select * from YY limit 100
Select * from ZZ limit 100
・・・
開発者
システム管理者
分からないです…
引用元）気がつくと机がぐちゃぐちゃになっているあなたへ
ISBN 978-4-7942-1146-0
“平均的なビジネスマンは、探し物をするためだけに、
１年間で約１５０時間を費やしている”
利用者がわかる形で回答
×
データの質・量の増加
利用者の増加

37. メタデータ管理Webの紹介
37(C) Recruit Technologies Co.,Ltd. All rights reserved.

38. 検索画面（テーブル一覧）
38(C) Recruit Technologies Co.,Ltd. All rights reserved.

39. 機能紹介
39(C) Recruit Technologies Co.,Ltd. All rights reserved.

40. 40(C) Recruit Technologies Co.,Ltd. All rights reserved.
ココに来れば必要な情報があるという状態を作り出し、分析担当者のデータ
特定に至る時間やシステム担当者の負担を軽減させる。
メタデータ管理Webで実現した世界
 探す手間が省ける
 ナレッジが共有される
利用者
テーブル定義書（ファイル）
システム管理者
探す
メタデータ管理Web
DWH
システム管理者
 問合せが減る！
 潜在的なニーズを拾える！
 問合せが減る！
 自分のDBの最新情報が把握できる！
開発者
自動
自動
自動

41. 0
100
200
300
400
500
600
700
800
900
01 02 03 04 05 06 07 08 09 10 11 12 13 14 15 16 17 18
2016年1月
平日は650回/日以上の利用。月間で計12,000回（約400UU）超え
利用状況
41(C) Recruit Technologies Co.,Ltd. All rights reserved.
年間75人月超の工数削減効果！
（5分/回の工数削減効果）
＋
問合せを受けるシステム管理者の工数削減！

42. O’REILLYでもMetadataに注目
42(C) Recruit Technologies Co.,Ltd. All rights reserved.
Data Newsletter -O’REILLY Media
http://post.oreilly.com/form/oreilly/viewhtml/9z1zhq84f5e844q8c4485ot23vjma
31u8qfj23tq2rg?imm_mid=0ddf30&cmp=em-data-na-na-newsltr_20151230
2016年の
「10 data trends」筆頭にメタデータ管理

43. 本日のアジェンダ
1. 自己紹介
2. リクルートの紹介
3. リクルートのビッグデータへの取り組み
4. 全社統合分析基盤の構成
5. メタデータ管理Webの紹介
6. まとめ
43(C) Recruit Technologies Co.,Ltd. All rights reserved.

44. まとめ
44(C) Recruit Technologies Co.,Ltd. All rights reserved.

45. 45(C) Recruit Technologies Co.,Ltd. All rights reserved.
ご清聴ありがとうございました。