データの見える化で進めるデータドリブンカンパニー #devsumiC

Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.
尾崎弘宗
データの見える化で進める
データドリブンカンパニー
2017年9月8日

今日のテーマ
2
見える化の先

自己紹介
3
尾崎弘宗
ヤフー株式会社
データ&サイエンスソリューション統括本部
経歴
〜2005年某SIer会社（官公庁、金融系のデータベース設計、開発）
2005年〜ヤフー株式会社入社（データベースプラットフォーム設計〜運用）
2014年〜データ&サイエンスソリューション統括本部（DMP、データマネージメント）
2016年〜大阪オフィス勤務

ヤフーのビッグデータ

ヤフーのサービス
6

ヤフーのユーザー
7
9104
725
3970

ヤフーのデータ
8

マルチビッグデータ
9
GoogleYahoo! NETFLIX Quora
AOL PayPal ebay amazon
Gmail
yelp

新たなる挑戦
10
マルチビッグデータ
ドリブンカンパニーへ

例：タイムライン
11

例：ショッピング
12

例：広告
13

もっとデータ活用を
スケールしたい！
今後は？
14

阻害要因は？
15
他部署のサービスがどんなデータを
持っているのか分かってない
（データが多すぎて。。）

データを見える化する
（ツール開発しよう）
解決策
16

データ見える化ツール（イメージ）
17
○○が分かる ○△が分かる ○□が分かる ○×が分かる
△○が分かる △△が分かる △○が分かる △×が分かる
カテゴリから探す
データ一覧
データ名サービスデータ説明データ項目タグ
落札AB
データ
ヤフオク! ヤフオクでほげ
ほげ
落札日
落札品
タグ1
ホテル予約
CD情報
トラベルトラベルでほげ
ほげ
予約日
予約人数
タグ2
タグ3
ニュース
EFデータ
ニュースニュースでほげ
ほげ
記事カテゴリタグ1
データ詳細
データ名落札ABデータ
データ説明ヤフオクでほげほげ
タグタグ１
ナレッジショッピングでほげほげの時のページ出し分けに使用
データ項目名称説明型長さ
rdate 落札日落札した日時 DATE
rname 落札品落札した品名 CHAR 200

データ見える化ツール
目的と役割

データ見える化ツールの目的
19
マルチビッグデータ活用の促進

データ活用の流れ
20
企画知る活用

・どんなデータがあるの？
・このデータどこにあるの？
・使っていいデータなのか？
企画活用
データ活用の課題
21
知る

・どんなデータがあるの？
・このデータどこにあるの？
・使っていいデータなのか？
データ活用の現状
22
企画知る活用
活用アイデアを出し辛い活用に繋がりにくい

知る
データ見える化ツールがあると
23
企画活用
・どんなデータがあるか分かる
・データがどこにあるか分かる
・使っていいデータか分かる

データ見える化ツールの役割
24
沢山の人に
データを知ってもらい、
活用アイデアを増やす

活用
活用数を増やすためには？
25
企画知る

企画を考える人を増やす
26
企画活用知る

企画
データを知っている人を増やす
27
活用知る

企画
データ見える化ツールの範囲
28
活用知る
沢山の人に
データを伝え、企画を考えてもらうお手伝い

データ見える化ツールの利用者
29
ビジネス（営業、企画職）、エンジニア全般

データ活用に必要なスキル
30
ビジネス
(business
problem
solving)
エンジニア
リング
(engineering)
サイエンス
(science)

現状のマルチビッグデータ活用者
31
ビジネス
(business
problem
solving)
エンジニア
リング
(engineering)
サイエンス
(science)

ビジネス側も巻き込んで広げる
32
ビジネス
(business
problem
solving)
エンジニア
リング
(engineering)
サイエンス
(science)

33
ビジネス（営業、企画職）、エンジニア全般
データを知ってもらい、活用アイデアを増やす
マルチビッグデータ活用の促進

一言でいうと
34
みんなでデータを知り、
アイデアを出すためのツール

課題と解決策

課題1
36
ビジネス（営業、企画職）の人にも
もっとデータを知ってもらうためには？

レストランのメニューを目指した
37 画像：aflo

Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.38
料理を選ぶようにデータを選ぶ
レストランのメニュー
・料理名
・値段
・素材
・調理方法など
・データ名
・データ項目
・データ説明
・活用事例など
データ詳細
タグタグ１
画像：aflo

料理を選ぶようにデータを選ぶ
レストランのメニュー
・料理名
・値段
・素材
・調理方法など
・データ名
・データ項目
・データ説明
・活用事例など
データ詳細
タグタグ１
画像：aflo

ツールで扱うデータ情報
40
ユーザーID 注文日時商品名単価個数
100 2017/8/16 10:14 歯ブラシα 200 2
200 2017/8/18 21:14 石鹸ジュニア 500 4
300 2017/8/19 22:54 梅シャンプー 1000 1
注文データ
ID:100
ID:200
ID:300 データベース
例）ショッピングサイト

ツールで扱うデータ情報
41
ユーザーID 注文日時商品名単価個数
100 2017/8/16 10:14 歯ブラシα 200 2
200 2017/8/18 21:14 石鹸ジュニア 500 4
300 2017/8/19 22:54 梅シャンプー 1000 1
注文データ
ID:100
ID:200
ID:300 データベース
例）ショッピングサイト
データ名→
データ項目名→

ビジネス側の人に伝える工夫
42
・エンジニア用語の排除（可能な限り）
例）テーブル名→データ名
カラム、フィールド→データ項目
・データ名を分かりやすく修正
・データ説明を分かりやすく修正
・データを分かりやすくカテゴリ分け
例）○○が分かるデータ

課題2
43
膨大なデータ情報をどうやって集めるのか？

膨大な種類のデータ
44
DWH
1.7PB
RDB
1,000dbs
KVS
2,000nodes
Object Storage
1,500nodes 非構造化データ
構造化＋非構造化＋半構造化データHadoop
7,000nodes
※2017年1月時点
構造化データ

膨大なデータ項目
45
DWH
1.7PB
RDB
1,000dbs
KVS
2,000nodes
Object Storage
1,500nodes 非構造化データ
構造化＋非構造化＋半構造化データHadoop
7,000nodes
※2017年1月時点
推定
テーブル数：約23,000
カラム数：約320,000
構造化データ

収集するデータ情報種類
46
Layer1 テクニカルメタデータ
データアクセスするために必要な情報
☆データ所在地
☆データ構造（データ名、データ項目）
Layer2 ビジネスメタデータ
データの意味を理解するために必要な情報
・データ名称、データ項目説明
・データ内容説明
Layer3 マルチユースメタデータ
データ取得目的とは別の用途、他部門で利用するために必要な情報
・データオーナー部署
・問い合わせ先
・セキュリティ区分
☆データ量
☆データ品質
・活用knowledge
・データ分類、タグ
・活用時の注意点
・活用範囲
・SLA
☆=機械的に収集が可能な情報

活用までのコストと収集コスト
47
Layer1 テクニカルメタデータ
データアクセスするために必要な情報
☆データ所在地
☆データ構造（データ名、データ項目）
Layer2 ビジネスメタデータ
データの意味を理解するために必要な情報
・データ名称、データ項目説明
・データ内容説明
Layer3 マルチユースメタデータ
データ取得目的とは別の用途、他部門で利用するために必要な情報
・データオーナー部署
・問い合わせ先
・セキュリティ区分
☆データ量
☆データ品質
・活用knowledge
・データ分類、タグ
・活用時の注意点
・活用範囲
・SLA
☆=機械的に収集が可能な情報
小
大
活用までの
コスト
小
大
情報収集の
コスト

データ情報収集のコストパフォーマンス
48
他部署サービスでも
活用が可能なデータ
他部署サービスでは
活用が難しいデータ
全てのデータに対して
詳細な説明まで記載するのは
コストに見合わない

価値の高いデータから収集
49
ヤフーの重要なデータ項目を定義、周知
該当するデータから収集

課題3
50
どんな情報があれば
活用アイデアに繋がるのか？

活用アイデア出しの例
（データドリブン）
51
データ例）ホテル予約サイト
データ名：宿泊者情報
説明：ホテル予約時に入力する宿泊者名、人数構成などの情報
アイデア例）ショッピングで子供用品をオススメする

活用アイデア出しのステップ
52
子供の人数を入力した人は子供がいる親だろう
コンテキスト
リーディング
例)大人2人、子供1人

コンテキストを読んだタグ付け
53
タグ：子供がいる親か分かるデータ
コンテキストリーディング
のステップを省略

活用アイデア出しの例
（課題ドリブン）
54
課題例）ショッピングで子供用品をオススメしたい

活用アイデア出しのステップ
55
子供の人数を入力した人は子供がいる親だろう
コンテキスト
リーディング
例)大人2人、子供1人

コンテキストを読んだタグ付け
56
タグ：子供がいる親か分かるデータ
コンテキストリーディング
のステップを省略

データ活用促進の
現状と今後

現状
58
・データ見える化ツールの社内リリース発表
・データ情報の収集方針の社内発表
（ヤフーの重要なデータ項目を定義、周知
して該当データから収集）
・説明会を実施

今後
59
・データ情報収集の促進
・データ情報登録の負担軽減
・キラーコンテンツ(データ)の作成
・データ活用アイデア出しのワークショップ
・アイデアを簡単に活用に繋げるスキーム作り

最後に

大阪オフィス紹介
現在
場所：大阪富国生命ビル（梅田）
社員数：約240名
・サービス開発エンジニア
・天気、災害、マッチングなど
・ビッグデータエンジニア
・サイエンス、データPF
・営業
・広告、ショッピング
10月から
大阪は２拠点体制に

大阪オフィス紹介
現在
場所：大阪富国生命ビル（梅田）
社員数：約240名
・サービス開発エンジニア
・天気、災害、マッチングなど
・ビッグデータエンジニア
・サイエンス、データPF
・営業
・広告、ショッピング
10月から
大阪は２拠点体制に
仲間を募集しています！
募集要項はこちら
https://about.yahoo.co.jp/hr/job-info/career/

以上です

データの見える化で進めるデータドリブンカンパニー #devsumiC

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Similar to データの見える化で進めるデータドリブンカンパニー #devsumiC

Similar to データの見える化で進めるデータドリブンカンパニー #devsumiC (20)

More from Yahoo!デベロッパーネットワーク

More from Yahoo!デベロッパーネットワーク (20)

Recently uploaded

Recently uploaded (9)

データの見える化で進めるデータドリブンカンパニー #devsumiC