SlideShare a Scribd company logo
1 of 61
Download to read offline
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
吉野 彰真
データテクノロジースペシャル:
Yahoo! JAPANにおける
メタデータ管理の試み
2017年2月16日
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
アジェンダ
1
1. 自己紹介
2. ヤフーの事業
3. ヤフーのビッグデータ
4. データマネジメント概論
5. メタデータ管理の取り組み
6. まとめ
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
自己紹介
2
データ&サイエンスソリューション統括本部
データガバナンスチーム
吉野 彰真 (YOSHINO Akimasa)
2011年 ヤフーに入社
大規模RDB環境(Oracle/MySQL)の
構築・運用を経て、データマネジメ
ント領域を担当
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
データ&サイエンスソリューション統括本部
3
データセンター
データ&サイエンス
Yahoo! JAPAN サービス
データプラットフォーム
サイエンス
データサービス
データ&サイエンスソリューション統括本部
研究所
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
1. ヤフーの事業
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
事業状況
5
20years
17
18
19
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
0
100
200
300
400
500
600
bilion U.S. dollars
企業価値
6
http://www.statista.com/statistics/277483/market-value-of-the-largest-internet-companies-worldwide/
as of May 2016
世界18位
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
ユーザー規模
7
9,000万1日約
ユニーク
ブラウザ
※出典:ヤフー株式会社 2016年度第3四半期事業指標推移表(2016年4月-12月の平均)
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
提供サービス
8
Media
US
Search Video Answer Mail
JP
US
JP
Membership C2C Payment C2C EC B2C EC Local
YAHOO! Google NETFLIX Quora GMail
Aol. PayPal ebay amazon yelp
社外秘
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. 9
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
ネット企業から
データドリブン企業へ
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
データ = AIによる産業革命
11
ーーーーー
生産能力の向上
認知能力の向上
機械
AI
蒸気機関
ビッグデータ
●産業革命
●新産業革命
ビッグデータがないとAIは作れない
社外秘
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. 12
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
マルチなデータセット
13
EC FinTech
メディア
など
など
など
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
データ = 直接的資産
14
検索
EC
金融
メッセージングサービス
地図、カーナビ
興味のある言葉
買ったもの
ユーザーの資産
自然言語
位置情報
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
データ = エコシステムの源泉
15
サービスや
機能を提供
データがたまる
データから
気づきを得る AI ユーザー
データ
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
データ = エコシステムの源泉
16
データから
気づきを得る
サービスや
機能を提供
データがたまる
AI ユーザ
データ
無限の再帰性
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
例: タイムライン
17
タイム
ライン
おすすめ AI
検索クエリ
クリック履歴
おすすめ
記事
検索
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
例:広告
18
クリック
したくなる
広告
(最適な情報)
検索
広告
Yahoo! JAPAN
サービス
パートナー
サイト
クリック履歴
検索クエリ
訪問履歴
PV履歴
AI
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
これからのヤフー
19
データから得た気づきを
最大限に活用した
ヤフーにしかできない
提案・サービス
社外秘
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. 20
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
取り組んでいくこと
21
データを効率よく運用する
計算力の強化
人財の強化
サービスの磨き込み
ものづくりの変革
1
2
3
4
5
1
2
3
4
5
AI ユーザー
データ
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
2. ヤフーのビッグデータ
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
膨大なデータボリューム
23
月間 674億PV
PC + その他
281億 PV
Smart Phone
393億 PV
FY16-3Q事業指標 http://ir.yahoo.co.jp/jp/archives/present/2016q3/index.html
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
巨大なデータプラットフォーム
24
NoSQL
Object
Storage
DWHHadoop RDB
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
巨大なデータプラットフォーム
25
NoSQL
Object
Storage
DWHHadoop RDB
7,000 nodes
150PB
800
DBs
600,000
Query/day
1,500
nodes
2,000
nodes
*弊社独自の調査 2017年1月時点
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
技術
26
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
Global
27
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
どれだけ価値を引き出せるか?
28
?
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
どれだけ価値を引き出せるか?
29
?
データマネジメント
↓
データの資産化
資産価値の最大化
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
3. データマネジメント概論
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
フレームワーク
http://cmmiinstitute.com/data-management-maturity
Data Management Maturity (DMM)℠ Model
https://www.dama.org/content/body-knowledge
Data Management Body of Knowledge (DMBOK)
• PMBOK → DMBOK
• 知識体系
• CMMI → DMM
• 成熟度モデル
31
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
難しいポイント
データの構造 事業の構造 企業文化
32
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
ヤフーの考えるマネジメント領域
データスチュ
ワードシップ
メタデータ管理
データアーキ
テクチャ
データウェアハウス
&
ビジネスインテリジェン
ス
データストレー
ジ&オペレー
ション
データインテグ
レーション&イ
ンターオペラビ
リティ
データセキュリティ
ドキュメント&
コンテンツ
リファレンス&
マスターデータ
データモデリ
ング&デザイ
ン
データクォリ
ティ
33
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
ヤフーの考えるマネジメント領域
データスチュ
ワードシップ
メタデータ管理
データアーキ
テクチャ
データウェアハウ
ス&ビジネスインテ
リジェンス
データストレー
ジ&オペレー
ション
データインテグ
レーション&イ
ンターオペラビ
リティ
データセキュリティ
ドキュメント&
コンテンツ
リファレンス&
マスターデータ
データモデリ
ング&デザイ
ン
データクォリ
ティ
フレームワークを参考に領域を定義
領域ごとにやること整理
イニシアチブ化
34
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
目下注力しているイニシアチブ
35
a.データスチュワードシップ
b.データ標準化
c.データライフサイクル&エコシステム
d.メタデータ管理
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
a. データスチュワードシップ
カンパニーA カンパニーB カンパニーC
全社横断 ネットワーク 場の ・
36
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
サービスCカンパニーBカンパニーA サービスD
b. データ標準化
37
標準 計測と
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
c. データライフサイクル/エコシステム
38
・利用量の可視化
・利用状況の可視化
利用
・保管方針
・コスト可視化
蓄積
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. 39
c. データライフサイクル/エコシステム
ログ種別毎 Hadoopアクセス回数(2016/2/1実績)
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. 40
d. メタデータ管理
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
4. メタデータ管理の
取り組み
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
メタデータ管理とは?
42
• メタデータ = “データについてのデータ”
DATA
METADATA
{タイトル} {シリーズ}
{あらすじ}
{著者} {翻訳者}
{出版社} {版}
{発行年月日} {価格}
:
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
メタデータ管理とは?
43
メタデータ管理
= データ資産化の第一歩
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
メタデータの種類
44
テクニカルメタデータ テーブル/カラムの定義、ファイルパス、サーバ
ビジネスメタデータ 日本語の説明、コード体系(男性=0,女性=1)
運用メタデータ SLA、 連絡先、オーナー
データフロー
データ品質
データの価値
リネージ、加工元 → 加工先の関連
定量化・スコア化された指標、正確性・完全性・精度…
意思決定・ビジネス利用の実績・ポテンシャル
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
メタデータの種類
45
テクニカルメタデータ テーブル/カラムの定義、ファイルパス、サーバ
ビジネスメタデータ 日本語の説明、コード体系(男性=0,女性=1)
運用メタデータ SLA、 連絡先、オーナー
データフロー
データ品質
データの価値
リネージ、加工元 → 加工先の関連
定量化・スコア化された指標、正確性・完全性・精度…
意思決定・ビジネス利用の実績・ポテンシャル
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
メタデータの種類
46
テクニカルメタデータ テーブル/カラムの定義、ファイルパス、サーバ
ビジネスメタデータ 日本語の説明、コード体系(男性=0,女性=1)
運用メタデータ SLA、 連絡先、オーナー
データフロー
データ品質
データの価値
リネージ、加工元 → 加工先の関連
定量化・スコア化された指標、正確性・完全性・精度…
意思決定・ビジネス利用の実績・ポテンシャル
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
メタデータの種類
47
テクニカルメタデータ テーブル/カラムの定義、ファイルパス、サーバ
ビジネスメタデータ 日本語の説明、コード体系(男性=0,女性=1)
運用メタデータ SLA、 連絡先、オーナー
データフロー
データ品質
データの価値
リネージ、加工元 → 加工先の関連
定量化・スコア化された指標、正確性・完全性・精度…
意思決定・ビジネス利用の実績・ポテンシャル
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
メタデータの種類
48
テクニカルメタデータ テーブル/カラムの定義、ファイルパス、サーバ
ビジネスメタデータ 日本語の説明、コード体系(男性=0,女性=1)
運用メタデータ SLA、 連絡先、オーナー
データフロー
データ品質
データの価値
リネージ、加工元 → 加工先の関連
定量化・スコア化された指標、正確性・完全性・精度…
意思決定・ビジネス利用の実績・ポテンシャル
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
ポイント
49
課題ベースで選択
&
自動と人手
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
課題感 (1/2)
50
データ資産の全体観が把握できていない
存在レベルでもいいのでひととおり把握したい
? ? ? ?
× 横断利用
× 資産の把握
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
課題感 (2/2)
51
“人手” に 膨大な工数が必要
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
データ資産把握のイメージ
52
カバレッジ (100%)
充実度
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
データ資産把握のイメージ
53
カバレッジ (100%)
充実度
技術
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
データ資産把握のイメージ
54
カバレッジ (100%)
充実度
技術
ルール/マネジメント
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
メタデータ管理の仕組み(構想)
55
new
Hadoop
(HDFS) (Hive)
new
new
Object
Storage
(S3ライクなFS)
new
Teradata
new
RDB
Oracle/MySQL
new
KVS
準構造化 構造化 非構造化 構造化
メタデータ管理データプラットフォーム
網羅率100%で自動収集
ルールに基づき人手で追記
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
今後の予定
56
・仕組み構築 ・ルールの策定と展開
ソリューション 明快なルール
開発 スチュワードシップ
すべての事業の基礎としてやり遂げる
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
5. まとめ
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
まとめ
58
データ=資産
メタデータ管理は資産管理の第一歩
模範をめざす
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
仲間募集中!
59
日本の課題解決エンジンを支える
Yahoo! JAPAN の データ部門
スマホ or PC から
「ヤフー 採用」
で検索!
※写真はイメージです
名刺交換
or
(写真:アフロ)

More Related Content

What's hot

データ分析を支える技術 DWH再入門
データ分析を支える技術 DWH再入門データ分析を支える技術 DWH再入門
データ分析を支える技術 DWH再入門Satoru Ishikawa
 
データ活用をするための組織
データ活用をするための組織データ活用をするための組織
データ活用をするための組織Kon Yuichi
 
サイエンス視点からのデータアーキテクト
サイエンス視点からのデータアーキテクトサイエンス視点からのデータアーキテクト
サイエンス視点からのデータアーキテクトMasaharu Horino
 
JDMC LT#1 - なぜモノタロウでデータマネジメントが必要になったのか
JDMC LT#1 - なぜモノタロウでデータマネジメントが必要になったのかJDMC LT#1 - なぜモノタロウでデータマネジメントが必要になったのか
JDMC LT#1 - なぜモノタロウでデータマネジメントが必要になったのか株式会社MonotaRO Tech Team
 
全社のデータ活用を一段階上げる取り組み
全社のデータ活用を一段階上げる取り組み全社のデータ活用を一段階上げる取り組み
全社のデータ活用を一段階上げる取り組み株式会社MonotaRO Tech Team
 
DMBOKをベースにしたデータマネジメント
DMBOKをベースにしたデータマネジメントDMBOKをベースにしたデータマネジメント
DMBOKをベースにしたデータマネジメントKent Ishizawa
 
リクルートのビッグデータ活用基盤とデータ活用に向けた取組み
リクルートのビッグデータ活用基盤とデータ活用に向けた取組みリクルートのビッグデータ活用基盤とデータ活用に向けた取組み
リクルートのビッグデータ活用基盤とデータ活用に向けた取組みRecruit Technologies
 
データ基盤グループを支えるチームビルディング
データ基盤グループを支えるチームビルディングデータ基盤グループを支えるチームビルディング
データ基盤グループを支えるチームビルディング株式会社MonotaRO Tech Team
 
え!?データがオンプレにあるけどPower BI で BI したいの?
え!?データがオンプレにあるけどPower BI で BI したいの?え!?データがオンプレにあるけどPower BI で BI したいの?
え!?データがオンプレにあるけどPower BI で BI したいの?Yugo Shimizu
 
次世代データ基盤としてのSnowflakeの可能性 SnowDay 20211208
次世代データ基盤としてのSnowflakeの可能性 SnowDay 20211208 次世代データ基盤としてのSnowflakeの可能性 SnowDay 20211208
次世代データ基盤としてのSnowflakeの可能性 SnowDay 20211208 Kazuhiro Mitsuhashi
 
レコメンドバッチ高速化に向けたSpark/MapReduceの機械学習ライブラリ比較検証
レコメンドバッチ高速化に向けたSpark/MapReduceの機械学習ライブラリ比較検証レコメンドバッチ高速化に向けたSpark/MapReduceの機械学習ライブラリ比較検証
レコメンドバッチ高速化に向けたSpark/MapReduceの機械学習ライブラリ比較検証Recruit Technologies
 
20170525 jsug バッチは地味だが役に立つ
20170525 jsug バッチは地味だが役に立つ20170525 jsug バッチは地味だが役に立つ
20170525 jsug バッチは地味だが役に立つYuichi Hasegawa
 
え!? Power BI の画面からデータ更新なんてできるの!? ~PowerApps カスタムビジュアルの可能性~
え!? Power BI の画面からデータ更新なんてできるの!? ~PowerApps カスタムビジュアルの可能性~え!? Power BI の画面からデータ更新なんてできるの!? ~PowerApps カスタムビジュアルの可能性~
え!? Power BI の画面からデータ更新なんてできるの!? ~PowerApps カスタムビジュアルの可能性~Yugo Shimizu
 
リクルートのビッグデータ活用基盤とビッグデータ活用のためのメタデータ管理Webのご紹介
リクルートのビッグデータ活用基盤とビッグデータ活用のためのメタデータ管理Webのご紹介リクルートのビッグデータ活用基盤とビッグデータ活用のためのメタデータ管理Webのご紹介
リクルートのビッグデータ活用基盤とビッグデータ活用のためのメタデータ管理Webのご紹介Recruit Technologies
 
MonotaRO のデータ活用と基盤の過去、現在、未来
MonotaRO のデータ活用と基盤の過去、現在、未来 MonotaRO のデータ活用と基盤の過去、現在、未来
MonotaRO のデータ活用と基盤の過去、現在、未来 株式会社MonotaRO Tech Team
 
ビッグデータ処理データベースの全体像と使い分け
2018年version
ビッグデータ処理データベースの全体像と使い分け
2018年versionビッグデータ処理データベースの全体像と使い分け
2018年version
ビッグデータ処理データベースの全体像と使い分け
2018年versionTetsutaro Watanabe
 
Yahoo! JAPANが持つデータ分析ソリューションの紹介 #yjdsnight
Yahoo! JAPANが持つデータ分析ソリューションの紹介 #yjdsnightYahoo! JAPANが持つデータ分析ソリューションの紹介 #yjdsnight
Yahoo! JAPANが持つデータ分析ソリューションの紹介 #yjdsnightYahoo!デベロッパーネットワーク
 

What's hot (20)

Tableau活用4年の軌跡
Tableau活用4年の軌跡Tableau活用4年の軌跡
Tableau活用4年の軌跡
 
データ分析を支える技術 DWH再入門
データ分析を支える技術 DWH再入門データ分析を支える技術 DWH再入門
データ分析を支える技術 DWH再入門
 
データ活用をするための組織
データ活用をするための組織データ活用をするための組織
データ活用をするための組織
 
サイエンス視点からのデータアーキテクト
サイエンス視点からのデータアーキテクトサイエンス視点からのデータアーキテクト
サイエンス視点からのデータアーキテクト
 
JDMC LT#1 - なぜモノタロウでデータマネジメントが必要になったのか
JDMC LT#1 - なぜモノタロウでデータマネジメントが必要になったのかJDMC LT#1 - なぜモノタロウでデータマネジメントが必要になったのか
JDMC LT#1 - なぜモノタロウでデータマネジメントが必要になったのか
 
全社のデータ活用を一段階上げる取り組み
全社のデータ活用を一段階上げる取り組み全社のデータ活用を一段階上げる取り組み
全社のデータ活用を一段階上げる取り組み
 
DMBOKをベースにしたデータマネジメント
DMBOKをベースにしたデータマネジメントDMBOKをベースにしたデータマネジメント
DMBOKをベースにしたデータマネジメント
 
リクルートのビッグデータ活用基盤とデータ活用に向けた取組み
リクルートのビッグデータ活用基盤とデータ活用に向けた取組みリクルートのビッグデータ活用基盤とデータ活用に向けた取組み
リクルートのビッグデータ活用基盤とデータ活用に向けた取組み
 
データ基盤グループを支えるチームビルディング
データ基盤グループを支えるチームビルディングデータ基盤グループを支えるチームビルディング
データ基盤グループを支えるチームビルディング
 
え!?データがオンプレにあるけどPower BI で BI したいの?
え!?データがオンプレにあるけどPower BI で BI したいの?え!?データがオンプレにあるけどPower BI で BI したいの?
え!?データがオンプレにあるけどPower BI で BI したいの?
 
次世代データ基盤としてのSnowflakeの可能性 SnowDay 20211208
次世代データ基盤としてのSnowflakeの可能性 SnowDay 20211208 次世代データ基盤としてのSnowflakeの可能性 SnowDay 20211208
次世代データ基盤としてのSnowflakeの可能性 SnowDay 20211208
 
レコメンドバッチ高速化に向けたSpark/MapReduceの機械学習ライブラリ比較検証
レコメンドバッチ高速化に向けたSpark/MapReduceの機械学習ライブラリ比較検証レコメンドバッチ高速化に向けたSpark/MapReduceの機械学習ライブラリ比較検証
レコメンドバッチ高速化に向けたSpark/MapReduceの機械学習ライブラリ比較検証
 
Hadoop ~Yahoo! JAPANの活用について~
Hadoop ~Yahoo! JAPANの活用について~Hadoop ~Yahoo! JAPANの活用について~
Hadoop ~Yahoo! JAPANの活用について~
 
20170525 jsug バッチは地味だが役に立つ
20170525 jsug バッチは地味だが役に立つ20170525 jsug バッチは地味だが役に立つ
20170525 jsug バッチは地味だが役に立つ
 
え!? Power BI の画面からデータ更新なんてできるの!? ~PowerApps カスタムビジュアルの可能性~
え!? Power BI の画面からデータ更新なんてできるの!? ~PowerApps カスタムビジュアルの可能性~え!? Power BI の画面からデータ更新なんてできるの!? ~PowerApps カスタムビジュアルの可能性~
え!? Power BI の画面からデータ更新なんてできるの!? ~PowerApps カスタムビジュアルの可能性~
 
リクルートのビッグデータ活用基盤とビッグデータ活用のためのメタデータ管理Webのご紹介
リクルートのビッグデータ活用基盤とビッグデータ活用のためのメタデータ管理Webのご紹介リクルートのビッグデータ活用基盤とビッグデータ活用のためのメタデータ管理Webのご紹介
リクルートのビッグデータ活用基盤とビッグデータ活用のためのメタデータ管理Webのご紹介
 
MonotaRO のデータ活用と基盤の過去、現在、未来
MonotaRO のデータ活用と基盤の過去、現在、未来 MonotaRO のデータ活用と基盤の過去、現在、未来
MonotaRO のデータ活用と基盤の過去、現在、未来
 
ビッグデータ処理データベースの全体像と使い分け
2018年version
ビッグデータ処理データベースの全体像と使い分け
2018年versionビッグデータ処理データベースの全体像と使い分け
2018年version
ビッグデータ処理データベースの全体像と使い分け
2018年version
 
Yahoo! JAPANが持つデータ分析ソリューションの紹介 #yjdsnight
Yahoo! JAPANが持つデータ分析ソリューションの紹介 #yjdsnightYahoo! JAPANが持つデータ分析ソリューションの紹介 #yjdsnight
Yahoo! JAPANが持つデータ分析ソリューションの紹介 #yjdsnight
 
Spark MLlibではじめるスケーラブルな機械学習
Spark MLlibではじめるスケーラブルな機械学習Spark MLlibではじめるスケーラブルな機械学習
Spark MLlibではじめるスケーラブルな機械学習
 

Viewers also liked

Yahoo! JAPANのサービス開発を10倍早くした社内PaaS構築の今とこれから
Yahoo! JAPANのサービス開発を10倍早くした社内PaaS構築の今とこれからYahoo! JAPANのサービス開発を10倍早くした社内PaaS構築の今とこれから
Yahoo! JAPANのサービス開発を10倍早くした社内PaaS構築の今とこれからYahoo!デベロッパーネットワーク
 
行列ができるECサイトの悩み~ショッピングや決済の技術的問題と処方箋
行列ができるECサイトの悩み~ショッピングや決済の技術的問題と処方箋行列ができるECサイトの悩み~ショッピングや決済の技術的問題と処方箋
行列ができるECサイトの悩み~ショッピングや決済の技術的問題と処方箋Yahoo!デベロッパーネットワーク
 
ヤフオク!の快適なカスタマー体験を支えるモバイルアプリのライブアップデート技術
ヤフオク!の快適なカスタマー体験を支えるモバイルアプリのライブアップデート技術ヤフオク!の快適なカスタマー体験を支えるモバイルアプリのライブアップデート技術
ヤフオク!の快適なカスタマー体験を支えるモバイルアプリのライブアップデート技術Yahoo!デベロッパーネットワーク
 
Yahoo!ブラウザーアプリのプロダクトマネージャーが考えていること
Yahoo!ブラウザーアプリのプロダクトマネージャーが考えていることYahoo!ブラウザーアプリのプロダクトマネージャーが考えていること
Yahoo!ブラウザーアプリのプロダクトマネージャーが考えていることYahoo!デベロッパーネットワーク
 
DeepRemote: A Smart Remote Controller for Intuitive Control through Home Appl...
DeepRemote: A Smart Remote Controller for Intuitive Control through Home Appl...DeepRemote: A Smart Remote Controller for Intuitive Control through Home Appl...
DeepRemote: A Smart Remote Controller for Intuitive Control through Home Appl...Yuta Takahashi
 
分散システムについて語らせてくれ
分散システムについて語らせてくれ分散システムについて語らせてくれ
分散システムについて語らせてくれKumazaki Hiroki
 
本当は恐ろしい分散システムの話
本当は恐ろしい分散システムの話本当は恐ろしい分散システムの話
本当は恐ろしい分散システムの話Kumazaki Hiroki
 

Viewers also liked (15)

Yahoo! JAPANのサービス開発を10倍早くした社内PaaS構築の今とこれから
Yahoo! JAPANのサービス開発を10倍早くした社内PaaS構築の今とこれからYahoo! JAPANのサービス開発を10倍早くした社内PaaS構築の今とこれから
Yahoo! JAPANのサービス開発を10倍早くした社内PaaS構築の今とこれから
 
市場で勝ち続けるための品質とテストの技術②
市場で勝ち続けるための品質とテストの技術②市場で勝ち続けるための品質とテストの技術②
市場で勝ち続けるための品質とテストの技術②
 
行列ができるECサイトの悩み~ショッピングや決済の技術的問題と処方箋
行列ができるECサイトの悩み~ショッピングや決済の技術的問題と処方箋行列ができるECサイトの悩み~ショッピングや決済の技術的問題と処方箋
行列ができるECサイトの悩み~ショッピングや決済の技術的問題と処方箋
 
市場で勝ち続けるための品質とテストの技術①
市場で勝ち続けるための品質とテストの技術①市場で勝ち続けるための品質とテストの技術①
市場で勝ち続けるための品質とテストの技術①
 
ヤフオク!の快適なカスタマー体験を支えるモバイルアプリのライブアップデート技術
ヤフオク!の快適なカスタマー体験を支えるモバイルアプリのライブアップデート技術ヤフオク!の快適なカスタマー体験を支えるモバイルアプリのライブアップデート技術
ヤフオク!の快適なカスタマー体験を支えるモバイルアプリのライブアップデート技術
 
Yahoo!ブラウザーアプリのプロダクトマネージャーが考えていること
Yahoo!ブラウザーアプリのプロダクトマネージャーが考えていることYahoo!ブラウザーアプリのプロダクトマネージャーが考えていること
Yahoo!ブラウザーアプリのプロダクトマネージャーが考えていること
 
DeepRemote: A Smart Remote Controller for Intuitive Control through Home Appl...
DeepRemote: A Smart Remote Controller for Intuitive Control through Home Appl...DeepRemote: A Smart Remote Controller for Intuitive Control through Home Appl...
DeepRemote: A Smart Remote Controller for Intuitive Control through Home Appl...
 
Yahoo! JAPANのCloud Foundry導入状況
Yahoo! JAPANのCloud Foundry導入状況Yahoo! JAPANのCloud Foundry導入状況
Yahoo! JAPANのCloud Foundry導入状況
 
JavaOne2017参加報告 Microservices topic & approach #jjug
JavaOne2017参加報告 Microservices topic & approach #jjugJavaOne2017参加報告 Microservices topic & approach #jjug
JavaOne2017参加報告 Microservices topic & approach #jjug
 
第4回 NIPS+読み会・関西 発表資料 山本
第4回 NIPS+読み会・関西 発表資料 山本第4回 NIPS+読み会・関西 発表資料 山本
第4回 NIPS+読み会・関西 発表資料 山本
 
Cassandra: Now and the Future @ Yahoo! JAPAN
Cassandra: Now and the Future @ Yahoo! JAPANCassandra: Now and the Future @ Yahoo! JAPAN
Cassandra: Now and the Future @ Yahoo! JAPAN
 
ICML2017 参加報告会 山本康生
ICML2017 参加報告会 山本康生ICML2017 参加報告会 山本康生
ICML2017 参加報告会 山本康生
 
#ibis2017 Description: IBIS2017の企画セッションでの発表資料
#ibis2017 Description: IBIS2017の企画セッションでの発表資料#ibis2017 Description: IBIS2017の企画セッションでの発表資料
#ibis2017 Description: IBIS2017の企画セッションでの発表資料
 
分散システムについて語らせてくれ
分散システムについて語らせてくれ分散システムについて語らせてくれ
分散システムについて語らせてくれ
 
本当は恐ろしい分散システムの話
本当は恐ろしい分散システムの話本当は恐ろしい分散システムの話
本当は恐ろしい分散システムの話
 

Similar to データテクノロジースペシャル:Yahoo! JAPANにおけるメタデータ管理の試み

Yahoo!プロモーション広告のビックデータ基盤を支える技術と今後の展望
Yahoo!プロモーション広告のビックデータ基盤を支える技術と今後の展望Yahoo!プロモーション広告のビックデータ基盤を支える技術と今後の展望
Yahoo!プロモーション広告のビックデータ基盤を支える技術と今後の展望Yahoo!デベロッパーネットワーク
 
Classmethod共催IT部門向け Tableauを活用した全社レベルのデータ民主化とガバナンス
Classmethod共催IT部門向け Tableauを活用した全社レベルのデータ民主化とガバナンスClassmethod共催IT部門向け Tableauを活用した全社レベルのデータ民主化とガバナンス
Classmethod共催IT部門向け Tableauを活用した全社レベルのデータ民主化とガバナンスTakeo Hirakawa
 
CIVIC TECH FORUM_20170325 Local Gov Tech
CIVIC TECH FORUM_20170325 Local Gov TechCIVIC TECH FORUM_20170325 Local Gov Tech
CIVIC TECH FORUM_20170325 Local Gov TechMasaki Takeda
 
Beginner must-see! A future that can be opened by learning Hadoop
Beginner must-see! A future that can be opened by learning HadoopBeginner must-see! A future that can be opened by learning Hadoop
Beginner must-see! A future that can be opened by learning HadoopDataWorks Summit
 
避けては通れないビッグデータ周辺の重要課題
避けては通れないビッグデータ周辺の重要課題避けては通れないビッグデータ周辺の重要課題
避けては通れないビッグデータ周辺の重要課題kurikiyo
 
データ活用を俊敏に進めるためのDataOps実践方法とその高度化のためのナレッジグラフ活用の取り組み(NTTデータ テクノロジーカンファレンス 2020 ...
データ活用を俊敏に進めるためのDataOps実践方法とその高度化のためのナレッジグラフ活用の取り組み(NTTデータ テクノロジーカンファレンス 2020 ...データ活用を俊敏に進めるためのDataOps実践方法とその高度化のためのナレッジグラフ活用の取り組み(NTTデータ テクノロジーカンファレンス 2020 ...
データ活用を俊敏に進めるためのDataOps実践方法とその高度化のためのナレッジグラフ活用の取り組み(NTTデータ テクノロジーカンファレンス 2020 ...NTT DATA Technology & Innovation
 
分析のモダナイズへのヒント:データ価値を最大化するビジュアル分析とエンタープライズ組織への展開 - 経営課題解決シンポジウム (2018/09/28)
分析のモダナイズへのヒント:データ価値を最大化するビジュアル分析とエンタープライズ組織への展開 - 経営課題解決シンポジウム (2018/09/28)分析のモダナイズへのヒント:データ価値を最大化するビジュアル分析とエンタープライズ組織への展開 - 経営課題解決シンポジウム (2018/09/28)
分析のモダナイズへのヒント:データ価値を最大化するビジュアル分析とエンタープライズ組織への展開 - 経営課題解決シンポジウム (2018/09/28)Ryusuke Ashiya
 
プランニングツールにおけるインタラクティブな可視化を支えるバックエンド
プランニングツールにおけるインタラクティブな可視化を支えるバックエンドプランニングツールにおけるインタラクティブな可視化を支えるバックエンド
プランニングツールにおけるインタラクティブな可視化を支えるバックエンドYahoo!デベロッパーネットワーク
 
JapanTaxiが保有するデータとデータ分析について
JapanTaxiが保有するデータとデータ分析についてJapanTaxiが保有するデータとデータ分析について
JapanTaxiが保有するデータとデータ分析についてMasatoshi Ida
 
シェアドサービスとしてのデータテクノロジー
シェアドサービスとしてのデータテクノロジーシェアドサービスとしてのデータテクノロジー
シェアドサービスとしてのデータテクノロジーgree_tech
 
Yahoo! JAPAN MeetUp #8 (インフラ技術カンファレンス)セッション①
Yahoo! JAPAN MeetUp #8 (インフラ技術カンファレンス)セッション①Yahoo! JAPAN MeetUp #8 (インフラ技術カンファレンス)セッション①
Yahoo! JAPAN MeetUp #8 (インフラ技術カンファレンス)セッション①Yahoo!デベロッパーネットワーク
 
データサイエンスを支える基盤とそのテクノロジー@WebDBフォーラム2015 #webdbf2015
データサイエンスを支える基盤とそのテクノロジー@WebDBフォーラム2015 #webdbf2015データサイエンスを支える基盤とそのテクノロジー@WebDBフォーラム2015 #webdbf2015
データサイエンスを支える基盤とそのテクノロジー@WebDBフォーラム2015 #webdbf2015Yahoo!デベロッパーネットワーク
 
大規模サイトを支えるビッグデータプラットフォーム技術
大規模サイトを支えるビッグデータプラットフォーム技術大規模サイトを支えるビッグデータプラットフォーム技術
大規模サイトを支えるビッグデータプラットフォーム技術Yahoo!デベロッパーネットワーク
 
NTTデータが考えるデータ基盤の次の一手 ~AI活用のために知っておくべき新潮流とは?~(NTTデータ テクノロジーカンファレンス 2020 発表資料)
NTTデータが考えるデータ基盤の次の一手 ~AI活用のために知っておくべき新潮流とは?~(NTTデータ テクノロジーカンファレンス 2020 発表資料)NTTデータが考えるデータ基盤の次の一手 ~AI活用のために知っておくべき新潮流とは?~(NTTデータ テクノロジーカンファレンス 2020 発表資料)
NTTデータが考えるデータ基盤の次の一手 ~AI活用のために知っておくべき新潮流とは?~(NTTデータ テクノロジーカンファレンス 2020 発表資料)NTT DATA Technology & Innovation
 

Similar to データテクノロジースペシャル:Yahoo! JAPANにおけるメタデータ管理の試み (20)

Yahoo!プロモーション広告のビックデータ基盤を支える技術と今後の展望
Yahoo!プロモーション広告のビックデータ基盤を支える技術と今後の展望Yahoo!プロモーション広告のビックデータ基盤を支える技術と今後の展望
Yahoo!プロモーション広告のビックデータ基盤を支える技術と今後の展望
 
マルチビッグデータの活用を支える DWHの作り方
マルチビッグデータの活用を支える DWHの作り方マルチビッグデータの活用を支える DWHの作り方
マルチビッグデータの活用を支える DWHの作り方
 
YJTC18 D-7 Yahoo!ショッピングのサービスデータ活用事例
YJTC18 D-7 Yahoo!ショッピングのサービスデータ活用事例YJTC18 D-7 Yahoo!ショッピングのサービスデータ活用事例
YJTC18 D-7 Yahoo!ショッピングのサービスデータ活用事例
 
Classmethod共催IT部門向け Tableauを活用した全社レベルのデータ民主化とガバナンス
Classmethod共催IT部門向け Tableauを活用した全社レベルのデータ民主化とガバナンスClassmethod共催IT部門向け Tableauを活用した全社レベルのデータ民主化とガバナンス
Classmethod共催IT部門向け Tableauを活用した全社レベルのデータ民主化とガバナンス
 
CIVIC TECH FORUM_20170325 Local Gov Tech
CIVIC TECH FORUM_20170325 Local Gov TechCIVIC TECH FORUM_20170325 Local Gov Tech
CIVIC TECH FORUM_20170325 Local Gov Tech
 
kukai: 省エネ世界2位のディープラーニング・スパコン
kukai: 省エネ世界2位のディープラーニング・スパコンkukai: 省エネ世界2位のディープラーニング・スパコン
kukai: 省エネ世界2位のディープラーニング・スパコン
 
Beginner must-see! A future that can be opened by learning Hadoop
Beginner must-see! A future that can be opened by learning HadoopBeginner must-see! A future that can be opened by learning Hadoop
Beginner must-see! A future that can be opened by learning Hadoop
 
「Data Infrastructure at Scale 」#yjdsw4
「Data Infrastructure at Scale 」#yjdsw4「Data Infrastructure at Scale 」#yjdsw4
「Data Infrastructure at Scale 」#yjdsw4
 
避けては通れないビッグデータ周辺の重要課題
避けては通れないビッグデータ周辺の重要課題避けては通れないビッグデータ周辺の重要課題
避けては通れないビッグデータ周辺の重要課題
 
広告における機械学習の適用例とシステムについて
広告における機械学習の適用例とシステムについて広告における機械学習の適用例とシステムについて
広告における機械学習の適用例とシステムについて
 
データ活用を俊敏に進めるためのDataOps実践方法とその高度化のためのナレッジグラフ活用の取り組み(NTTデータ テクノロジーカンファレンス 2020 ...
データ活用を俊敏に進めるためのDataOps実践方法とその高度化のためのナレッジグラフ活用の取り組み(NTTデータ テクノロジーカンファレンス 2020 ...データ活用を俊敏に進めるためのDataOps実践方法とその高度化のためのナレッジグラフ活用の取り組み(NTTデータ テクノロジーカンファレンス 2020 ...
データ活用を俊敏に進めるためのDataOps実践方法とその高度化のためのナレッジグラフ活用の取り組み(NTTデータ テクノロジーカンファレンス 2020 ...
 
分析のモダナイズへのヒント:データ価値を最大化するビジュアル分析とエンタープライズ組織への展開 - 経営課題解決シンポジウム (2018/09/28)
分析のモダナイズへのヒント:データ価値を最大化するビジュアル分析とエンタープライズ組織への展開 - 経営課題解決シンポジウム (2018/09/28)分析のモダナイズへのヒント:データ価値を最大化するビジュアル分析とエンタープライズ組織への展開 - 経営課題解決シンポジウム (2018/09/28)
分析のモダナイズへのヒント:データ価値を最大化するビジュアル分析とエンタープライズ組織への展開 - 経営課題解決シンポジウム (2018/09/28)
 
プランニングツールにおけるインタラクティブな可視化を支えるバックエンド
プランニングツールにおけるインタラクティブな可視化を支えるバックエンドプランニングツールにおけるインタラクティブな可視化を支えるバックエンド
プランニングツールにおけるインタラクティブな可視化を支えるバックエンド
 
JapanTaxiが保有するデータとデータ分析について
JapanTaxiが保有するデータとデータ分析についてJapanTaxiが保有するデータとデータ分析について
JapanTaxiが保有するデータとデータ分析について
 
シェアドサービスとしてのデータテクノロジー
シェアドサービスとしてのデータテクノロジーシェアドサービスとしてのデータテクノロジー
シェアドサービスとしてのデータテクノロジー
 
Yahoo! JAPAN MeetUp #8 (インフラ技術カンファレンス)セッション①
Yahoo! JAPAN MeetUp #8 (インフラ技術カンファレンス)セッション①Yahoo! JAPAN MeetUp #8 (インフラ技術カンファレンス)セッション①
Yahoo! JAPAN MeetUp #8 (インフラ技術カンファレンス)セッション①
 
データサイエンスを支える基盤とそのテクノロジー@WebDBフォーラム2015 #webdbf2015
データサイエンスを支える基盤とそのテクノロジー@WebDBフォーラム2015 #webdbf2015データサイエンスを支える基盤とそのテクノロジー@WebDBフォーラム2015 #webdbf2015
データサイエンスを支える基盤とそのテクノロジー@WebDBフォーラム2015 #webdbf2015
 
大規模サイトを支えるビッグデータプラットフォーム技術
大規模サイトを支えるビッグデータプラットフォーム技術大規模サイトを支えるビッグデータプラットフォーム技術
大規模サイトを支えるビッグデータプラットフォーム技術
 
NTTデータが考えるデータ基盤の次の一手 ~AI活用のために知っておくべき新潮流とは?~(NTTデータ テクノロジーカンファレンス 2020 発表資料)
NTTデータが考えるデータ基盤の次の一手 ~AI活用のために知っておくべき新潮流とは?~(NTTデータ テクノロジーカンファレンス 2020 発表資料)NTTデータが考えるデータ基盤の次の一手 ~AI活用のために知っておくべき新潮流とは?~(NTTデータ テクノロジーカンファレンス 2020 発表資料)
NTTデータが考えるデータ基盤の次の一手 ~AI活用のために知っておくべき新潮流とは?~(NTTデータ テクノロジーカンファレンス 2020 発表資料)
 
Strata conference 2012
Strata conference 2012Strata conference 2012
Strata conference 2012
 

More from Yahoo!デベロッパーネットワーク

ヤフーでは開発迅速性と品質のバランスをどう取ってるか
ヤフーでは開発迅速性と品質のバランスをどう取ってるかヤフーでは開発迅速性と品質のバランスをどう取ってるか
ヤフーでは開発迅速性と品質のバランスをどう取ってるかYahoo!デベロッパーネットワーク
 
データの価値を最大化させるためのデザイン~データビジュアライゼーションの方法~ #devsumi 17-E-2
データの価値を最大化させるためのデザイン~データビジュアライゼーションの方法~ #devsumi 17-E-2データの価値を最大化させるためのデザイン~データビジュアライゼーションの方法~ #devsumi 17-E-2
データの価値を最大化させるためのデザイン~データビジュアライゼーションの方法~ #devsumi 17-E-2Yahoo!デベロッパーネットワーク
 
ヤフーを支えるセキュリティ ~サイバー攻撃を防ぐエンジニアの仕事とは~ #yjtc
ヤフーを支えるセキュリティ ~サイバー攻撃を防ぐエンジニアの仕事とは~ #yjtcヤフーを支えるセキュリティ ~サイバー攻撃を防ぐエンジニアの仕事とは~ #yjtc
ヤフーを支えるセキュリティ ~サイバー攻撃を防ぐエンジニアの仕事とは~ #yjtcYahoo!デベロッパーネットワーク
 
Yahoo! JAPANのIaaSを支えるKubernetesクラスタ、アップデート自動化への挑戦 #yjtc
Yahoo! JAPANのIaaSを支えるKubernetesクラスタ、アップデート自動化への挑戦 #yjtcYahoo! JAPANのIaaSを支えるKubernetesクラスタ、アップデート自動化への挑戦 #yjtc
Yahoo! JAPANのIaaSを支えるKubernetesクラスタ、アップデート自動化への挑戦 #yjtcYahoo!デベロッパーネットワーク
 
ヤフーのAIプラットフォーム紹介 ~AIテックカンパニーを支えるデータ基盤~ #yjtc
ヤフーのAIプラットフォーム紹介 ~AIテックカンパニーを支えるデータ基盤~ #yjtcヤフーのAIプラットフォーム紹介 ~AIテックカンパニーを支えるデータ基盤~ #yjtc
ヤフーのAIプラットフォーム紹介 ~AIテックカンパニーを支えるデータ基盤~ #yjtcYahoo!デベロッパーネットワーク
 
新技術を使った次世代の商品の見せ方 ~ヤフオク!のマルチビュー機能~ #yjtc
新技術を使った次世代の商品の見せ方 ~ヤフオク!のマルチビュー機能~ #yjtc新技術を使った次世代の商品の見せ方 ~ヤフオク!のマルチビュー機能~ #yjtc
新技術を使った次世代の商品の見せ方 ~ヤフオク!のマルチビュー機能~ #yjtcYahoo!デベロッパーネットワーク
 
PC版Yahoo!メールリニューアル ~サービスのUI/UX統合と改善プロセス~ #yjtc
PC版Yahoo!メールリニューアル ~サービスのUI/UX統合と改善プロセス~ #yjtcPC版Yahoo!メールリニューアル ~サービスのUI/UX統合と改善プロセス~ #yjtc
PC版Yahoo!メールリニューアル ~サービスのUI/UX統合と改善プロセス~ #yjtcYahoo!デベロッパーネットワーク
 
モブデザインによる多職種チームのコミュニケーション改善 #yjtc
モブデザインによる多職種チームのコミュニケーション改善 #yjtcモブデザインによる多職種チームのコミュニケーション改善 #yjtc
モブデザインによる多職種チームのコミュニケーション改善 #yjtcYahoo!デベロッパーネットワーク
 
ユーザーの地域を考慮した検索入力補助機能の改善の試み #yjtc
ユーザーの地域を考慮した検索入力補助機能の改善の試み #yjtcユーザーの地域を考慮した検索入力補助機能の改善の試み #yjtc
ユーザーの地域を考慮した検索入力補助機能の改善の試み #yjtcYahoo!デベロッパーネットワーク
 

More from Yahoo!デベロッパーネットワーク (20)

ゼロから始める転移学習
ゼロから始める転移学習ゼロから始める転移学習
ゼロから始める転移学習
 
継続的なモデルモニタリングを実現するKubernetes Operator
継続的なモデルモニタリングを実現するKubernetes Operator継続的なモデルモニタリングを実現するKubernetes Operator
継続的なモデルモニタリングを実現するKubernetes Operator
 
ヤフーでは開発迅速性と品質のバランスをどう取ってるか
ヤフーでは開発迅速性と品質のバランスをどう取ってるかヤフーでは開発迅速性と品質のバランスをどう取ってるか
ヤフーでは開発迅速性と品質のバランスをどう取ってるか
 
オンプレML基盤on Kubernetes パネルディスカッション
オンプレML基盤on Kubernetes パネルディスカッションオンプレML基盤on Kubernetes パネルディスカッション
オンプレML基盤on Kubernetes パネルディスカッション
 
LakeTahoe
LakeTahoeLakeTahoe
LakeTahoe
 
オンプレML基盤on Kubernetes 〜Yahoo! JAPAN AIPF〜
オンプレML基盤on Kubernetes 〜Yahoo! JAPAN AIPF〜オンプレML基盤on Kubernetes 〜Yahoo! JAPAN AIPF〜
オンプレML基盤on Kubernetes 〜Yahoo! JAPAN AIPF〜
 
Persistent-memory-native Database High-availability Feature
Persistent-memory-native Database High-availability FeaturePersistent-memory-native Database High-availability Feature
Persistent-memory-native Database High-availability Feature
 
データの価値を最大化させるためのデザイン~データビジュアライゼーションの方法~ #devsumi 17-E-2
データの価値を最大化させるためのデザイン~データビジュアライゼーションの方法~ #devsumi 17-E-2データの価値を最大化させるためのデザイン~データビジュアライゼーションの方法~ #devsumi 17-E-2
データの価値を最大化させるためのデザイン~データビジュアライゼーションの方法~ #devsumi 17-E-2
 
eコマースと実店舗の相互利益を目指したデザイン #yjtc
eコマースと実店舗の相互利益を目指したデザイン #yjtceコマースと実店舗の相互利益を目指したデザイン #yjtc
eコマースと実店舗の相互利益を目指したデザイン #yjtc
 
ヤフーを支えるセキュリティ ~サイバー攻撃を防ぐエンジニアの仕事とは~ #yjtc
ヤフーを支えるセキュリティ ~サイバー攻撃を防ぐエンジニアの仕事とは~ #yjtcヤフーを支えるセキュリティ ~サイバー攻撃を防ぐエンジニアの仕事とは~ #yjtc
ヤフーを支えるセキュリティ ~サイバー攻撃を防ぐエンジニアの仕事とは~ #yjtc
 
Yahoo! JAPANのIaaSを支えるKubernetesクラスタ、アップデート自動化への挑戦 #yjtc
Yahoo! JAPANのIaaSを支えるKubernetesクラスタ、アップデート自動化への挑戦 #yjtcYahoo! JAPANのIaaSを支えるKubernetesクラスタ、アップデート自動化への挑戦 #yjtc
Yahoo! JAPANのIaaSを支えるKubernetesクラスタ、アップデート自動化への挑戦 #yjtc
 
ビッグデータから人々のムードを捉える #yjtc
ビッグデータから人々のムードを捉える #yjtcビッグデータから人々のムードを捉える #yjtc
ビッグデータから人々のムードを捉える #yjtc
 
サイエンス領域におけるMLOpsの取り組み #yjtc
サイエンス領域におけるMLOpsの取り組み #yjtcサイエンス領域におけるMLOpsの取り組み #yjtc
サイエンス領域におけるMLOpsの取り組み #yjtc
 
ヤフーのAIプラットフォーム紹介 ~AIテックカンパニーを支えるデータ基盤~ #yjtc
ヤフーのAIプラットフォーム紹介 ~AIテックカンパニーを支えるデータ基盤~ #yjtcヤフーのAIプラットフォーム紹介 ~AIテックカンパニーを支えるデータ基盤~ #yjtc
ヤフーのAIプラットフォーム紹介 ~AIテックカンパニーを支えるデータ基盤~ #yjtc
 
Yahoo! JAPAN Tech Conference 2022 Day2 Keynote #yjtc
Yahoo! JAPAN Tech Conference 2022 Day2 Keynote #yjtcYahoo! JAPAN Tech Conference 2022 Day2 Keynote #yjtc
Yahoo! JAPAN Tech Conference 2022 Day2 Keynote #yjtc
 
新技術を使った次世代の商品の見せ方 ~ヤフオク!のマルチビュー機能~ #yjtc
新技術を使った次世代の商品の見せ方 ~ヤフオク!のマルチビュー機能~ #yjtc新技術を使った次世代の商品の見せ方 ~ヤフオク!のマルチビュー機能~ #yjtc
新技術を使った次世代の商品の見せ方 ~ヤフオク!のマルチビュー機能~ #yjtc
 
PC版Yahoo!メールリニューアル ~サービスのUI/UX統合と改善プロセス~ #yjtc
PC版Yahoo!メールリニューアル ~サービスのUI/UX統合と改善プロセス~ #yjtcPC版Yahoo!メールリニューアル ~サービスのUI/UX統合と改善プロセス~ #yjtc
PC版Yahoo!メールリニューアル ~サービスのUI/UX統合と改善プロセス~ #yjtc
 
モブデザインによる多職種チームのコミュニケーション改善 #yjtc
モブデザインによる多職種チームのコミュニケーション改善 #yjtcモブデザインによる多職種チームのコミュニケーション改善 #yjtc
モブデザインによる多職種チームのコミュニケーション改善 #yjtc
 
「新しいおうち探し」のためのAIアシスト検索 #yjtc
「新しいおうち探し」のためのAIアシスト検索 #yjtc「新しいおうち探し」のためのAIアシスト検索 #yjtc
「新しいおうち探し」のためのAIアシスト検索 #yjtc
 
ユーザーの地域を考慮した検索入力補助機能の改善の試み #yjtc
ユーザーの地域を考慮した検索入力補助機能の改善の試み #yjtcユーザーの地域を考慮した検索入力補助機能の改善の試み #yjtc
ユーザーの地域を考慮した検索入力補助機能の改善の試み #yjtc
 

Recently uploaded

AWS_Bedrock入門 このスライドは2024/03/08の勉強会で発表されたものです。
AWS_Bedrock入門 このスライドは2024/03/08の勉強会で発表されたものです。AWS_Bedrock入門 このスライドは2024/03/08の勉強会で発表されたものです。
AWS_Bedrock入門 このスライドは2024/03/08の勉強会で発表されたものです。iPride Co., Ltd.
 
SIG-AUDIO 2024 Vol.02 オンラインセミナー 「必殺使音人(ひっさつしおとにん)カットシーンを成敗せよ」
SIG-AUDIO 2024 Vol.02 オンラインセミナー 「必殺使音人(ひっさつしおとにん)カットシーンを成敗せよ」SIG-AUDIO 2024 Vol.02 オンラインセミナー 「必殺使音人(ひっさつしおとにん)カットシーンを成敗せよ」
SIG-AUDIO 2024 Vol.02 オンラインセミナー 「必殺使音人(ひっさつしおとにん)カットシーンを成敗せよ」IGDA Japan SIG-Audio
 
JAWS DAYS 2024 E-3 ランチにまつわるちょっといい話 〜給食がない町の小中学生に温かい昼食を〜
JAWS DAYS 2024 E-3 ランチにまつわるちょっといい話 〜給食がない町の小中学生に温かい昼食を〜JAWS DAYS 2024 E-3 ランチにまつわるちょっといい話 〜給食がない町の小中学生に温かい昼食を〜
JAWS DAYS 2024 E-3 ランチにまつわるちょっといい話 〜給食がない町の小中学生に温かい昼食を〜Naomi Yamasaki
 
IGDA Japan SIG Audio #22 オンラインセミナー VRの知る.pdf
IGDA Japan SIG Audio #22 オンラインセミナー VRの知る.pdfIGDA Japan SIG Audio #22 オンラインセミナー VRの知る.pdf
IGDA Japan SIG Audio #22 オンラインセミナー VRの知る.pdfIGDA Japan SIG-Audio
 
The 86th National Convention of IPSJ (Student Encouragement Award))
The 86th National Convention of IPSJ (Student Encouragement Award))The 86th National Convention of IPSJ (Student Encouragement Award))
The 86th National Convention of IPSJ (Student Encouragement Award))yoshidakids7
 
チームで開発するための環境を整える
チームで開発するための環境を整えるチームで開発するための環境を整える
チームで開発するための環境を整えるonozaty
 
キンドリル_ネットワーク自動化成熟度診断サービス ご紹介資料 2024年3月版
キンドリル_ネットワーク自動化成熟度診断サービス ご紹介資料 2024年3月版キンドリル_ネットワーク自動化成熟度診断サービス ご紹介資料 2024年3月版
キンドリル_ネットワーク自動化成熟度診断サービス ご紹介資料 2024年3月版Takayuki Nakayama
 
キャラで動かすGPT ~GPTsでどんな感じに作っているとか考えていることとか~
キャラで動かすGPT ~GPTsでどんな感じに作っているとか考えていることとか~キャラで動かすGPT ~GPTsでどんな感じに作っているとか考えていることとか~
キャラで動かすGPT ~GPTsでどんな感じに作っているとか考えていることとか~honeshabri
 
00001_test_automation_portfolio_20240313
00001_test_automation_portfolio_2024031300001_test_automation_portfolio_20240313
00001_test_automation_portfolio_20240313ssuserf8ea02
 
これからはじめるAnsible - Ansible Night Tokyo 2024
これからはじめるAnsible - Ansible Night Tokyo 2024これからはじめるAnsible - Ansible Night Tokyo 2024
これからはじめるAnsible - Ansible Night Tokyo 2024Hideki Saito
 
バイオリンの運弓動作計測による初心者と経験者の差異分析
バイオリンの運弓動作計測による初心者と経験者の差異分析バイオリンの運弓動作計測による初心者と経験者の差異分析
バイオリンの運弓動作計測による初心者と経験者の差異分析sugiuralab
 
AWS Lambdaと AWS API Gatewayを使ったREST API作り
AWS Lambdaと AWS API Gatewayを使ったREST API作りAWS Lambdaと AWS API Gatewayを使ったREST API作り
AWS Lambdaと AWS API Gatewayを使ったREST API作りiPride Co., Ltd.
 

Recently uploaded (12)

AWS_Bedrock入門 このスライドは2024/03/08の勉強会で発表されたものです。
AWS_Bedrock入門 このスライドは2024/03/08の勉強会で発表されたものです。AWS_Bedrock入門 このスライドは2024/03/08の勉強会で発表されたものです。
AWS_Bedrock入門 このスライドは2024/03/08の勉強会で発表されたものです。
 
SIG-AUDIO 2024 Vol.02 オンラインセミナー 「必殺使音人(ひっさつしおとにん)カットシーンを成敗せよ」
SIG-AUDIO 2024 Vol.02 オンラインセミナー 「必殺使音人(ひっさつしおとにん)カットシーンを成敗せよ」SIG-AUDIO 2024 Vol.02 オンラインセミナー 「必殺使音人(ひっさつしおとにん)カットシーンを成敗せよ」
SIG-AUDIO 2024 Vol.02 オンラインセミナー 「必殺使音人(ひっさつしおとにん)カットシーンを成敗せよ」
 
JAWS DAYS 2024 E-3 ランチにまつわるちょっといい話 〜給食がない町の小中学生に温かい昼食を〜
JAWS DAYS 2024 E-3 ランチにまつわるちょっといい話 〜給食がない町の小中学生に温かい昼食を〜JAWS DAYS 2024 E-3 ランチにまつわるちょっといい話 〜給食がない町の小中学生に温かい昼食を〜
JAWS DAYS 2024 E-3 ランチにまつわるちょっといい話 〜給食がない町の小中学生に温かい昼食を〜
 
IGDA Japan SIG Audio #22 オンラインセミナー VRの知る.pdf
IGDA Japan SIG Audio #22 オンラインセミナー VRの知る.pdfIGDA Japan SIG Audio #22 オンラインセミナー VRの知る.pdf
IGDA Japan SIG Audio #22 オンラインセミナー VRの知る.pdf
 
The 86th National Convention of IPSJ (Student Encouragement Award))
The 86th National Convention of IPSJ (Student Encouragement Award))The 86th National Convention of IPSJ (Student Encouragement Award))
The 86th National Convention of IPSJ (Student Encouragement Award))
 
チームで開発するための環境を整える
チームで開発するための環境を整えるチームで開発するための環境を整える
チームで開発するための環境を整える
 
キンドリル_ネットワーク自動化成熟度診断サービス ご紹介資料 2024年3月版
キンドリル_ネットワーク自動化成熟度診断サービス ご紹介資料 2024年3月版キンドリル_ネットワーク自動化成熟度診断サービス ご紹介資料 2024年3月版
キンドリル_ネットワーク自動化成熟度診断サービス ご紹介資料 2024年3月版
 
キャラで動かすGPT ~GPTsでどんな感じに作っているとか考えていることとか~
キャラで動かすGPT ~GPTsでどんな感じに作っているとか考えていることとか~キャラで動かすGPT ~GPTsでどんな感じに作っているとか考えていることとか~
キャラで動かすGPT ~GPTsでどんな感じに作っているとか考えていることとか~
 
00001_test_automation_portfolio_20240313
00001_test_automation_portfolio_2024031300001_test_automation_portfolio_20240313
00001_test_automation_portfolio_20240313
 
これからはじめるAnsible - Ansible Night Tokyo 2024
これからはじめるAnsible - Ansible Night Tokyo 2024これからはじめるAnsible - Ansible Night Tokyo 2024
これからはじめるAnsible - Ansible Night Tokyo 2024
 
バイオリンの運弓動作計測による初心者と経験者の差異分析
バイオリンの運弓動作計測による初心者と経験者の差異分析バイオリンの運弓動作計測による初心者と経験者の差異分析
バイオリンの運弓動作計測による初心者と経験者の差異分析
 
AWS Lambdaと AWS API Gatewayを使ったREST API作り
AWS Lambdaと AWS API Gatewayを使ったREST API作りAWS Lambdaと AWS API Gatewayを使ったREST API作り
AWS Lambdaと AWS API Gatewayを使ったREST API作り
 

データテクノロジースペシャル:Yahoo! JAPANにおけるメタデータ管理の試み

  • 1. Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. 吉野 彰真 データテクノロジースペシャル: Yahoo! JAPANにおける メタデータ管理の試み 2017年2月16日
  • 2. Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. アジェンダ 1 1. 自己紹介 2. ヤフーの事業 3. ヤフーのビッグデータ 4. データマネジメント概論 5. メタデータ管理の取り組み 6. まとめ
  • 3. Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. 自己紹介 2 データ&サイエンスソリューション統括本部 データガバナンスチーム 吉野 彰真 (YOSHINO Akimasa) 2011年 ヤフーに入社 大規模RDB環境(Oracle/MySQL)の 構築・運用を経て、データマネジメ ント領域を担当
  • 4. Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. データ&サイエンスソリューション統括本部 3 データセンター データ&サイエンス Yahoo! JAPAN サービス データプラットフォーム サイエンス データサービス データ&サイエンスソリューション統括本部 研究所
  • 5. Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. 1. ヤフーの事業
  • 6. Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. 事業状況 5 20years 17 18 19
  • 7. Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. 0 100 200 300 400 500 600 bilion U.S. dollars 企業価値 6 http://www.statista.com/statistics/277483/market-value-of-the-largest-internet-companies-worldwide/ as of May 2016 世界18位
  • 8. Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. ユーザー規模 7 9,000万1日約 ユニーク ブラウザ ※出典:ヤフー株式会社 2016年度第3四半期事業指標推移表(2016年4月-12月の平均)
  • 9. Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. 提供サービス 8 Media US Search Video Answer Mail JP US JP Membership C2C Payment C2C EC B2C EC Local YAHOO! Google NETFLIX Quora GMail Aol. PayPal ebay amazon yelp
  • 10. 社外秘 Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. 9
  • 11. Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. ネット企業から データドリブン企業へ
  • 12. Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. データ = AIによる産業革命 11 ーーーーー 生産能力の向上 認知能力の向上 機械 AI 蒸気機関 ビッグデータ ●産業革命 ●新産業革命 ビッグデータがないとAIは作れない
  • 13. 社外秘 Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. 12
  • 14. Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. マルチなデータセット 13 EC FinTech メディア など など など
  • 15. Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. データ = 直接的資産 14 検索 EC 金融 メッセージングサービス 地図、カーナビ 興味のある言葉 買ったもの ユーザーの資産 自然言語 位置情報
  • 16. Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. データ = エコシステムの源泉 15 サービスや 機能を提供 データがたまる データから 気づきを得る AI ユーザー データ
  • 17. Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. データ = エコシステムの源泉 16 データから 気づきを得る サービスや 機能を提供 データがたまる AI ユーザ データ 無限の再帰性
  • 18. Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. 例: タイムライン 17 タイム ライン おすすめ AI 検索クエリ クリック履歴 おすすめ 記事 検索
  • 19. Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. 例:広告 18 クリック したくなる 広告 (最適な情報) 検索 広告 Yahoo! JAPAN サービス パートナー サイト クリック履歴 検索クエリ 訪問履歴 PV履歴 AI
  • 20. Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. これからのヤフー 19 データから得た気づきを 最大限に活用した ヤフーにしかできない 提案・サービス
  • 21. 社外秘 Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. 20
  • 22. Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. 取り組んでいくこと 21 データを効率よく運用する 計算力の強化 人財の強化 サービスの磨き込み ものづくりの変革 1 2 3 4 5 1 2 3 4 5 AI ユーザー データ
  • 23. Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. 2. ヤフーのビッグデータ
  • 24. Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. 膨大なデータボリューム 23 月間 674億PV PC + その他 281億 PV Smart Phone 393億 PV FY16-3Q事業指標 http://ir.yahoo.co.jp/jp/archives/present/2016q3/index.html
  • 25. Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. 巨大なデータプラットフォーム 24 NoSQL Object Storage DWHHadoop RDB
  • 26. Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. 巨大なデータプラットフォーム 25 NoSQL Object Storage DWHHadoop RDB 7,000 nodes 150PB 800 DBs 600,000 Query/day 1,500 nodes 2,000 nodes *弊社独自の調査 2017年1月時点
  • 27. Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. 技術 26
  • 28. Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. Global 27
  • 29. Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. どれだけ価値を引き出せるか? 28 ?
  • 30. Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. どれだけ価値を引き出せるか? 29 ? データマネジメント ↓ データの資産化 資産価値の最大化
  • 31. Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. 3. データマネジメント概論
  • 32. Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. フレームワーク http://cmmiinstitute.com/data-management-maturity Data Management Maturity (DMM)℠ Model https://www.dama.org/content/body-knowledge Data Management Body of Knowledge (DMBOK) • PMBOK → DMBOK • 知識体系 • CMMI → DMM • 成熟度モデル 31
  • 33. Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. 難しいポイント データの構造 事業の構造 企業文化 32
  • 34. Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. ヤフーの考えるマネジメント領域 データスチュ ワードシップ メタデータ管理 データアーキ テクチャ データウェアハウス & ビジネスインテリジェン ス データストレー ジ&オペレー ション データインテグ レーション&イ ンターオペラビ リティ データセキュリティ ドキュメント& コンテンツ リファレンス& マスターデータ データモデリ ング&デザイ ン データクォリ ティ 33
  • 35. Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. ヤフーの考えるマネジメント領域 データスチュ ワードシップ メタデータ管理 データアーキ テクチャ データウェアハウ ス&ビジネスインテ リジェンス データストレー ジ&オペレー ション データインテグ レーション&イ ンターオペラビ リティ データセキュリティ ドキュメント& コンテンツ リファレンス& マスターデータ データモデリ ング&デザイ ン データクォリ ティ フレームワークを参考に領域を定義 領域ごとにやること整理 イニシアチブ化 34
  • 36. Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. 目下注力しているイニシアチブ 35 a.データスチュワードシップ b.データ標準化 c.データライフサイクル&エコシステム d.メタデータ管理
  • 37. Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. a. データスチュワードシップ カンパニーA カンパニーB カンパニーC 全社横断 ネットワーク 場の ・ 36
  • 38. Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. サービスCカンパニーBカンパニーA サービスD b. データ標準化 37 標準 計測と
  • 39. Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. c. データライフサイクル/エコシステム 38 ・利用量の可視化 ・利用状況の可視化 利用 ・保管方針 ・コスト可視化 蓄積
  • 40. Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. 39 c. データライフサイクル/エコシステム ログ種別毎 Hadoopアクセス回数(2016/2/1実績)
  • 41. Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. 40 d. メタデータ管理
  • 42. Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. 4. メタデータ管理の 取り組み
  • 43. Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. メタデータ管理とは? 42 • メタデータ = “データについてのデータ” DATA METADATA {タイトル} {シリーズ} {あらすじ} {著者} {翻訳者} {出版社} {版} {発行年月日} {価格} :
  • 44. Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. メタデータ管理とは? 43 メタデータ管理 = データ資産化の第一歩
  • 45. Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. メタデータの種類 44 テクニカルメタデータ テーブル/カラムの定義、ファイルパス、サーバ ビジネスメタデータ 日本語の説明、コード体系(男性=0,女性=1) 運用メタデータ SLA、 連絡先、オーナー データフロー データ品質 データの価値 リネージ、加工元 → 加工先の関連 定量化・スコア化された指標、正確性・完全性・精度… 意思決定・ビジネス利用の実績・ポテンシャル
  • 46. Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. メタデータの種類 45 テクニカルメタデータ テーブル/カラムの定義、ファイルパス、サーバ ビジネスメタデータ 日本語の説明、コード体系(男性=0,女性=1) 運用メタデータ SLA、 連絡先、オーナー データフロー データ品質 データの価値 リネージ、加工元 → 加工先の関連 定量化・スコア化された指標、正確性・完全性・精度… 意思決定・ビジネス利用の実績・ポテンシャル
  • 47. Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. メタデータの種類 46 テクニカルメタデータ テーブル/カラムの定義、ファイルパス、サーバ ビジネスメタデータ 日本語の説明、コード体系(男性=0,女性=1) 運用メタデータ SLA、 連絡先、オーナー データフロー データ品質 データの価値 リネージ、加工元 → 加工先の関連 定量化・スコア化された指標、正確性・完全性・精度… 意思決定・ビジネス利用の実績・ポテンシャル
  • 48. Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. メタデータの種類 47 テクニカルメタデータ テーブル/カラムの定義、ファイルパス、サーバ ビジネスメタデータ 日本語の説明、コード体系(男性=0,女性=1) 運用メタデータ SLA、 連絡先、オーナー データフロー データ品質 データの価値 リネージ、加工元 → 加工先の関連 定量化・スコア化された指標、正確性・完全性・精度… 意思決定・ビジネス利用の実績・ポテンシャル
  • 49. Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. メタデータの種類 48 テクニカルメタデータ テーブル/カラムの定義、ファイルパス、サーバ ビジネスメタデータ 日本語の説明、コード体系(男性=0,女性=1) 運用メタデータ SLA、 連絡先、オーナー データフロー データ品質 データの価値 リネージ、加工元 → 加工先の関連 定量化・スコア化された指標、正確性・完全性・精度… 意思決定・ビジネス利用の実績・ポテンシャル
  • 50. Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. ポイント 49 課題ベースで選択 & 自動と人手
  • 51. Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. 課題感 (1/2) 50 データ資産の全体観が把握できていない 存在レベルでもいいのでひととおり把握したい ? ? ? ? × 横断利用 × 資産の把握
  • 52. Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. 課題感 (2/2) 51 “人手” に 膨大な工数が必要
  • 53. Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. データ資産把握のイメージ 52 カバレッジ (100%) 充実度
  • 54. Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. データ資産把握のイメージ 53 カバレッジ (100%) 充実度 技術
  • 55. Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. データ資産把握のイメージ 54 カバレッジ (100%) 充実度 技術 ルール/マネジメント
  • 56. Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. メタデータ管理の仕組み(構想) 55 new Hadoop (HDFS) (Hive) new new Object Storage (S3ライクなFS) new Teradata new RDB Oracle/MySQL new KVS 準構造化 構造化 非構造化 構造化 メタデータ管理データプラットフォーム 網羅率100%で自動収集 ルールに基づき人手で追記
  • 57. Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. 今後の予定 56 ・仕組み構築 ・ルールの策定と展開 ソリューション 明快なルール 開発 スチュワードシップ すべての事業の基礎としてやり遂げる
  • 58. Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. 5. まとめ
  • 59. Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. まとめ 58 データ=資産 メタデータ管理は資産管理の第一歩 模範をめざす
  • 60. Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. 仲間募集中! 59 日本の課題解決エンジンを支える Yahoo! JAPAN の データ部門 スマホ or PC から 「ヤフー 採用」 で検索! ※写真はイメージです 名刺交換 or