Downloaded 109 times
Uploaded byYahoo!デベロッパーネットワーク
データ利活用を促進するメタデータ
ヤフーのメタデータ可視化の取り組みについて紹介します。メタデータを３つのlayerに分類してそれぞれの課題と対応について説明します
More Related Content
データ利活用を促進するメタデータ
- 1. ヤフー株式会社 データ&サイエンスソリューション統括本部 エリア関西 尾崎弘宗 データ利活用を促進するメ タデータ 2017年2月10日
- 2. 自己紹介 2 尾崎 弘宗 ヤフー株式会社 データ&サイエンスソリューション統括本部 D&Sエリア関西 経歴 〜2005年某SIer会社（官公庁、金融系のデータベース設計、開発） 2005年〜 ヤフー株式会社入社（データベースプラットフォーム設計〜運用） 2014年〜 データ&サイエンスソリューション統括本部 （DMP、データマネージメント） 2016年〜 大阪オフィス勤務
- 3.
- 4.
- 5.
- 6.
- 7.
- 8.
- 9.
- 10.
- 11.
- 12.
- 13.
- 14.
- 15.
- 16.
- 17. データカタログ利用イメージ 17 ユーザーデータ データ提供者：数十人 (エンジニア) サービス Hadoop メディア系 コマース系 デ ー タ カ タ ロ グ RDB 共通API可視化 ①メタデータ参照 ・データの種類・意味の検索 ・利活用のナレッジ共有 ・データ利用までナビゲーション データ利活用アイデア DWH 生データ 共通データ ファイナンス系 ②メタデータ登録 ・データ構造・意味管理 ・データ利用者、連絡先管理 データ利活用者:数千人 (企画・エンジニアetc.) KVS
- 18.
- 19.
- 20.
- 21.
- 22.
- 23.
- 24. メタデータ分類 24 Layer1 テクニカルメタデータ データアクセスするために必要な情報 ・データ所在地 ・データ構造 Layer2 ビジネスメタデータ データの意味を理解するために必要な情報 ・データ内容説明 Layer3マルチユースメタデータ データ取得目的とは別の用途、他部門で利用するために必要な情報 ※データの「価値」を可視化する必要がある ・活用knowledge ・品質情報 ・データ量 ・SLA ・活用条件 ・活用範囲 ・データの組み合わせによるセキュリティルール
- 25. メタデータの課題 25 Layer1 テクニカルメタデータ データアクセスするために必要な情報 ・データ所在地 ・データ構造 Layer2 ビジネスメタデータ データの意味を理解するために必要な情報 ・データ内容説明 Layer3マルチユースメタデータ データ取得目的とは別の用途、他部門で利用するために必要な情報 ※データの「価値」を可視化する必要がある ・活用knowledge ・品質情報 ・データ量 ・SLA ・活用条件 ・活用範囲 ・データの組み合わせによるセキュリティルール 課題 ・システム毎に点在している情報を どうやって収集すべきか(How) ・収集した情報をどうやって最新に保つのか(How) 課題 ・社内に点在しているドキュメントを どうやって収集すべきか(How) ・収集した情報をどうやって最新に保つのか(How) 課題 ・どんな情報を収集すべきか(What) ・どうやって情報を収集すべきか(How) ※出来るだけ機械的に収集したい。 ・どうやって見せるか(How)
- 26.
- 27. テクニカルメタデータ収集方法 27 種類 説明 項目保存先（現状） 収集方法 Layer3: マルチユースメタデータ データ取得目的とは別の 用途、他部門で利用する ために必要な情報 ・活用knowledge ・品質情報 ・データ量 ・SLA ・活用条件 ・活用範囲 基本存在しない。 （一部は社内Wiki） ・データ登録 UI ・登録API開発（自動） ※データ量など Layer2: ビジネスメタデータ データの意味を理解する ために必要な情報 ・データ内容説明 ・社内Wiki/Excel ・データモデリング ツール（様々） ・データ登録 UI ・Excel読み込み Layer1: テクニカルメタデータ データアクセスするため に必要な情報 ・データ所在地 ・データ構造 ・社内Wiki/Excel ・GitHub ・データモデリング ツール（様々） ・データベース/ データストア ・データ登録 UI ・Excel読み込み ・GitHub連携 （DDL読み込み） ・ETL/マネージメント ソフトウェア（自動）
- 28. ビジネスメタデータ収集方法 28 種類 説明 項目保存先（現状） 収集方法 Layer3: マルチユースメタデータ データ取得目的とは別の 用途、他部門で利用する ために必要な情報 ・活用knowledge ・品質情報 ・データ量 ・SLA ・活用条件 ・活用範囲 基本存在しない。 （一部は社内Wiki） ・データ登録 UI ・登録API開発（自動） ※データ量など Layer2: ビジネスメタデータ データの意味を理解する ために必要な情報 ・データ内容説明 ・社内Wiki/Excel ・データモデリング ツール（様々） ・データ登録 UI ・Excel読み込み Layer1: テクニカルメタデータ データアクセスするため に必要な情報 ・データ所在地 ・データ構造 ・社内Wiki/Excel ・GitHub ・データモデリング ツール（様々） ・データベース/ データストア ・データ登録 UI ・Excel読み込み ・GitHub連携 （DDL読み込み） ・ETL/マネージメント ソフトウェア（自動）
- 29. マルチユースメタデータ収集方法 29 種類 説明 項目保存先（現状） 収集方法 Layer3: マルチユースメタデータ データ取得目的とは別の 用途、他部門で利用する ために必要な情報 ・活用knowledge ・品質情報 ・データ量 ・SLA ・活用条件 ・活用範囲 基本存在しない。 （一部は社内Wiki） ・データ登録 UI ・登録API開発（自動） ※データ量など Layer2: ビジネスメタデータ データの意味を理解する ために必要な情報 ・データ内容説明 ・社内Wiki/Excel ・データモデリング ツール（様々） ・データ登録 UI ・Excel読み込み Layer1: テクニカルメタデータ データアクセスするため に必要な情報 ・データ所在地 ・データ構造 ・社内Wiki/Excel ・GitHub ・データモデリング ツール（様々） ・データベース/ データストア ・データ登録 UI ・Excel読み込み ・GitHub連携 （DDL読み込み） ・ETL/マネージメント ソフトウェア（自動）
- 30. メタデータ登録コスト 30 種類 説明 項目保存先（現状） 収集方法 Layer3: マルチユースメタデータ データ取得目的とは別の 用途、他部門で利用する ために必要な情報 ・活用knowledge ・品質情報 ・データ量 ・SLA ・活用条件 ・活用範囲 基本存在しない。 （一部は社内Wiki） ・データ登録 UI ・登録API開発（自動） ※データ量など Layer2: ビジネスメタデータ データの意味を理解する ために必要な情報 ・データ内容説明 ・社内Wiki/Excel ・データモデリング ツール（様々） ・データ登録 UI ・Excel読み込み Layer1: テクニカルメタデータ データアクセスするため に必要な情報 ・データ所在地 ・データ構造 ・社内Wiki/Excel ・GitHub ・データモデリング ツール（様々） ・データベース/ データストア ・データ登録 UI ・Excel読み込み ・GitHub連携 （DDL読み込み） ・ETL/マネージメント ソフトウェア（自動）小 大 コスト
- 31. データ利活用までのコスト 31 種類 説明 項目保存先（現状） 収集方法 Layer3: マルチユースメタデータ データ取得目的とは別の 用途、他部門で利用する ために必要な情報 ・活用knowledge ・品質情報 ・データ量 ・SLA ・活用条件 ・活用範囲 基本存在しない。 （一部は社内Wiki） ・データ登録 UI ・登録API開発 ※データ量など Layer2: ビジネスメタデータ データの意味を理解する ために必要な情報 ・データ内容説明 ・社内Wiki/Excel ・データモデリング ツール（様々） ・データ登録 UI ・Excel読み込み Layer1: テクニカルメタデータ データアクセスするため に必要な情報 ・データ所在地 ・データ構造 ・社内Wiki/Excel ・GitHub ・データモデリング ツール（様々） ・データベース/ データストア ・データ登録 UI ・Excel読み込み ・GitHub連携 （DDL読み込み） ・ETL/マネージメント ソフトウェア 小 大 コスト
- 32.
- 33. メタデータ収集粒度 33 種類 項目 保存先（現 状） 収集方法 Layer3: マルチユース メタデータ ・活用knowledge ・品質情報 ・データ量 ・SLA ・活用条件 ・活用範囲 基本存在しない。 （一部は社内 Wiki） ・データ登録UI ・登録API開発 ※データ量など Layer2: ビジネス メタデータ ・データ内容説明 ・社内Wiki/Excel ・データモデリン グツール（様々） ・データ登録 UI ・Excel読み込み Layer1: テクニカル メタデータ ・データ所在地 ・データ構造 ・社内Wiki/Excel ・GitHub ・データモデリン グツール（様々） ・データベース/ データストア ・データ登録 UI ・Excel読み込み ・GitHub連携 （DDL読み込み） ・ETL/マネージメントソフトウェア (Informatica,Alation) 対象データ マ ル チ ユ ー ス 可 能 な デ ー タ 分 析 用 共 通 デ ー タ サ ー ビ ス 固 有 デ ー タ 登 録 コ ス ト 活 用 ま で の コ ス ト プライオリティー 高 低 大 小 小 大
- 34. メタデータ収集全体図 34 メタデータ リポジトリDB Hadoop DWH RDB KVS データ説明、構造情報 UI/ UI IF データカタログ 参照UI Hadoop DWHRDB KVS データの状態情報 Hadoop <ファイルサイズ/レコード数etc> API DWH RDB KVS UI <品質情報> Hadoop DWH RDB KVS 機械学習 <データ構造> <データ名、データ内容説明、値説明etc> データ利活用情報 メタデータ検索、参照 <キーワード検索、タグ検索、各種情報参照etc> UI/ UI/ <利用サービス、Knowledge、タグetc> <インテリジェエンス機能> （クラスタリング、自動タグ付け） =検討中 ETLツールなど ETLツールなど ETLツールなど 社内 Wiki 社内 Wiki
- 35.
- 36.
- 37.
- 38.
- 39.
- 40.