Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

リクルートのビッグデータ活用基盤とビッグデータ活用のためのメタデータ管理Webのご紹介

4,954 views

Published on

2015/09/01 データ活用事例セミナーでの、池田の講演資料になります

Published in: Technology
  • DOWNLOAD THIS BOOKS INTO AVAILABLE FORMAT (Unlimited) ......................................................................................................................... ......................................................................................................................... Download Full PDF EBOOK here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... Download Full EPUB Ebook here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... ACCESS WEBSITE for All Ebooks }} ......................................................................................................................... Download Full PDF EBOOK here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... Download EPUB Ebook here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... Download doc Ebook here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... ......................................................................................................................... ......................................................................................................................... .............. Browse by Genre Available eBooks ......................................................................................................................... Art, Biography, Business, Chick Lit, Children's, Christian, Classics, Comics, Contemporary, Cookbooks, Crime, Ebooks, Fantasy, Fiction, Graphic Novels, Historical Fiction, History, Horror, Humor And Comedy, Manga, Memoir, Music, Mystery, Non Fiction, Paranormal, Philosophy, Poetry, Psychology, Religion, Romance, Science, Science Fiction, Self Help, Suspense, Spirituality, Sports, Thriller, Travel, Young Adult,
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here

リクルートのビッグデータ活用基盤とビッグデータ活用のためのメタデータ管理Webのご紹介

  1. 1. リクルートのビッグデータ活用基盤と ビッグデータ活用のための メタデータ管理Webのご紹介 リクルートテクノロジーズ 池田
  2. 2. 本日の内容 • リクルートにおけるビッグデータの取り組みの紹介 とビッグデータの活用を支える基盤をご紹介します • アプリのPUSH配信を支える基盤(Pusna-RS)を 例に、リクルートにおけるビッグデータ活用基盤・ 周辺技術進化の取り組みをお伝えします • ビッグデータ活用を促進する「メタデータ管理 Webシステム」ご紹介を通じ、メタデータを管理 する意味・運用のコツをお伝えします 2(C) Recruit Technologies Co.,Ltd. All rights reserved.
  3. 3. 本日のアジェンダ 1. 自己紹介 2. リクルートの紹介 3. リクルートのビッグデータへの取り組み 4. メタデータ管理Web 5. まとめ 3(C) Recruit Technologies Co.,Ltd. All rights reserved.
  4. 4. 本日のアジェンダ 1. 自己紹介 2. リクルートの紹介 3. リクルートのビッグデータへの取り組み 4. メタデータ管理Web 5. まとめ 4(C) Recruit Technologies Co.,Ltd. All rights reserved.
  5. 5. 自己紹介 5(C) Recruit Technologies Co.,Ltd. All rights reserved. 池田 英哲(いけだ ひであき) 株式会社 リクルートテクノロジーズ ビッグデータ部 IDポイント ビッグデータインフラグループ 2003年~2006年 某SIer Flashを用いたWebアプリケーション開発等を担当 2006年~2013年 某コンサル会社 インフォメーションマネジメント(BI・DWH)関連部署に配属 Analytics部隊の設立に携わる 2014年1月~ リクルートテクノロジーズ 入社後一貫して、リクルートIDプロジェクトのDWH構築・運用を担当 職歴
  6. 6. 本日のアジェンダ 1. 自己紹介 2. リクルートの紹介 3. リクルートのビッグデータへの取り組み 4. メタデータ管理Web 5. まとめ 6(C) Recruit Technologies Co.,Ltd. All rights reserved.
  7. 7. 7 企業概要(リクルート全体) 創立 1960年3月31日 「大学新聞広告社」としてスタート グループ 従業員数 31,841名 連結売上高 約 1兆2999億円 ※2015年3月末 連結経常利益 約 1,256億円 ※2015年3月末 関連企業数 162社(国内+海外) 目指す世界観 「あなた」を支える存在でありたい
  8. 8. リクルートテクノロジーズの位置づけ 8 リクルートキャリア リクルートジョブズ リクルートスタッフィング リクルート住まいカンパニー リクルートライフスタイル リクルートマーケティングパートナーズ スタッフサービス・ホールディングス リクルートアドミニストレーション リクルートコミュニケーションズ 事業会社 機能会社 ネットインフラ 大規模プロジェクト推進 UXD/SEO ビッグデータ機能 テクノロジーR&D 事業・社内IT推進 リクルート ホールディングス リクルートとは、 主要7事業会社+3機能会社 で構成されるグループ企業群 私が所属する会社は リクルートテクノロジーズ セキュリティAP基盤・オフショア開発
  9. 9. リクルートのビジネスモデル ~ リボンモデル 9(C) Recruit Technologies Co.,Ltd. All rights reserved. マッチング カスタマー (一般ユーザー) クライアント (サービス提供企業) 世界中の生活者と産業界に 「まだ、ここにない、出会い。」を提供します
  10. 10. リクルートの展開しているサービス ライフイベント領域 進学 就職 結婚 転職 住宅購入 車購入 出産/育児 旅行 IT/トレンド 生活/地域情報 グルメ・美容 ライフスタイル領域 選択・意思決定 を支援する情報サービスの提供 「まだ、ここにない、出会い。」を実現する
  11. 11. リクルートID 一人ひとりにあった最適な情報を提供し、皆様の選択や行動を支える存在 となることを目指す 11(C) Recruit Technologies Co.,Ltd. All rights reserved. リクルートID
  12. 12. リクルートIDの使えるサービス①
  13. 13. リクルートIDの使えるサービス②
  14. 14. リクルートIDの使えるサービス③
  15. 15. リクルートIDの使えるサービス④
  16. 16. 本日のアジェンダ 1. 自己紹介 2. リクルートの紹介 3. リクルートのビッグデータへの取り組み 4. メタデータ管理Web 5. まとめ 16(C) Recruit Technologies Co.,Ltd. All rights reserved.
  17. 17. ビッグデータとは? 17(C) Recruit Technologies Co.,Ltd. All rights reserved. ビッグデータ=大量データ Volume 量 Variety 多様性 Velocity 速度 Volume 行動履歴・ソーシャル・センサ(GPS)等 Variety 構造化データだけでなく、 文書・画像・動画・音声などの非構造データ Velocity リアルタイムに発生するCSの嗜好データ スマホ/アプリデータ 利用者・利用パターンの増加
  18. 18. ビッグデータ活用事例① 経験知をモデル化 18(C) Recruit Technologies Co.,Ltd. All rights reserved. 豊富な経験値を持つCAが創りだした過去データ・ロジックをレコメンド作成に利用 求人検索システム 求職者 CA(キャリアアドバイザー) 応募 求人紹介 検索 レコメンドリスト 求人紹介(メール送付・管理画面表示) レコメンドロジック 求職者 求人 確信度 001 O社 0.5 001 X社 0.3 001 Y社 0.2 求職者 A社 O社 P社 Q社 ・・・ B社 X社 Y社 Z社 ・・・
  19. 19. ビッグデータ活用事例② パーソナライズPUSH 19(C) Recruit Technologies Co.,Ltd. All rights reserved. Pusna(プッシュアプローチ)によるアクション増を実現する 今週のあなたにオススメ 会場一覧ができました 通知を受け取る オススメ一覧閲覧 個社閲覧フェア予約 ブライダルフェア予約
  20. 20. Big DataのTrend ビッグデータ利用者の広がり 技術の進化や「ビッグデータ」の広がりでデータ利用者が拡大している 20(C) Recruit Technologies Co.,Ltd. All rights reserved. IT部門 BIレポート開発者 DB管理者 データに興味のない層 ビジネスインサイト マーケター 事業企画 技術進歩 (Hadoop/セルフBI etc.) データ活用の 一般化 レポート/モニタリング 営業/経営層 数字は見るけど操作は覚えたくない 自分でデータをいじりたい ITスキルはあまりない データサイエンティスト 研究者 エンジニア 自分でデータを解析する
  21. 21. ビッグデータ基盤 ビッグデータ(データの量/種類/頻度の増加)への対応と、利用者の増加 に合わせ、基盤は常に進化 21(C) Recruit Technologies Co.,Ltd. All rights reserved. データソース データ格納 プレゼンテーション 利用者 外部データ Hadoop エコシステム 高度分析やモデル作成 レポート/モニタリング ビジネスインサイト (マーケター) 機械学習やモデル実装 エンドユーザー (エグゼ/営業 /マネージャ) (プロデューサ/事業 企画) データ サイエンティスト (高度分析者) データ サイエンティスト (エンジニア) 行動ログ 事業DB 事業Hadoop 全社DWH 中央Hadoop • モニタリング • レポート • モデル作成 • データ収集 • 整形・加工 • データストレージ • 高速分析処理 Webアクセスログ アプリログ PUSH通知ログ ビーコンログ
  22. 22. 22(C) Recruit Technologies Co.,Ltd. All rights reserved. PUSH
  23. 23. PUSH通知とは スマートデバイスを起動していなくても通知を送ることが出来る仕組み 23(C) Recruit Technologies Co.,Ltd. All rights reserved. Push! Push!
  24. 24. PUSH通知とは メールと同様に重要な集客ツール。 24(C) Recruit Technologies Co.,Ltd. All rights reserved. Push! Push! メリット  リアルタイムな情報配信  ユーザのアクティブ率向上  休眠ユーザの再起 デメリット  過剰なプッシュによるユーザ離れのリスク  実装の工数がかかる
  25. 25. PUSH通知基盤(Pusna RS)の全体構成 PUSH通知のメリットを最大限活かすための基盤(Pusna-RS)を構築。 1,000万配信/12分を実現 25(C) Recruit Technologies Co.,Ltd. All rights reserved. デバイス管理 プッシュ配信 APNs GCM カスタマー リクルート DynamoDB elasticsearch 登録API 登録WorkerSQS 配信worker 操作用Web UI 管理API SQS 配信担当者 データ基盤 事業サーバ ※ atmarkit http://www.atmarkit.co.jp/ait/articles/1412/18/news022.html
  26. 26. デバイス管理 プッシュ配信 APNs GCM カスタマー リクルート DynamoDB elasticsearch 登録API 登録WorkerSQS 配信worker 操作用Web UI 管理API SQS 配信担当者 データ基盤 事業サーバ ビッグデータ基盤との連携 PUSH配信基盤からビッグデータ基盤にリアルタイムに連携。既存のアプリ ケーション改修・影響なく連携を実現。 26(C) Recruit Technologies Co.,Ltd. All rights reserved. ビッグデータ基盤 ビッグデータ基盤用キュー
  27. 27. 本日のアジェンダ 1. 自己紹介 2. リクルートの紹介 3. リクルートのビッグデータへの取り組み 4. メタデータ管理Web 5. まとめ 27(C) Recruit Technologies Co.,Ltd. All rights reserved.
  28. 28. データソース データ格納 プレゼンテーション 利用者 外部データ Hadoop エコシステム 高度分析やモデル作成 レポート/モニタリング ビジネスインサイト (マーケター) 機械学習やモデル実装 エンドユーザー (エグゼ/営業 /マネージャ) (プロデューサ/事業 企画) データ サイエンティスト (高度分析者) データ サイエンティスト (エンジニア) 行動ログ 事業DB 事業Hadoop 全社DWH 中央Hadoop • モニタリング • レポート • モデル作成 • データ収集 • 整形・加工 • データストレージ • 高速分析処理 Webアクセスログ アプリログ PUSH通知ログ ビーコンログ ビッグデータ活用に伴い… (C) Recruit Technologies Co.,Ltd. All rights reserved. データの質・量の増加 利用者の増加
  29. 29. メタデータ管理Web構築の背景 データ意味情報(メタデータ)の問い合わせに忙殺される。 29(C) Recruit Technologies Co.,Ltd. All rights reserved. 最新の会員情報はどこに!? XXの意味を教えてください! 利用者 テーブル定義書(ファイル) DWH Select * from XX limit 100 Select * from YY limit 100 Select * from ZZ limit 100 ・・・ 開発者 システム管理者 分からないです… いつの間にか変更された 引用元)気がつくと机がぐちゃぐちゃになっているあなたへ ISBN 978-4-7942-1146-0 “平均的なビジネスマンは、探し物をするためだけ に、1年間で約150時間を費やしている” 利用者がわかる形で回答 × データの質・量の増加 利用者の増加
  30. 30. メタデータ管理Webの紹介 30(C) Recruit Technologies Co.,Ltd. All rights reserved.
  31. 31. メタデータを管理する意味 データ活用はどの企業でも一般化しているが、メタデータの整備が不十分 であるため意思決定の事故が起きている。 31(C) Recruit Technologies Co.,Ltd. All rights reserved. データ定義が不十分 データの誤った解釈 必要な情報が見つからない 誤ったデータ解析結果 意思決定の事故 メタデータの整備が不十分 データの誤った解釈・ 必要な情報が見つからない 誤ったデータ解析結果 意思決定の事故 メタデータを正確に 一元管理・公開 データの正しい意味を把握できる ・必要な情報がすぐ見つかる 正しいデータ解析結果 効果のある意思決定 例:マーズ・クライメイト・オービターの事故 ⇒単位系の間違いによる火星探査機の爆破
  32. 32. 32(C) Recruit Technologies Co.,Ltd. All rights reserved. ココに来れば必要な情報があるという状態を作り出し、分析担当者のデータ 特定に至る時間やシステム担当者の負担を軽減させる。 メタデータ管理Webで実現した世界  探す手間が省ける  ナレッジが共有される 利用者 テーブル定義書(ファイル) システム管理者 探す メタデータ管理Web DWH システム管理者  問合せが減る!  潜在的なニーズを拾える!  問合せが減る!  自分のDBの最新情報が把握できる! 開発者 自動 自動 自動
  33. 33. メタデータ管理Web実現のポイント メタデータを一元管理するだけでなく、利便性や運用を考慮して機能開発 33(C) Recruit Technologies Co.,Ltd. All rights reserved. 常に最新 検索機能 知見の収集 ・共有 全てのメタデータを 一元管理
  34. 34. メタデータ管理Web 全社DWH 自動で最新化される仕組み データ元DBから日次で物理情報を取得。論理情報やコード値定義情報、 さらには権限情報も日次・自動で収集。 34(C) Recruit Co.,Ltd. All rights reserved. データ元DB/ アクセス解析ツール RDBMS DWH メタデータリポジトリ 設計書 共有フォルダ等 開発者 設計情報更新 日次 日次 日次 権限管理システム 利用者 参照・ コメント登録 <物理情報> <論理情報> <権限情報> 常に最新 検索機能 知見の収集 ・共有 全てのメタデータを 一元管理
  35. 35. 最新情報を常に反映 35(C) Recruit Technologies Co.,Ltd. All rights reserved.
  36. 36. 全文検索 36(C) Recruit Technologies Co.,Ltd. All rights reserved. 常に最新 検索機能 知見の収集 ・共有 全てのメタデータを 一元管理
  37. 37. コメント登録・共有機能 37(C) Recruit Technologies Co.,Ltd. All rights reserved. 常に最新 検索機能 知見の収集 ・共有 全てのメタデータを 一元管理
  38. 38. 迅速な機能改善 要望機能を素早く提供することで、継続的に利用される仕組みを実現。 38(C) Recruit Technologies Co.,Ltd. All rights reserved. 絞り込んだ機能の リリース 動かし/使い、 フィードバックを 得る フィードバックか ら機能を見極め 常に最新 検索機能 知見の収集 ・共有 全てのメタデータを 一元管理
  39. 39. 利用状況 平日は500回/日以上の利用。月間で計10,000回(300UU)を超えている 39(C) Recruit Technologies Co.,Ltd. All rights reserved. 0 100 200 300 400 500 600 700 800 900 01 02 03 04 05 06 07 08 09 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 2015年6月 年間50人月超の工数削減効果! (5分/回の工数削減効果) + 問合せを受けるシステム管理者の工数削減!
  40. 40. 40(C) Recruit Technologies Co.,Ltd. All rights reserved. ご清聴ありがとうございました。
  41. 41. 41(C) Recruit Technologies Co.,Ltd. All rights reserved. こういった取組でデータ活用を進めています データの収集・整形・提供にも大きく苦労されると 思いますが、 実際に利用する際に活用できる基盤を提供できたと 自負してます
  42. 42. メタデータWebの開発の進め方 42(C) Recruit Technologies Co.,Ltd. All rights reserved. ①課題認識 ③要件定義・ 設計・開発 ②F/S検証・ 効果算出 ④運用・継続 改善 F/S…
  43. 43. ①課題認識 背景にあった課題[再掲] データ定義の問い合わせに忙殺される時間を減らしたい! 43(C) Recruit Technologies Co.,Ltd. All rights reserved. どこかにまとまっていれば いいのに!! データ利用者 テーブル定義書(ファイル) DWH 実データの表示結果 Select * from XX limit 100 Select * from YY limit 100 Select * from ZZ limit 100 ・・・ 開発者 分からないです… × これって自分だけ?? 利用者がわかる形で回答 システム管理者
  44. 44. ②F/S検証・効果算出 → 起案 簡単な仕組み( MVP minimum viable product:実用最小限の製品)を 開発、公開。 44(C) Recruit Technologies Co.,Ltd. All rights reserved. 簡易システム構築・公開 convert 効果ありそう!検索機能の充実等、 利用者が求めている機能もわかった! DB管理者 データ利用者 DB開発者/システム開発者 検索が便利! 意味説明が 分かりやすい! 統一の定義書が すぐ手に入る! メモを残したい 最新情報がない履歴が見たい
  45. 45. ③要件定義・設計・開発 利用者コメントや要望ヒアリングで肥大化かつ相反する要件に対し、 キーワードを決め、絞り込み。 45(C) Recruit Technologies Co.,Ltd. All rights reserved. 利用者目線で「シンプルに使えること」をキーワードに 機能をあきらめ取捨選択 多機能 ≠使いやすい Standish Group Study Reported at XP2002 by Jim Johnson, 1, 45% 2, 19% 3, 16% 4, 13% 5, 7% 65%の機能が 使われない
  46. 46. 本日のアジェンダ 1. 自己紹介 2. リクルートの紹介 3. リクルートのビッグデータへの取り組み 4. メタデータ管理Web 5. まとめ 46(C) Recruit Technologies Co.,Ltd. All rights reserved.
  47. 47. まとめ 47(C) Recruit Technologies Co.,Ltd. All rights reserved. システム管理者だからできることはもっとあるはず。

×