全社のデータ活用を一段階上げる取り組み
•
1 like•7,366 views
MonotaRO Tech Talk #9 (データマネジメント編)の発表資料です https://monotaro.connpass.com/event/226592/
Recommended
Recommended
More Related Content
What's hot
What's hot (20)
Similar to 全社のデータ活用を一段階上げる取り組み
Similar to 全社のデータ活用を一段階上げる取り組み (20)
More from 株式会社MonotaRO Tech Team
More from 株式会社MonotaRO Tech Team (19)
全社のデータ活用を一段階上げる取り組み
- 1. 全社のデータ活用を 一段階上げる取り組み データマーケティング部門 データ基盤グループ 吉本 直人 1 2021.10.28 © 2021 MonotaRO Co., Ltd. All Rights Reserved.
- 2. ● 吉本直人（よしもとなおと） ● 2020年2月にMonotaRO入社（中途・1年8ヶ月目） ○ 前職で約5年間、BI/分析ツールの代理店で技術サ ポート、コンサルなどをしていました ● 採用広報(編集)もしています ○ “モノタロウ ブログ” で検索すると noteとはてなブログがでます！ 2 自己紹介
- 3. ~ 2010 基幹システムか らの抽出と Excel 2010 ~ 2015 販促基盤 2016 ~ 2017 BigQuery 導入 2020~2021 データ管理導入 Looker導入 DWH構築 2018 ~ 2019 BigQuery展開 2018 ~ 2019 他システム連携 DDP EC基盤への展開 2020~2021 サーチ基盤 2022 ~ データ管理展開 Looker展開 DWH展開 2022 ~ ?? 3 データ基盤の歴史: ユーザの利用状況の変遷 ● Looker導入とDWH構築について ○ どのように進めていったのか ○ これまでの成果と今後の課題 についてお話します
- 4. 4 課題: データ/指標が管理されていない（再掲） データに関する情報が集約管理されておらず、次のような問題が 発生している ● データ管理やデータ定義の局所最適化が進んでいる ○ 個別・グループ内の管理に留まっている ○ 業務/組織等を横断した共有や活用が困難 ● データの使い方がわからない ○ データに関する情報が散在し、アクセスできない ○ SQLを書けなければ集計・分析できない →データ定義を集約管理する環境の整備を行う 社内データ理解＆SQLスキルに問わず、分析ができる環境をつくる
- 7. ● データ活用/管理プロジェクトの発足 ● Looker導入/展開 ● DWH構築 ● 全体のまとめと今後 7 目次
- 10. ● データ管理の仕組みを作りやすい機能 ○ 定義の集中管理(SSOT) ○ SQLのパーツ化 ● データ集計時にSQLなしで レポート、ダッシュボード作成 ● データ基盤+一部メンバーで PoCを実施し本導入へ 10 Lookerの導入
- 11. ● 社内のデータ自体は詳しくない ○ データのドメイン知識 ○ データ活用のユースケース ● 構築・運用にかなりのリソースがかかる ○ データ基盤は2-3人しかいないので難しい 11 データ基盤チームとしてのLooker導入の課題
- 12. ● 全社で以下の人に参画を依頼 ○ 部門をまたいでデータ集計を行う分析官 ○ 基幹システムの開発・保守を行うエンジニア ● データ基盤はファシリテーション を行いつつプロジェクトを推進 12 データ活用/管理のプロジェクトを発足
- 13. Lookerの導入と展開 13
- 15. 15 Looker導入から展開にむけて ● メンバーにLookMLを実装してもらう ○ トレーニング受講 ○ 社内の実データを使ってモブプロ ■ 開発プラクティスを伝える ● 定義を追加/修正時に どんな観点が必要か ● 定義の提供までのフロー
- 16. 16 Looker導入から展開にむけて ● Lookerに実装する指標の整理 ○ プロジェクトメンバーの知見を共有し、 ドメインごとに必要な指標を出す ○ 指標に基づいてSQLを作成 ■ いきなりすべてLookML化はハードルが高いため ● ドメインごとにViewを作成し、 ViewをかけあわせるExploreを構築
- 17. 17 Lookerの社内展開 ● 社内向けに説明会、トレーニングの実施 ○ Looker導入の背景やメリット ○ 社内のデータを使ってトレーニング ■ サンプルデータは利用イメージが湧きづらいため
- 18. ● プロジェクトメンバーの所属部門を中心に Looker利用が広がる ○ デザイナーの方が ダッシュボードを作成 ○ 商品採用でダッシュボード をワークショップで共有 18 Looker導入と展開の現状
- 20. ● Lookerのみではエンジニアと業務側の責任分界 点があいまいになる ○ 課題をどこで解決するべきかわかりづらい ● エンジニアではないドメインスペシャリストが より生産的に分析できるようにしたい →DWH構築を検討 20 Lookerを導入してわかったこと
- 21. DWH構築 21
- 23. ● データ活用/管理プロジェクトを分割 ○ データ活用側はLookerの導入展開に注力 ○ データ管理側でDWH構築とLooker運用を行う ■ データ基盤とシステム側の人が参画 23 プロジェクトを分割し、DWH構築を開始
- 24. ● ドメインごとに構築 ● Looker用に作ったデータを参考に実装 ● データレイクを参照する ○ 便利なビューやデータマートを分解して再構築 ● システム側起因によるロジックや差分を吸収 ○ コード値と名前のマッピングや特殊な除外条件 ■ e.g. 〇〇の時の売上を取る場合は△△のカラムも フィルタしないといけない 24 DWH構築の方針
- 25. ● 既存クエリの集計結果の誤りがわかった ○ データ品質をどう担保するか ● 要件を満たそうとすると大きなクエリになる ○ メンテナンスが難しい ● 仕様が追いづらい ○ システム側と業務側での認識が異なる ○ 実装した人が今はいないor覚えていない...etc 25 DWH構築における課題
- 26. ● dbtで実装 ○ クエリの分解と 依存関係を定義 ○ テストが書ける ○ 元データの更新状況を チェック 26 課題への対応
- 27. ● できる限りデータ基盤で仕様を追いかける ○ ソースコードを読んだり、ヒアリングしたり ● 仕様でわからない部分はシステム側と業務側と 合意を取りに行く →リードタイムが かかってしまう結果に 27 課題への対応
- 28. 全体のまとめと今後 28
- 30. ● 部門展開を行い、全社でのLooker活用を推進 ○ 部門ごとにどんな分析をしているのか、どんな指 標があるのかを整理、集約 ● LookMLの管理・運用 ○ レビューの観点、体制の確立 ○ 部門レベルでの指標の管理 30 Looker導入の今後
- 31. ● DWHの展開、運用 ○ すでに動いているバッチクエリを DWHに置き換え、啓蒙 ● システム側との密な連携 ○ データの利用という観点からシステム側に入っ てもらう ■ e.g. データメッシュ 31 DWH構築の今後
- 32. ● システム側と業務側の橋渡しをデータ基盤が担う ● CoE、データオーナ制度などの体制づくりによっ て継続的なデータの品質を向上 32 データ活用の今後 CoE エンジニア アナリスト データ基盤 IT部門 業務部門
- 33. ● Looker導入とDWH構築の紹介をしました ○ Looker導入 ■ データ、KPIに詳しい人にLookMLを書いてもらうこ とで継続的な指標の追加を実現 ■ SQLを書かなくてもデータ集計ができる下地作り ○ DWH構築 ■ 業務、システムとのコミュニケーションが重要 ■ dbtを導入することでデータ品質を向上 33 まとめ
- 34. 34 © 2021 MonotaRO Co., Ltd. All Rights Reserved.