Download as PDF, PPTX
Uploaded by株式会社MonotaRO Tech Team
全社のデータ活用を一段階上げる取り組み
MonotaRO Tech Talk #9 (データマネジメント編)の発表資料です https://monotaro.connpass.com/event/226592/
More Related Content
![SSII2022 [SS2] 少ないデータやラベルを効率的に活用する機械学習技術 〜 足りない情報をどのように補うか？〜](https://cdn.slidesharecdn.com/ss_thumbnails/ss2ssii2022-220607054716-2760bd30-thumbnail.jpg?width=640&height=640&fit=bounds)
![[ITmedia Cloud Native 2023] モノタロウのクラウドネイティブ.pdf](https://cdn.slidesharecdn.com/ss_thumbnails/itmediacloudnative2023-230609023902-1d32cbbd-thumbnail.jpg?width=640&height=640&fit=bounds)
全社のデータ活用を一段階上げる取り組み
- 1. 全社のデータ活用を 一段階上げる取り組み データマーケティング部門 データ基盤グループ 吉本 直人 1 2021.10.28 © 2021 MonotaROCo., Ltd. All Rights Reserved.
- 2. ● 吉本直人（よしもとなおと） ● 2020年2月にMonotaRO入社（中途・1年8ヶ月目） ○前職で約5年間、BI/分析ツールの代理店で技術サ ポート、コンサルなどをしていました ● 採用広報(編集)もしています ○ “モノタロウ ブログ” で検索すると noteとはてなブログがでます！ 2 自己紹介
- 3. ~ 2010 基幹システムか らの抽出と Excel 2010 ~2015 販促基盤 2016 ~ 2017 BigQuery 導入 2020~2021 データ管理導入 Looker導入 DWH構築 2018 ~ 2019 BigQuery展開 2018 ~ 2019 他システム連携 DDP EC基盤への展開 2020~2021 サーチ基盤 2022 ~ データ管理展開 Looker展開 DWH展開 2022 ~ ?? 3 データ基盤の歴史: ユーザの利用状況の変遷 ● Looker導入とDWH構築について ○ どのように進めていったのか ○ これまでの成果と今後の課題 についてお話します
- 4. 4 課題: データ/指標が管理されていない（再掲） データに関する情報が集約管理されておらず、次のような問題が 発生している ● データ管理やデータ定義の局所最適化が進んでいる ○個別・グループ内の管理に留まっている ○ 業務/組織等を横断した共有や活用が困難 ● データの使い方がわからない ○ データに関する情報が散在し、アクセスできない ○ SQLを書けなければ集計・分析できない →データ定義を集約管理する環境の整備を行う 社内データ理解＆SQLスキルに問わず、分析ができる環境をつくる
- 5.
- 6.
- 7. ● データ活用/管理プロジェクトの発足 ● Looker導入/展開 ●DWH構築 ● 全体のまとめと今後 7 目次
- 8.
- 9.
- 10. ● データ管理の仕組みを作りやすい機能 ○ 定義の集中管理(SSOT) ○SQLのパーツ化 ● データ集計時にSQLなしで レポート、ダッシュボード作成 ● データ基盤+一部メンバーで PoCを実施し本導入へ 10 Lookerの導入
- 11. ● 社内のデータ自体は詳しくない ○ データのドメイン知識 ○データ活用のユースケース ● 構築・運用にかなりのリソースがかかる ○ データ基盤は2-3人しかいないので難しい 11 データ基盤チームとしてのLooker導入の課題
- 12. ● 全社で以下の人に参画を依頼 ○ 部門をまたいでデータ集計を行う分析官 ○基幹システムの開発・保守を行うエンジニア ● データ基盤はファシリテーション を行いつつプロジェクトを推進 12 データ活用/管理のプロジェクトを発足
- 13.
- 14.
- 15. 15 Looker導入から展開にむけて ● メンバーにLookMLを実装してもらう ○ トレーニング受講 ○社内の実データを使ってモブプロ ■ 開発プラクティスを伝える ● 定義を追加/修正時に どんな観点が必要か ● 定義の提供までのフロー
- 16. 16 Looker導入から展開にむけて ● Lookerに実装する指標の整理 ○ プロジェクトメンバーの知見を共有し、 ドメインごとに必要な指標を出す ○指標に基づいてSQLを作成 ■ いきなりすべてLookML化はハードルが高いため ● ドメインごとにViewを作成し、 ViewをかけあわせるExploreを構築
- 17. 17 Lookerの社内展開 ● 社内向けに説明会、トレーニングの実施 ○ Looker導入の背景やメリット ○社内のデータを使ってトレーニング ■ サンプルデータは利用イメージが湧きづらいため
- 18. ● プロジェクトメンバーの所属部門を中心に Looker利用が広がる ○ デザイナーの方が ダッシュボードを作成 ○商品採用でダッシュボード をワークショップで共有 18 Looker導入と展開の現状
- 19.
- 20. ● Lookerのみではエンジニアと業務側の責任分界 点があいまいになる ○ 課題をどこで解決するべきかわかりづらい ●エンジニアではないドメインスペシャリストが より生産的に分析できるようにしたい →DWH構築を検討 20 Lookerを導入してわかったこと
- 21.
- 22.
- 23. ● データ活用/管理プロジェクトを分割 ○ データ活用側はLookerの導入展開に注力 ○データ管理側でDWH構築とLooker運用を行う ■ データ基盤とシステム側の人が参画 23 プロジェクトを分割し、DWH構築を開始
- 24. ● ドメインごとに構築 ● Looker用に作ったデータを参考に実装 ●データレイクを参照する ○ 便利なビューやデータマートを分解して再構築 ● システム側起因によるロジックや差分を吸収 ○ コード値と名前のマッピングや特殊な除外条件 ■ e.g. 〇〇の時の売上を取る場合は△△のカラムも フィルタしないといけない 24 DWH構築の方針
- 25. ● 既存クエリの集計結果の誤りがわかった ○ データ品質をどう担保するか ●要件を満たそうとすると大きなクエリになる ○ メンテナンスが難しい ● 仕様が追いづらい ○ システム側と業務側での認識が異なる ○ 実装した人が今はいないor覚えていない...etc 25 DWH構築における課題
- 26. ● dbtで実装 ○ クエリの分解と 依存関係を定義 ○テストが書ける ○ 元データの更新状況を チェック 26 課題への対応
- 27. ● できる限りデータ基盤で仕様を追いかける ○ ソースコードを読んだり、ヒアリングしたり ●仕様でわからない部分はシステム側と業務側と 合意を取りに行く →リードタイムが かかってしまう結果に 27 課題への対応
- 28.
- 29.
- 30. ● 部門展開を行い、全社でのLooker活用を推進 ○ 部門ごとにどんな分析をしているのか、どんな指 標があるのかを整理、集約 ●LookMLの管理・運用 ○ レビューの観点、体制の確立 ○ 部門レベルでの指標の管理 30 Looker導入の今後
- 31. ● DWHの展開、運用 ○ すでに動いているバッチクエリを DWHに置き換え、啓蒙 ●システム側との密な連携 ○ データの利用という観点からシステム側に入っ てもらう ■ e.g. データメッシュ 31 DWH構築の今後
- 32.
- 33. ● Looker導入とDWH構築の紹介をしました ○ Looker導入 ■データ、KPIに詳しい人にLookMLを書いてもらうこ とで継続的な指標の追加を実現 ■ SQLを書かなくてもデータ集計ができる下地作り ○ DWH構築 ■ 業務、システムとのコミュニケーションが重要 ■ dbtを導入することでデータ品質を向上 33 まとめ
- 34. 34 © 2021 MonotaROCo., Ltd. All Rights Reserved.