SlideShare a Scribd company logo
1 of 18
Download to read offline
なぜモノタロウでデータマネジメン
トが必要になったのか
株式会社MonotaRO IT部門データ基盤グループ長 香川和哉
1
2022.12.16
© 2020 MonotaRO Co., Ltd. All Rights Reserved.
2
● IT部門データ基盤グループマネージャー
● 2016年中途入社
● 入社後、マーケティングシステムの運用を
行いながら、データ基盤の構築/運用をす
すめた。現在はデータ管理と基幹システム
のモダナイゼーションに取り組んでいる。
香川和哉
3
● 2000年 10月設立
● BtoB を対象に、自ら間接資材の
在庫を持ち、自らオンラインで売る
EC 企業
● コールセンター、商品採用、物流、
マーケティング、データサイエンス、
IT など多くの業務とシステムを
自社開発、自社運用している
● 商品数 :1,900 万点
市場規模:5~10 兆円
MonotaROについて
● 現在のモノタロウのデータ基盤とデータマネジ
メントの取り組み
● 現在に至るまでの歴史
○ → モノタロウでデータマネジメントがなぜ
必要になったのか
● データマネジメントをすすめる上でのポイント
4
今日話すこと
モノタロウのデータ基盤
5
6
自動連携
個別の同期システム
(個別の組織で管理)
Log パイプライン
Real-Time DB
Pipeline
個別の同期システム
6
BigQuery
基幹, ECサイト RDB
受発注, 顧客, 商品, 在庫, …
Google Analytics
その他システムデータ
顧客行動ログ収集,
検索システム …
その他パッケージ
システムデータ
WMS, カスタマーサポート …
Log
CDN, WebServer, Application
Data Lake
DWH
Data Mart
プロジェクト個別
マーケター
データ
サイエンティスト
商品採用
Apps Script
Sheets
Data Portal
SQL
Python など
その他 ツール
エンジニア
その他 全部門
レポーティング
SQL による分析
ML での最適化や予測
業務オペレーション
大規模データ処理
他システムとの連携
などなど
データソース 統合 データ管理 利用ツール 利用者 ユースケース
7
現在のモノタロウでのデータマネジメントの取り組み例
● データマートの構築
○ 業務部門メンバーと協力しながら Looker を利用してデータマートを構築
○ SQLなどのスキルに関わらずデータを活用できる環境の実現を目指す
● 並行して、DWH を構築
○ もともと存在していた他部門の既存の独自DWHを分解して再構成
○ dbt (ツール) によって BigQuery でのDWH構築処理を管理
Looker (データマート)
BigQuery
Data Lake DWH
データモデル
(LookML)
ダッシュボード
dbt
● Innovators Hive at Next ’22に登壇しBigQueryの学び方や社内での利用促
進、データ管理について話しました - MonotaRO Tech Blog
● データ管理に役立つメタデータに関する勉強会を社内外で開催しました -
MonotaRO Tech Blog
● MonotaROのデータ基盤10年史(後編)
● MonotaROのデータ基盤10年史(前編)
● SQLを使った監視でデータ基盤の品質を向上させる - MonotaRO Tech Blog
● 分析者や予算承認者の視点に立ちつつ、BigQuery Flex Slotsの適切なスロッ
ト数を定量的に決定する方法を紹介します - MonotaRO Tech Blog
8
その他の事例
モノタロウのデータ基盤の歴史
9
10
販促基盤とDWH (2010 ~ 2015)
システム
● 基幹, ECサイトのシステムからデータを集約して 販促
用DWH を構築 (同期は 日次, 100テーブル程度)
● 機械学習を用いたレコメンドなど高度なマーケティン
グが可能になった
● また SQL Server Analysis Service を用いたBIを構
築。 KPI ベースでの施策立案がより簡単に可能に。
データ利用者
● データ分析スキルをもつ従業員はマーケティング
部門に集中しており全社のデータ活用をマーケ
ティング部門がサポート
マーケ用
MySQL
Campaign
Managment
その他DB
その他DB
基幹/EC
DB
ML
BI
SQLによる分析
MLによる予測
BIレポート マーケティング部門
の一部のメンバー
日次でのデータ同期
(100テーブル程度)
DWH として機能
11
データ分析人材の展開 - 2016年頃
マーケティング部門
● 組織拡大と事業規模の拡大に合わせて新規部門を設立
● マーケティング部門に所属していたデータ分析人材は新部門や別部門に異動することでデー
タ分析の機能を全部門に展開
● それまでの販促基盤ではなく全社レベルでのデータ基盤が必要に
A部門
B部門
C部門
分析依頼
データ
マーケティング部門
A部門
B部門
C部門
新メンバーの入社
分析スキルをもつメ
ンバーの他部門への
展開
12
12
Engineer/Scientist
(100人 ~ )
Users (100人 ~
)
基幹システム &
EC アプリケーション
DWH & DataMart
BigQuery
Application
Cloud
Storage
Apps Script
Sheets
Data Portal
マーチャンダイ
ザー
マーケター
カスタマサ
ポート
物流
Application
Database
Database
リアルタイム データパイプライン by (遅延:3分, テーブル:1,000~)
ITエンジニア
SQL
データ
サイエンティスト
● 基幹システム, ECサイトのDB(MySQL)からニアリアルタイムにBigQueryにデータを同期
○ MySQL の Binary log を利用しており、任意の時点のデータを再現可能
● BigQueryによってデータ量や処理量などオンプレ時代と比較して圧倒的なスケーラビリティを得
ることができた。
● SQLや Looker Studio (旧データポータル) の勉強会なども開催。
● 分析に限らず業務における様々なユースケースで利用されるようになった。
● 利用ユーザも大幅に増加し、全部門で利用されるようになった。
BigQueryの導入と展開 - 2016 ~ 2019
13
新たなデータ活用の課題 - 2020
● データ管理や活用の局所最適化
○ 個別部署内の独自管理がすすんでいる
○ 業務/組織等を横断した共有や活用が困難
■ 指標の定義の違いによるコミュニケーションの齟齬も
● データの使い方がわからない
○ データに関する情報が散在し、アクセスできない
○ SQLの知識がなければ集計・分析できない
■ 関数の利用や複雑なJoin
14
(再掲) 現在のモノタロウでのデータマネジメントの取り組み例
● 業務部門と協力しながら Looker/LookML(モデル定義言語) を利用して全社統一された
データマート を構築し更にBIとしても活用しSQLなどの分析スキルに関わらずデータを活
用できる環境の実現を目標として実施。現在継続中。
● 並行して、DWH を構築
○ 他部門の既存の独自DWHを分解して再構成
○ dbt (ツール) によって BigQuery でのDWH構築処理を管理
Looker (データマート)
BigQuery
Data Lake DWH
データモデル
(LookML)
ダッシュボード
Looker上ではモデルの定義のみ存在。
動的にBigQueryに対してクエリを実行
しデータモデルを元にデータを作る。
dbt
15
なぜモノタロウでデータマネジメントが必要になったのか
~ 2010
基幹システムか
らの抽出と
Excel
2010 ~ 2015
販促基盤
2016 ~ 2017
BigQuery
導入
2020~2021
データ管理導入
Looker導入
DWH構築
2018 ~ 2019
BigQuery展開
2022 ~
データ管理展開
Looker展開
DWH展開
特定の人だけ
使える
特定の部署だ
け使える
自由に
使える
より多くの人がより
自由に使える
自由, 安心, 安全, 簡
単に使える
自由に使えるが
簡単ではない
● 利用にはSQLやデータ仕様の理解が必要な状態は継続しており自
由ではあるが簡単とは言い難い
● 各部署でデータや指標管理が独自で行われ、統制がとれておらず、
さらなるデータ活用は困難になってきた
データ分析人材が
全社に展開
まとめ
16
● データマネジメントは一見地味で経営層や利用者に必要性が
伝わりにくい。
● 課題に対するソリューションとしてデータマネジメントに取
り組んでいることを明確にする必要がある。
● そのためにはデータ活用のボトルネックを順に解決して、
データマネジメントが必要な状況に至る必要がある。
17
データマネジメントをすすめる上でのポイント
18
© 2020 MonotaRO Co., Ltd. All Rights Reserved.

More Related Content

What's hot

データ分析グループの組織編制とその課題 マーケティングにおけるKPI設計の失敗例 ABテストの活用と、機械学習の導入 #CWT2016
データ分析グループの組織編制とその課題 マーケティングにおけるKPI設計の失敗例 ABテストの活用と、機械学習の導入 #CWT2016データ分析グループの組織編制とその課題 マーケティングにおけるKPI設計の失敗例 ABテストの活用と、機械学習の導入 #CWT2016
データ分析グループの組織編制とその課題 マーケティングにおけるKPI設計の失敗例 ABテストの活用と、機械学習の導入 #CWT2016Tokoroten Nakayama
 
マルチクラウドDWH(Snowflake)のすすめ
マルチクラウドDWH(Snowflake)のすすめマルチクラウドDWH(Snowflake)のすすめ
マルチクラウドDWH(Snowflake)のすすめYuuta Hishinuma
 
MLOps に基づく AI/ML 実運用最前線 ~画像、動画データにおける MLOps 事例のご紹介~(映像情報メディア学会2021年冬季大会企画セッショ...
MLOps に基づく AI/ML 実運用最前線 ~画像、動画データにおける MLOps 事例のご紹介~(映像情報メディア学会2021年冬季大会企画セッショ...MLOps に基づく AI/ML 実運用最前線 ~画像、動画データにおける MLOps 事例のご紹介~(映像情報メディア学会2021年冬季大会企画セッショ...
MLOps に基づく AI/ML 実運用最前線 ~画像、動画データにおける MLOps 事例のご紹介~(映像情報メディア学会2021年冬季大会企画セッショ...NTT DATA Technology & Innovation
 
リクルートを支える横断データ基盤と機械学習の適用事例
リクルートを支える横断データ基盤と機械学習の適用事例リクルートを支える横断データ基盤と機械学習の適用事例
リクルートを支える横断データ基盤と機械学習の適用事例Tetsutaro Watanabe
 
datatech-jp Casual Talks#3 データエンジニアを採用するための試行錯誤
datatech-jp Casual Talks#3  データエンジニアを採用するための試行錯誤datatech-jp Casual Talks#3  データエンジニアを採用するための試行錯誤
datatech-jp Casual Talks#3 データエンジニアを採用するための試行錯誤株式会社MonotaRO Tech Team
 
信頼性とアジリティを同時に上げろ!モノタロウのカナリアリリース導入.pdf
信頼性とアジリティを同時に上げろ!モノタロウのカナリアリリース導入.pdf信頼性とアジリティを同時に上げろ!モノタロウのカナリアリリース導入.pdf
信頼性とアジリティを同時に上げろ!モノタロウのカナリアリリース導入.pdf株式会社MonotaRO Tech Team
 
データ基盤に関わる問い合わせ対応を仕組みで解決する
データ基盤に関わる問い合わせ対応を仕組みで解決するデータ基盤に関わる問い合わせ対応を仕組みで解決する
データ基盤に関わる問い合わせ対応を仕組みで解決する株式会社MonotaRO Tech Team
 
ChatGPTは思ったほど賢くない
ChatGPTは思ったほど賢くないChatGPTは思ったほど賢くない
ChatGPTは思ったほど賢くないCarnot Inc.
 
リクルートが実践で学んできた“セルフBI”推進に求められる3つの要素
リクルートが実践で学んできた“セルフBI”推進に求められる3つの要素リクルートが実践で学んできた“セルフBI”推進に求められる3つの要素
リクルートが実践で学んできた“セルフBI”推進に求められる3つの要素Recruit Technologies
 
データ収集の基本と「JapanTaxi」アプリにおける実践例
データ収集の基本と「JapanTaxi」アプリにおける実践例データ収集の基本と「JapanTaxi」アプリにおける実践例
データ収集の基本と「JapanTaxi」アプリにおける実践例Tetsutaro Watanabe
 
AWSで作る分析基盤
AWSで作る分析基盤AWSで作る分析基盤
AWSで作る分析基盤Yu Otsubo
 
データ分析基盤を支えるエンジニアリング
データ分析基盤を支えるエンジニアリングデータ分析基盤を支えるエンジニアリング
データ分析基盤を支えるエンジニアリングRecruit Lifestyle Co., Ltd.
 
データ活用をするための組織
データ活用をするための組織データ活用をするための組織
データ活用をするための組織Kon Yuichi
 
モダンフロントエンド開発者に求められるスキルとは
モダンフロントエンド開発者に求められるスキルとはモダンフロントエンド開発者に求められるスキルとは
モダンフロントエンド開発者に求められるスキルとはTakuya Tejima
 
入門 Kubeflow ~Kubernetesで機械学習をはじめるために~ (NTT Tech Conference #4 講演資料)
入門 Kubeflow ~Kubernetesで機械学習をはじめるために~ (NTT Tech Conference #4 講演資料)入門 Kubeflow ~Kubernetesで機械学習をはじめるために~ (NTT Tech Conference #4 講演資料)
入門 Kubeflow ~Kubernetesで機械学習をはじめるために~ (NTT Tech Conference #4 講演資料)NTT DATA Technology & Innovation
 
マッチングサービスにおけるKPIの話
マッチングサービスにおけるKPIの話マッチングサービスにおけるKPIの話
マッチングサービスにおけるKPIの話cyberagent
 
モノリスからマイクロサービスへの移行 ~ストラングラーパターンの検証~(Spring Fest 2020講演資料)
モノリスからマイクロサービスへの移行 ~ストラングラーパターンの検証~(Spring Fest 2020講演資料)モノリスからマイクロサービスへの移行 ~ストラングラーパターンの検証~(Spring Fest 2020講演資料)
モノリスからマイクロサービスへの移行 ~ストラングラーパターンの検証~(Spring Fest 2020講演資料)NTT DATA Technology & Innovation
 
なぜコンピュータを学ばなければならないのか 21世紀の君主論
なぜコンピュータを学ばなければならないのか 21世紀の君主論なぜコンピュータを学ばなければならないのか 21世紀の君主論
なぜコンピュータを学ばなければならないのか 21世紀の君主論Tokoroten Nakayama
 
Snowflakeって実際どうなの?数多のDBを使い倒した猛者が語る
Snowflakeって実際どうなの?数多のDBを使い倒した猛者が語るSnowflakeって実際どうなの?数多のDBを使い倒した猛者が語る
Snowflakeって実際どうなの?数多のDBを使い倒した猛者が語るRyota Shibuya
 

What's hot (20)

データ分析グループの組織編制とその課題 マーケティングにおけるKPI設計の失敗例 ABテストの活用と、機械学習の導入 #CWT2016
データ分析グループの組織編制とその課題 マーケティングにおけるKPI設計の失敗例 ABテストの活用と、機械学習の導入 #CWT2016データ分析グループの組織編制とその課題 マーケティングにおけるKPI設計の失敗例 ABテストの活用と、機械学習の導入 #CWT2016
データ分析グループの組織編制とその課題 マーケティングにおけるKPI設計の失敗例 ABテストの活用と、機械学習の導入 #CWT2016
 
マルチクラウドDWH(Snowflake)のすすめ
マルチクラウドDWH(Snowflake)のすすめマルチクラウドDWH(Snowflake)のすすめ
マルチクラウドDWH(Snowflake)のすすめ
 
MLOps に基づく AI/ML 実運用最前線 ~画像、動画データにおける MLOps 事例のご紹介~(映像情報メディア学会2021年冬季大会企画セッショ...
MLOps に基づく AI/ML 実運用最前線 ~画像、動画データにおける MLOps 事例のご紹介~(映像情報メディア学会2021年冬季大会企画セッショ...MLOps に基づく AI/ML 実運用最前線 ~画像、動画データにおける MLOps 事例のご紹介~(映像情報メディア学会2021年冬季大会企画セッショ...
MLOps に基づく AI/ML 実運用最前線 ~画像、動画データにおける MLOps 事例のご紹介~(映像情報メディア学会2021年冬季大会企画セッショ...
 
リクルートを支える横断データ基盤と機械学習の適用事例
リクルートを支える横断データ基盤と機械学習の適用事例リクルートを支える横断データ基盤と機械学習の適用事例
リクルートを支える横断データ基盤と機械学習の適用事例
 
Data-Centric AIの紹介
Data-Centric AIの紹介Data-Centric AIの紹介
Data-Centric AIの紹介
 
datatech-jp Casual Talks#3 データエンジニアを採用するための試行錯誤
datatech-jp Casual Talks#3  データエンジニアを採用するための試行錯誤datatech-jp Casual Talks#3  データエンジニアを採用するための試行錯誤
datatech-jp Casual Talks#3 データエンジニアを採用するための試行錯誤
 
信頼性とアジリティを同時に上げろ!モノタロウのカナリアリリース導入.pdf
信頼性とアジリティを同時に上げろ!モノタロウのカナリアリリース導入.pdf信頼性とアジリティを同時に上げろ!モノタロウのカナリアリリース導入.pdf
信頼性とアジリティを同時に上げろ!モノタロウのカナリアリリース導入.pdf
 
データ基盤に関わる問い合わせ対応を仕組みで解決する
データ基盤に関わる問い合わせ対応を仕組みで解決するデータ基盤に関わる問い合わせ対応を仕組みで解決する
データ基盤に関わる問い合わせ対応を仕組みで解決する
 
ChatGPTは思ったほど賢くない
ChatGPTは思ったほど賢くないChatGPTは思ったほど賢くない
ChatGPTは思ったほど賢くない
 
リクルートが実践で学んできた“セルフBI”推進に求められる3つの要素
リクルートが実践で学んできた“セルフBI”推進に求められる3つの要素リクルートが実践で学んできた“セルフBI”推進に求められる3つの要素
リクルートが実践で学んできた“セルフBI”推進に求められる3つの要素
 
データ収集の基本と「JapanTaxi」アプリにおける実践例
データ収集の基本と「JapanTaxi」アプリにおける実践例データ収集の基本と「JapanTaxi」アプリにおける実践例
データ収集の基本と「JapanTaxi」アプリにおける実践例
 
AWSで作る分析基盤
AWSで作る分析基盤AWSで作る分析基盤
AWSで作る分析基盤
 
データ分析基盤を支えるエンジニアリング
データ分析基盤を支えるエンジニアリングデータ分析基盤を支えるエンジニアリング
データ分析基盤を支えるエンジニアリング
 
データ活用をするための組織
データ活用をするための組織データ活用をするための組織
データ活用をするための組織
 
モダンフロントエンド開発者に求められるスキルとは
モダンフロントエンド開発者に求められるスキルとはモダンフロントエンド開発者に求められるスキルとは
モダンフロントエンド開発者に求められるスキルとは
 
入門 Kubeflow ~Kubernetesで機械学習をはじめるために~ (NTT Tech Conference #4 講演資料)
入門 Kubeflow ~Kubernetesで機械学習をはじめるために~ (NTT Tech Conference #4 講演資料)入門 Kubeflow ~Kubernetesで機械学習をはじめるために~ (NTT Tech Conference #4 講演資料)
入門 Kubeflow ~Kubernetesで機械学習をはじめるために~ (NTT Tech Conference #4 講演資料)
 
マッチングサービスにおけるKPIの話
マッチングサービスにおけるKPIの話マッチングサービスにおけるKPIの話
マッチングサービスにおけるKPIの話
 
モノリスからマイクロサービスへの移行 ~ストラングラーパターンの検証~(Spring Fest 2020講演資料)
モノリスからマイクロサービスへの移行 ~ストラングラーパターンの検証~(Spring Fest 2020講演資料)モノリスからマイクロサービスへの移行 ~ストラングラーパターンの検証~(Spring Fest 2020講演資料)
モノリスからマイクロサービスへの移行 ~ストラングラーパターンの検証~(Spring Fest 2020講演資料)
 
なぜコンピュータを学ばなければならないのか 21世紀の君主論
なぜコンピュータを学ばなければならないのか 21世紀の君主論なぜコンピュータを学ばなければならないのか 21世紀の君主論
なぜコンピュータを学ばなければならないのか 21世紀の君主論
 
Snowflakeって実際どうなの?数多のDBを使い倒した猛者が語る
Snowflakeって実際どうなの?数多のDBを使い倒した猛者が語るSnowflakeって実際どうなの?数多のDBを使い倒した猛者が語る
Snowflakeって実際どうなの?数多のDBを使い倒した猛者が語る
 

Similar to JDMC LT#1 - なぜモノタロウでデータマネジメントが必要になったのか

datatech-jp Casual Talks #5_データ基盤の立ち位置を考えるのに チームトポロジーの概念を活用した話
datatech-jp Casual Talks #5_データ基盤の立ち位置を考えるのに チームトポロジーの概念を活用した話datatech-jp Casual Talks #5_データ基盤の立ち位置を考えるのに チームトポロジーの概念を活用した話
datatech-jp Casual Talks #5_データ基盤の立ち位置を考えるのに チームトポロジーの概念を活用した話株式会社MonotaRO Tech Team
 
【マーケティング・テクノロジーフェア 大阪 2023】 データから正しい意思決定を行うために 〜全社横断で実施したデータ活用プロジェクトの取...
【マーケティング・テクノロジーフェア 大阪 2023】 データから正しい意思決定を行うために 〜全社横断で実施したデータ活用プロジェクトの取...【マーケティング・テクノロジーフェア 大阪 2023】 データから正しい意思決定を行うために 〜全社横断で実施したデータ活用プロジェクトの取...
【マーケティング・テクノロジーフェア 大阪 2023】 データから正しい意思決定を行うために 〜全社横断で実施したデータ活用プロジェクトの取...株式会社MonotaRO Tech Team
 
データ管理に重要なことは事業と組織の理解だった(Data Engineering Study #11 発表資料)
データ管理に重要なことは事業と組織の理解だった(Data Engineering Study #11 発表資料)データ管理に重要なことは事業と組織の理解だった(Data Engineering Study #11 発表資料)
データ管理に重要なことは事業と組織の理解だった(Data Engineering Study #11 発表資料)株式会社MonotaRO Tech Team
 
データ基盤グループを支えるチームビルディング
データ基盤グループを支えるチームビルディングデータ基盤グループを支えるチームビルディング
データ基盤グループを支えるチームビルディング株式会社MonotaRO Tech Team
 
CES2016から見えて来たio tの浸透度と今後について
CES2016から見えて来たio tの浸透度と今後についてCES2016から見えて来たio tの浸透度と今後について
CES2016から見えて来たio tの浸透度と今後についてiot_nifty
 
モノタロウが トレジャーデータを使う理由と、 データを活かす企業文化
モノタロウがトレジャーデータを使う理由と、データを活かす企業文化モノタロウがトレジャーデータを使う理由と、データを活かす企業文化
モノタロウが トレジャーデータを使う理由と、 データを活かす企業文化株式会社MonotaRO Tech Team
 
経営とIT:いま起こっていることと「これから」(20120718)
経営とIT:いま起こっていることと「これから」(20120718)経営とIT:いま起こっていることと「これから」(20120718)
経営とIT:いま起こっていることと「これから」(20120718)Jun Kawahara
 
20111203 第28回WebSig会議_IMJモバイル川畑さん資料
20111203 第28回WebSig会議_IMJモバイル川畑さん資料20111203 第28回WebSig会議_IMJモバイル川畑さん資料
20111203 第28回WebSig会議_IMJモバイル川畑さん資料WebSig24/7
 
Markezine day 2012 gdo nakazawa
Markezine day 2012 gdo nakazawaMarkezine day 2012 gdo nakazawa
Markezine day 2012 gdo nakazawaShinya Nakazawa
 
アドテクを支える基盤 〜10Tバイト/日のビッグデータを処理する〜
アドテクを支える基盤 〜10Tバイト/日のビッグデータを処理する〜アドテクを支える基盤 〜10Tバイト/日のビッグデータを処理する〜
アドテクを支える基盤 〜10Tバイト/日のビッグデータを処理する〜MicroAd, Inc.(Engineer)
 
JPC2016: PUP-01 知って得する MPN 最新情報
JPC2016: PUP-01 知って得する MPN 最新情報JPC2016: PUP-01 知って得する MPN 最新情報
JPC2016: PUP-01 知って得する MPN 最新情報MPN Japan
 
大規模データ処理基盤における MLOpsについて.pdf
大規模データ処理基盤における MLOpsについて.pdf大規模データ処理基盤における MLOpsについて.pdf
大規模データ処理基盤における MLOpsについて.pdfNTTDOCOMO-ServiceInnovation
 
楽天のデータサイエンス/AIによるビッグデータ活用
楽天のデータサイエンス/AIによるビッグデータ活用楽天のデータサイエンス/AIによるビッグデータ活用
楽天のデータサイエンス/AIによるビッグデータ活用Rakuten Group, Inc.
 
130903セミナー資料_配布用
130903セミナー資料_配布用130903セミナー資料_配布用
130903セミナー資料_配布用mktgf
 
「指標」を支えるエンジニアリング: DataOpsNight #1
「指標」を支えるエンジニアリング: DataOpsNight #1「指標」を支えるエンジニアリング: DataOpsNight #1
「指標」を支えるエンジニアリング: DataOpsNight #1株式会社MonotaRO Tech Team
 
尼崎から世界へ!モノタロウの海外展開を支えるDevOps基盤 (デブサミ関西2016)
尼崎から世界へ!モノタロウの海外展開を支えるDevOps基盤 (デブサミ関西2016)尼崎から世界へ!モノタロウの海外展開を支えるDevOps基盤 (デブサミ関西2016)
尼崎から世界へ!モノタロウの海外展開を支えるDevOps基盤 (デブサミ関西2016)株式会社MonotaRO Tech Team
 
IoTとAIが牽引するエンタープライズシステムの新展開
IoTとAIが牽引するエンタープライズシステムの新展開IoTとAIが牽引するエンタープライズシステムの新展開
IoTとAIが牽引するエンタープライズシステムの新展開Miki Yutani
 
データドリブンセッション2_IMJ山本
データドリブンセッション2_IMJ山本データドリブンセッション2_IMJ山本
データドリブンセッション2_IMJ山本IMJ Corporation
 

Similar to JDMC LT#1 - なぜモノタロウでデータマネジメントが必要になったのか (20)

datatech-jp Casual Talks #5_データ基盤の立ち位置を考えるのに チームトポロジーの概念を活用した話
datatech-jp Casual Talks #5_データ基盤の立ち位置を考えるのに チームトポロジーの概念を活用した話datatech-jp Casual Talks #5_データ基盤の立ち位置を考えるのに チームトポロジーの概念を活用した話
datatech-jp Casual Talks #5_データ基盤の立ち位置を考えるのに チームトポロジーの概念を活用した話
 
【マーケティング・テクノロジーフェア 大阪 2023】 データから正しい意思決定を行うために 〜全社横断で実施したデータ活用プロジェクトの取...
【マーケティング・テクノロジーフェア 大阪 2023】 データから正しい意思決定を行うために 〜全社横断で実施したデータ活用プロジェクトの取...【マーケティング・テクノロジーフェア 大阪 2023】 データから正しい意思決定を行うために 〜全社横断で実施したデータ活用プロジェクトの取...
【マーケティング・テクノロジーフェア 大阪 2023】 データから正しい意思決定を行うために 〜全社横断で実施したデータ活用プロジェクトの取...
 
データ管理に重要なことは事業と組織の理解だった(Data Engineering Study #11 発表資料)
データ管理に重要なことは事業と組織の理解だった(Data Engineering Study #11 発表資料)データ管理に重要なことは事業と組織の理解だった(Data Engineering Study #11 発表資料)
データ管理に重要なことは事業と組織の理解だった(Data Engineering Study #11 発表資料)
 
データ基盤グループを支えるチームビルディング
データ基盤グループを支えるチームビルディングデータ基盤グループを支えるチームビルディング
データ基盤グループを支えるチームビルディング
 
CES2016から見えて来たio tの浸透度と今後について
CES2016から見えて来たio tの浸透度と今後についてCES2016から見えて来たio tの浸透度と今後について
CES2016から見えて来たio tの浸透度と今後について
 
モノタロウが トレジャーデータを使う理由と、 データを活かす企業文化
モノタロウがトレジャーデータを使う理由と、データを活かす企業文化モノタロウがトレジャーデータを使う理由と、データを活かす企業文化
モノタロウが トレジャーデータを使う理由と、 データを活かす企業文化
 
経営とIT:いま起こっていることと「これから」(20120718)
経営とIT:いま起こっていることと「これから」(20120718)経営とIT:いま起こっていることと「これから」(20120718)
経営とIT:いま起こっていることと「これから」(20120718)
 
20111203 第28回WebSig会議_IMJモバイル川畑さん資料
20111203 第28回WebSig会議_IMJモバイル川畑さん資料20111203 第28回WebSig会議_IMJモバイル川畑さん資料
20111203 第28回WebSig会議_IMJモバイル川畑さん資料
 
profile_Mr.ichimura_km
profile_Mr.ichimura_kmprofile_Mr.ichimura_km
profile_Mr.ichimura_km
 
Markezine day 2012 gdo nakazawa
Markezine day 2012 gdo nakazawaMarkezine day 2012 gdo nakazawa
Markezine day 2012 gdo nakazawa
 
アドテクを支える基盤 〜10Tバイト/日のビッグデータを処理する〜
アドテクを支える基盤 〜10Tバイト/日のビッグデータを処理する〜アドテクを支える基盤 〜10Tバイト/日のビッグデータを処理する〜
アドテクを支える基盤 〜10Tバイト/日のビッグデータを処理する〜
 
JPC2016: PUP-01 知って得する MPN 最新情報
JPC2016: PUP-01 知って得する MPN 最新情報JPC2016: PUP-01 知って得する MPN 最新情報
JPC2016: PUP-01 知って得する MPN 最新情報
 
【Pm zen】pmはいつ学び始めるべきか? 20160311
【Pm zen】pmはいつ学び始めるべきか? 20160311【Pm zen】pmはいつ学び始めるべきか? 20160311
【Pm zen】pmはいつ学び始めるべきか? 20160311
 
大規模データ処理基盤における MLOpsについて.pdf
大規模データ処理基盤における MLOpsについて.pdf大規模データ処理基盤における MLOpsについて.pdf
大規模データ処理基盤における MLOpsについて.pdf
 
楽天のデータサイエンス/AIによるビッグデータ活用
楽天のデータサイエンス/AIによるビッグデータ活用楽天のデータサイエンス/AIによるビッグデータ活用
楽天のデータサイエンス/AIによるビッグデータ活用
 
130903セミナー資料_配布用
130903セミナー資料_配布用130903セミナー資料_配布用
130903セミナー資料_配布用
 
「指標」を支えるエンジニアリング: DataOpsNight #1
「指標」を支えるエンジニアリング: DataOpsNight #1「指標」を支えるエンジニアリング: DataOpsNight #1
「指標」を支えるエンジニアリング: DataOpsNight #1
 
尼崎から世界へ!モノタロウの海外展開を支えるDevOps基盤 (デブサミ関西2016)
尼崎から世界へ!モノタロウの海外展開を支えるDevOps基盤 (デブサミ関西2016)尼崎から世界へ!モノタロウの海外展開を支えるDevOps基盤 (デブサミ関西2016)
尼崎から世界へ!モノタロウの海外展開を支えるDevOps基盤 (デブサミ関西2016)
 
IoTとAIが牽引するエンタープライズシステムの新展開
IoTとAIが牽引するエンタープライズシステムの新展開IoTとAIが牽引するエンタープライズシステムの新展開
IoTとAIが牽引するエンタープライズシステムの新展開
 
データドリブンセッション2_IMJ山本
データドリブンセッション2_IMJ山本データドリブンセッション2_IMJ山本
データドリブンセッション2_IMJ山本
 

More from 株式会社MonotaRO Tech Team

本番環境でやらかしちゃった選手権_MonotaRO社内LT会利用スライド.pdf
本番環境でやらかしちゃった選手権_MonotaRO社内LT会利用スライド.pdf本番環境でやらかしちゃった選手権_MonotaRO社内LT会利用スライド.pdf
本番環境でやらかしちゃった選手権_MonotaRO社内LT会利用スライド.pdf株式会社MonotaRO Tech Team
 
この技術書がすごい!2023夏(おすすめの技術書をペライチで紹介する選手権) .pdf
この技術書がすごい!2023夏(おすすめの技術書をペライチで紹介する選手権) .pdfこの技術書がすごい!2023夏(おすすめの技術書をペライチで紹介する選手権) .pdf
この技術書がすごい!2023夏(おすすめの技術書をペライチで紹介する選手権) .pdf株式会社MonotaRO Tech Team
 
PyConAPAC2023 ワークフローエンジン Apache Airflowを用いた 大規模データパイプライン構築と改善
PyConAPAC2023 ワークフローエンジン  Apache Airflowを用いた 大規模データパイプライン構築と改善PyConAPAC2023 ワークフローエンジン  Apache Airflowを用いた 大規模データパイプライン構築と改善
PyConAPAC2023 ワークフローエンジン Apache Airflowを用いた 大規模データパイプライン構築と改善株式会社MonotaRO Tech Team
 
【TECHTRACKJP】私ってデータエンジニアなんですか?気づいたらデータエンジニアと呼ばれるようになった私がこの職種について考えた【20230725】
【TECHTRACKJP】私ってデータエンジニアなんですか?気づいたらデータエンジニアと呼ばれるようになった私がこの職種について考えた【20230725】【TECHTRACKJP】私ってデータエンジニアなんですか?気づいたらデータエンジニアと呼ばれるようになった私がこの職種について考えた【20230725】
【TECHTRACKJP】私ってデータエンジニアなんですか?気づいたらデータエンジニアと呼ばれるようになった私がこの職種について考えた【20230725】株式会社MonotaRO Tech Team
 
モノタロウの1900万商品を検索する Elasticsearch構築運用事例(2022-10-26 第50回Elasticsearch 勉強会発表資料)
モノタロウの1900万商品を検索する Elasticsearch構築運用事例(2022-10-26 第50回Elasticsearch 勉強会発表資料)モノタロウの1900万商品を検索する Elasticsearch構築運用事例(2022-10-26 第50回Elasticsearch 勉強会発表資料)
モノタロウの1900万商品を検索する Elasticsearch構築運用事例(2022-10-26 第50回Elasticsearch 勉強会発表資料)株式会社MonotaRO Tech Team
 
モノタロウの開発・リリースサイクルを支えるJenkinsの活用事例 - Jenkins Day Japan 2021
モノタロウの開発・リリースサイクルを支えるJenkinsの活用事例 - Jenkins Day Japan 2021モノタロウの開発・リリースサイクルを支えるJenkinsの活用事例 - Jenkins Day Japan 2021
モノタロウの開発・リリースサイクルを支えるJenkinsの活用事例 - Jenkins Day Japan 2021株式会社MonotaRO Tech Team
 
モノタロウECプラットフォームを支える開発運用モダナイゼーションの取り組み #devsumi
モノタロウECプラットフォームを支える開発運用モダナイゼーションの取り組み #devsumi モノタロウECプラットフォームを支える開発運用モダナイゼーションの取り組み #devsumi
モノタロウECプラットフォームを支える開発運用モダナイゼーションの取り組み #devsumi 株式会社MonotaRO Tech Team
 
ITPと、その他cookie関連のこと / ITP and cookie
ITPと、その他cookie関連のこと / ITP and cookieITPと、その他cookie関連のこと / ITP and cookie
ITPと、その他cookie関連のこと / ITP and cookie株式会社MonotaRO Tech Team
 
WebApp個人開発のすゝめ / Recommendation of personal web app development
WebApp個人開発のすゝめ / Recommendation of personal web app developmentWebApp個人開発のすゝめ / Recommendation of personal web app development
WebApp個人開発のすゝめ / Recommendation of personal web app development株式会社MonotaRO Tech Team
 
大規模フロントエンドのクリーンアーキテクチャ化 ~ 年間売上1,000億円企業モノタロウの取組み ~
大規模フロントエンドのクリーンアーキテクチャ化 ~ 年間売上1,000億円企業モノタロウの取組み ~大規模フロントエンドのクリーンアーキテクチャ化 ~ 年間売上1,000億円企業モノタロウの取組み ~
大規模フロントエンドのクリーンアーキテクチャ化 ~ 年間売上1,000億円企業モノタロウの取組み ~株式会社MonotaRO Tech Team
 
社内勉強会を続けるには(2016.10.07 DevLove 関西)
社内勉強会を続けるには(2016.10.07 DevLove 関西)社内勉強会を続けるには(2016.10.07 DevLove 関西)
社内勉強会を続けるには(2016.10.07 DevLove 関西)株式会社MonotaRO Tech Team
 
Pythonエンジニアの最適なキャリアを考える (PyCon JP 2016 ジョブフェア LT)
Pythonエンジニアの最適なキャリアを考える (PyCon JP 2016 ジョブフェア LT)Pythonエンジニアの最適なキャリアを考える (PyCon JP 2016 ジョブフェア LT)
Pythonエンジニアの最適なキャリアを考える (PyCon JP 2016 ジョブフェア LT)株式会社MonotaRO Tech Team
 
マイクロサービスを利用する側のパフォーマンス向上策 (PyCon JP 2016)
マイクロサービスを利用する側のパフォーマンス向上策 (PyCon JP 2016)マイクロサービスを利用する側のパフォーマンス向上策 (PyCon JP 2016)
マイクロサービスを利用する側のパフォーマンス向上策 (PyCon JP 2016)株式会社MonotaRO Tech Team
 

More from 株式会社MonotaRO Tech Team (17)

本番環境でやらかしちゃった選手権_MonotaRO社内LT会利用スライド.pdf
本番環境でやらかしちゃった選手権_MonotaRO社内LT会利用スライド.pdf本番環境でやらかしちゃった選手権_MonotaRO社内LT会利用スライド.pdf
本番環境でやらかしちゃった選手権_MonotaRO社内LT会利用スライド.pdf
 
この技術書がすごい!2023夏(おすすめの技術書をペライチで紹介する選手権) .pdf
この技術書がすごい!2023夏(おすすめの技術書をペライチで紹介する選手権) .pdfこの技術書がすごい!2023夏(おすすめの技術書をペライチで紹介する選手権) .pdf
この技術書がすごい!2023夏(おすすめの技術書をペライチで紹介する選手権) .pdf
 
PyConAPAC2023 ワークフローエンジン Apache Airflowを用いた 大規模データパイプライン構築と改善
PyConAPAC2023 ワークフローエンジン  Apache Airflowを用いた 大規模データパイプライン構築と改善PyConAPAC2023 ワークフローエンジン  Apache Airflowを用いた 大規模データパイプライン構築と改善
PyConAPAC2023 ワークフローエンジン Apache Airflowを用いた 大規模データパイプライン構築と改善
 
【TECHTRACKJP】私ってデータエンジニアなんですか?気づいたらデータエンジニアと呼ばれるようになった私がこの職種について考えた【20230725】
【TECHTRACKJP】私ってデータエンジニアなんですか?気づいたらデータエンジニアと呼ばれるようになった私がこの職種について考えた【20230725】【TECHTRACKJP】私ってデータエンジニアなんですか?気づいたらデータエンジニアと呼ばれるようになった私がこの職種について考えた【20230725】
【TECHTRACKJP】私ってデータエンジニアなんですか?気づいたらデータエンジニアと呼ばれるようになった私がこの職種について考えた【20230725】
 
モノタロウの1900万商品を検索する Elasticsearch構築運用事例(2022-10-26 第50回Elasticsearch 勉強会発表資料)
モノタロウの1900万商品を検索する Elasticsearch構築運用事例(2022-10-26 第50回Elasticsearch 勉強会発表資料)モノタロウの1900万商品を検索する Elasticsearch構築運用事例(2022-10-26 第50回Elasticsearch 勉強会発表資料)
モノタロウの1900万商品を検索する Elasticsearch構築運用事例(2022-10-26 第50回Elasticsearch 勉強会発表資料)
 
モノタロウの開発・リリースサイクルを支えるJenkinsの活用事例 - Jenkins Day Japan 2021
モノタロウの開発・リリースサイクルを支えるJenkinsの活用事例 - Jenkins Day Japan 2021モノタロウの開発・リリースサイクルを支えるJenkinsの活用事例 - Jenkins Day Japan 2021
モノタロウの開発・リリースサイクルを支えるJenkinsの活用事例 - Jenkins Day Japan 2021
 
MonotaRO LT - ESLintの仕組み
MonotaRO LT - ESLintの仕組みMonotaRO LT - ESLintの仕組み
MonotaRO LT - ESLintの仕組み
 
モノタロウECプラットフォームを支える開発運用モダナイゼーションの取り組み #devsumi
モノタロウECプラットフォームを支える開発運用モダナイゼーションの取り組み #devsumi モノタロウECプラットフォームを支える開発運用モダナイゼーションの取り組み #devsumi
モノタロウECプラットフォームを支える開発運用モダナイゼーションの取り組み #devsumi
 
ITPと、その他cookie関連のこと / ITP and cookie
ITPと、その他cookie関連のこと / ITP and cookieITPと、その他cookie関連のこと / ITP and cookie
ITPと、その他cookie関連のこと / ITP and cookie
 
WSL2使ってみた / Preview for WSL2
WSL2使ってみた / Preview for WSL2WSL2使ってみた / Preview for WSL2
WSL2使ってみた / Preview for WSL2
 
WebApp個人開発のすゝめ / Recommendation of personal web app development
WebApp個人開発のすゝめ / Recommendation of personal web app developmentWebApp個人開発のすゝめ / Recommendation of personal web app development
WebApp個人開発のすゝめ / Recommendation of personal web app development
 
大規模フロントエンドのクリーンアーキテクチャ化 ~ 年間売上1,000億円企業モノタロウの取組み ~
大規模フロントエンドのクリーンアーキテクチャ化 ~ 年間売上1,000億円企業モノタロウの取組み ~大規模フロントエンドのクリーンアーキテクチャ化 ~ 年間売上1,000億円企業モノタロウの取組み ~
大規模フロントエンドのクリーンアーキテクチャ化 ~ 年間売上1,000億円企業モノタロウの取組み ~
 
レガシーコードに向き合ってみた話
レガシーコードに向き合ってみた話レガシーコードに向き合ってみた話
レガシーコードに向き合ってみた話
 
モノタロウ AIストアのひみつ #devsumiA
モノタロウ AIストアのひみつ #devsumiAモノタロウ AIストアのひみつ #devsumiA
モノタロウ AIストアのひみつ #devsumiA
 
社内勉強会を続けるには(2016.10.07 DevLove 関西)
社内勉強会を続けるには(2016.10.07 DevLove 関西)社内勉強会を続けるには(2016.10.07 DevLove 関西)
社内勉強会を続けるには(2016.10.07 DevLove 関西)
 
Pythonエンジニアの最適なキャリアを考える (PyCon JP 2016 ジョブフェア LT)
Pythonエンジニアの最適なキャリアを考える (PyCon JP 2016 ジョブフェア LT)Pythonエンジニアの最適なキャリアを考える (PyCon JP 2016 ジョブフェア LT)
Pythonエンジニアの最適なキャリアを考える (PyCon JP 2016 ジョブフェア LT)
 
マイクロサービスを利用する側のパフォーマンス向上策 (PyCon JP 2016)
マイクロサービスを利用する側のパフォーマンス向上策 (PyCon JP 2016)マイクロサービスを利用する側のパフォーマンス向上策 (PyCon JP 2016)
マイクロサービスを利用する側のパフォーマンス向上策 (PyCon JP 2016)
 

JDMC LT#1 - なぜモノタロウでデータマネジメントが必要になったのか

  • 2. 2 ● IT部門データ基盤グループマネージャー ● 2016年中途入社 ● 入社後、マーケティングシステムの運用を 行いながら、データ基盤の構築/運用をす すめた。現在はデータ管理と基幹システム のモダナイゼーションに取り組んでいる。 香川和哉
  • 3. 3 ● 2000年 10月設立 ● BtoB を対象に、自ら間接資材の 在庫を持ち、自らオンラインで売る EC 企業 ● コールセンター、商品採用、物流、 マーケティング、データサイエンス、 IT など多くの業務とシステムを 自社開発、自社運用している ● 商品数 :1,900 万点 市場規模:5~10 兆円 MonotaROについて
  • 4. ● 現在のモノタロウのデータ基盤とデータマネジ メントの取り組み ● 現在に至るまでの歴史 ○ → モノタロウでデータマネジメントがなぜ 必要になったのか ● データマネジメントをすすめる上でのポイント 4 今日話すこと
  • 6. 6 自動連携 個別の同期システム (個別の組織で管理) Log パイプライン Real-Time DB Pipeline 個別の同期システム 6 BigQuery 基幹, ECサイト RDB 受発注, 顧客, 商品, 在庫, … Google Analytics その他システムデータ 顧客行動ログ収集, 検索システム … その他パッケージ システムデータ WMS, カスタマーサポート … Log CDN, WebServer, Application Data Lake DWH Data Mart プロジェクト個別 マーケター データ サイエンティスト 商品採用 Apps Script Sheets Data Portal SQL Python など その他 ツール エンジニア その他 全部門 レポーティング SQL による分析 ML での最適化や予測 業務オペレーション 大規模データ処理 他システムとの連携 などなど データソース 統合 データ管理 利用ツール 利用者 ユースケース
  • 7. 7 現在のモノタロウでのデータマネジメントの取り組み例 ● データマートの構築 ○ 業務部門メンバーと協力しながら Looker を利用してデータマートを構築 ○ SQLなどのスキルに関わらずデータを活用できる環境の実現を目指す ● 並行して、DWH を構築 ○ もともと存在していた他部門の既存の独自DWHを分解して再構成 ○ dbt (ツール) によって BigQuery でのDWH構築処理を管理 Looker (データマート) BigQuery Data Lake DWH データモデル (LookML) ダッシュボード dbt
  • 8. ● Innovators Hive at Next ’22に登壇しBigQueryの学び方や社内での利用促 進、データ管理について話しました - MonotaRO Tech Blog ● データ管理に役立つメタデータに関する勉強会を社内外で開催しました - MonotaRO Tech Blog ● MonotaROのデータ基盤10年史(後編) ● MonotaROのデータ基盤10年史(前編) ● SQLを使った監視でデータ基盤の品質を向上させる - MonotaRO Tech Blog ● 分析者や予算承認者の視点に立ちつつ、BigQuery Flex Slotsの適切なスロッ ト数を定量的に決定する方法を紹介します - MonotaRO Tech Blog 8 その他の事例
  • 10. 10 販促基盤とDWH (2010 ~ 2015) システム ● 基幹, ECサイトのシステムからデータを集約して 販促 用DWH を構築 (同期は 日次, 100テーブル程度) ● 機械学習を用いたレコメンドなど高度なマーケティン グが可能になった ● また SQL Server Analysis Service を用いたBIを構 築。 KPI ベースでの施策立案がより簡単に可能に。 データ利用者 ● データ分析スキルをもつ従業員はマーケティング 部門に集中しており全社のデータ活用をマーケ ティング部門がサポート マーケ用 MySQL Campaign Managment その他DB その他DB 基幹/EC DB ML BI SQLによる分析 MLによる予測 BIレポート マーケティング部門 の一部のメンバー 日次でのデータ同期 (100テーブル程度) DWH として機能
  • 11. 11 データ分析人材の展開 - 2016年頃 マーケティング部門 ● 組織拡大と事業規模の拡大に合わせて新規部門を設立 ● マーケティング部門に所属していたデータ分析人材は新部門や別部門に異動することでデー タ分析の機能を全部門に展開 ● それまでの販促基盤ではなく全社レベルでのデータ基盤が必要に A部門 B部門 C部門 分析依頼 データ マーケティング部門 A部門 B部門 C部門 新メンバーの入社 分析スキルをもつメ ンバーの他部門への 展開
  • 12. 12 12 Engineer/Scientist (100人 ~ ) Users (100人 ~ ) 基幹システム & EC アプリケーション DWH & DataMart BigQuery Application Cloud Storage Apps Script Sheets Data Portal マーチャンダイ ザー マーケター カスタマサ ポート 物流 Application Database Database リアルタイム データパイプライン by (遅延:3分, テーブル:1,000~) ITエンジニア SQL データ サイエンティスト ● 基幹システム, ECサイトのDB(MySQL)からニアリアルタイムにBigQueryにデータを同期 ○ MySQL の Binary log を利用しており、任意の時点のデータを再現可能 ● BigQueryによってデータ量や処理量などオンプレ時代と比較して圧倒的なスケーラビリティを得 ることができた。 ● SQLや Looker Studio (旧データポータル) の勉強会なども開催。 ● 分析に限らず業務における様々なユースケースで利用されるようになった。 ● 利用ユーザも大幅に増加し、全部門で利用されるようになった。 BigQueryの導入と展開 - 2016 ~ 2019
  • 13. 13 新たなデータ活用の課題 - 2020 ● データ管理や活用の局所最適化 ○ 個別部署内の独自管理がすすんでいる ○ 業務/組織等を横断した共有や活用が困難 ■ 指標の定義の違いによるコミュニケーションの齟齬も ● データの使い方がわからない ○ データに関する情報が散在し、アクセスできない ○ SQLの知識がなければ集計・分析できない ■ 関数の利用や複雑なJoin
  • 14. 14 (再掲) 現在のモノタロウでのデータマネジメントの取り組み例 ● 業務部門と協力しながら Looker/LookML(モデル定義言語) を利用して全社統一された データマート を構築し更にBIとしても活用しSQLなどの分析スキルに関わらずデータを活 用できる環境の実現を目標として実施。現在継続中。 ● 並行して、DWH を構築 ○ 他部門の既存の独自DWHを分解して再構成 ○ dbt (ツール) によって BigQuery でのDWH構築処理を管理 Looker (データマート) BigQuery Data Lake DWH データモデル (LookML) ダッシュボード Looker上ではモデルの定義のみ存在。 動的にBigQueryに対してクエリを実行 しデータモデルを元にデータを作る。 dbt
  • 15. 15 なぜモノタロウでデータマネジメントが必要になったのか ~ 2010 基幹システムか らの抽出と Excel 2010 ~ 2015 販促基盤 2016 ~ 2017 BigQuery 導入 2020~2021 データ管理導入 Looker導入 DWH構築 2018 ~ 2019 BigQuery展開 2022 ~ データ管理展開 Looker展開 DWH展開 特定の人だけ 使える 特定の部署だ け使える 自由に 使える より多くの人がより 自由に使える 自由, 安心, 安全, 簡 単に使える 自由に使えるが 簡単ではない ● 利用にはSQLやデータ仕様の理解が必要な状態は継続しており自 由ではあるが簡単とは言い難い ● 各部署でデータや指標管理が独自で行われ、統制がとれておらず、 さらなるデータ活用は困難になってきた データ分析人材が 全社に展開
  • 17. ● データマネジメントは一見地味で経営層や利用者に必要性が 伝わりにくい。 ● 課題に対するソリューションとしてデータマネジメントに取 り組んでいることを明確にする必要がある。 ● そのためにはデータ活用のボトルネックを順に解決して、 データマネジメントが必要な状況に至る必要がある。 17 データマネジメントをすすめる上でのポイント
  • 18. 18 © 2020 MonotaRO Co., Ltd. All Rights Reserved.