2021/10/28 MonotaRO Tech Talk #9 (データマネジメント編) https://monotaro.connpass.com/event/226592/

1. MonotaRO のデータ活用と基盤の
過去、現在、未来
1
2021.10.28
© 2021 MonotaRO Co., Ltd. All Rights Reserved.

2. ● 名前: 香川和哉
● データ基盤グループ マネージャ
● 入社 6年目 (マネージャ 4年目)
● 販促(マーケ)基盤運用 → データ基盤構築/運用 → データ管理
● データエンジニアリング, クラウドインフラ あたりの経験が多め
● 前職は社員5人の会社でWebアプリ(フロントからインフラまで),
スマホアプリ, 企画から営業まで担当
● 2歳の娘がいます
2
自己紹介

3. ● MonotaRO について
● データ基盤の過去と現在
● データ基盤の未来
3
今日話すこと

4. MonotaRO について
4

5. 5
● 2000年 10月設立
● BtoB を対象に、自ら間接資材の
在庫を持ち、自らオンラインで売る
EC 企業
● コールセンター、商品採用、物流、
マーケティング、データサイエンス、
IT など多くの業務とシステムを
自社開発、自社運用している
フルスタック EC カンパニー
● 商品数 ：1,800 万点 (在庫 50万点)
市場規模：5～10 兆円
MonotaROについて

6. 6
2021年
1,800億円超を計画
リーマンショック
コロナウイルス
MonotaROの成長
● 年率 20%以上の成長を11年継続
● システムは常にキャパシティとの戦いでもある

7. ❏ 管理部門
❏ サプライチェーンマネジメント部門
❏ 商品部門
❏ 商品開発部門
❏ データマーケティング部門
❏ ECシステムエンジニアリング部門
❏ 海外事業部門
❏ カスタマーサポート部門
❏ エンタープライズビジネス部門
❏ IT部門
❏ 物流部門
7
MonotaROの組織
● 全 11部門
● 社員数 576人 (2021年 10月)
● 30%程度がテック職

8. 8
EC サイト
商品情報管理
CRM
受注管理
マーケティング
倉庫管理
その他
サブシステム
人事
会計
Data Platform
MonotaROのシステム全体のイメージ

9. データ基盤の歴史
9

10. 10
データ基盤の歴史: 全体像
~ 2010
基幹システムか
らの抽出と
Excel
2010 ~ 2015
販促基盤
2016 ~ 2017
BigQuery
導入 2020~2021
データ管理導入
Looker導入
DWH構築
2018 ~ 2019
BigQuery展開
2018 ~ 2019
他システム連携
DDP
EC基盤への展開
2020~2021
サーチ基盤
2022 ~
データ管理展開
Looker展開
DWH展開
2022 ~
??

11. 販促基盤によるデータ活用高度化
2010 ~ 2015
11

12. 12
データ基盤の歴史: 全体像
~ 2010
基幹システムか
らの抽出と
Excel
2010 ~ 2015
販促基盤
2016 ~ 2017
BigQuery
導入 2020~2021
データ管理導入
Looker導入
DWH構築
2018 ~ 2019
BigQuery展開
2018 ~ 2019
他システム連携
DDP
EC基盤への展開
2020~2021
サーチ基盤
2022 ~
データ管理展開
Looker展開
DWH展開
2022 ~
??

13. 13
販促基盤とDWH (2010 ~ 2015頃)
システム
● 基幹, ECサイトのシステムからデータを集約して 販促
用DWH を構築 (同期は 日次, 100テーブル程度)
● KXEN(今は SAP Predictive Analytics) による機械学
習を用いたレコメンドなど高度なマーケティングが可
能になった
● また SQL Server Analysis Service を用いたBIを構
築。 KPI ベースでの施策立案がより簡単に可能に。
データ利用者
● データ分析スキルをもつ従業員はマーケティング
部門に集中しており全社のデータ活用をマーケ
ティング部門がサポート
マーケ用
MySQL
Campaign
Managment
その他DB
その他DB
基幹/EC
DB
ML (KXEN)
BI
SQLによる分析
MLによる予測
BIレポート マーケティング部門
の一部のメンバー
日次でのデータ同期
(100テーブル程度)
DWH として機能

14. 課題
● マシンリソースの枯渇
○ 負荷軽減のためのハックが複雑化を招き運用コスト高
○ 複雑さにより変更コスト高く、データ同期対象も追加
も困難に
○ 利用ユーザ管理も限定
→ 全社のデータ活用の基盤としては利用ができない
14
販促基盤とDWHでの成果と課題
成果
● DWH, 機械学習基盤, BI という構成を小規模ながら
構築
● マーケティング部門に SQL を使ってデータを利用
する文化が根付いた
● BIを社内展開することでマーケティング部門以外で
もデータをみて意思決定できる環境が一定できた
マーケ用
MySQL
Campaign
Managment
その他DB
その他DB
基幹/EC
DB
ML (KXEN)
BI
SQLによる分析
MLによる予測
BIレポート マーケティング部門
の一部のメンバー
DWH として機能
日次でのデータ同期
(100テーブル程度)

15. BigQuery の導入
2016 ~ 2017
15

16. 16
データ基盤の歴史: 全体像
~ 2010
基幹システムか
らの抽出と
Excel
2010 ~ 2015
販促基盤
2016 ~ 2017
BigQuery
導入 2020~2021
データ管理導入
Looker導入
DWH構築
2018 ~ 2019
BigQuery展開
2018 ~ 2019
他システム連携
DDP
EC基盤への展開
2020~2021
サーチ基盤
2022 ~
データ管理展開
Looker展開
DWH展開
2022 ~
??

17. マーケティング部門
17
データ分析人材の他部門への展開 (2016)
● 組織の拡大と事業規模の拡大に合わせて新規部門を設立
● マーケティング部門に所属していたデータ分析人材は新部門や別部門に異動することでデー
タ分析の機能を全社の部門に展開
● それまでの販促基盤ではなく全社レベルでのデータ基盤が必要に
A部門
B部門
C部門
分析依頼
データ
マーケティング部門
A部門
B部門
C部門
新メンバーの入社
分析スキルをもつメ
ンバーの他部門への
展開

18. 18
BQ導入とデータ同期システムの開発(2017)
EngineerScientist
(50人 ~ )
Users (40人 ~ )
基幹システム &
EC アプリケーション
DWH & DataMart
BigQuery
Application
Cloud
Storage
Apps Script
Sheets
Data Portal
マーチャンダイ
ザー
マーケター
カスタマサ
ポート
物流
Application
Database
Database
リアルタイム データパイプライン by (遅延:3分, テーブル:1,000～)
ITエンジニア
SQL
データ
サイエンティスト
● 社内のMySQL からニアリアルタイムにBigQueryにデータを同期するシステムを開発
○ MySQL の Binary log を利用(Change Data Capture)
● BigQueryによって販促基盤DWHと比較して圧倒的なスケーラビリティを獲得
● Google Workspace(当時はGSuite) と GCP のアカウント連携によって利用ユーザの管理も簡単にな
り利用者も増加

19. 19
BigQuery 導入における成果と課題
扱えるデータ量 作成されたレポート数 SQL 業務利用者人数
10× 10× 4×
～ 100 テーブル
1000 テーブル～
～ 30 レポート
300 レポート～
～ 10 人
40 人～
( IT エンジニア以外)

20. BigQuery の展開
2018 ~ 2020
20

21. 21
データ基盤の歴史: 全体像
~ 2010
基幹システムか
らの抽出と
Excel
2010 ~ 2015
販促基盤
2016 ~ 2017
BigQuery
導入 2020~2021
データ管理導入
Looker導入
DWH構築
2018 ~ 2019
BigQuery展開
2018 ~ 2019
他システム連携
DDP
EC基盤への展開
2020~2021
サーチ基盤
2022 ~
データ管理展開
Looker展開
DWH展開
2022 ~
??

22. データ同期システムv2 (2018)
● Binlogを利用するというアプローチはそのままに実装としては完全にリプレース
● 誰でもニアリアルタイムのデータを利用できるように
○ 分析以外での用途(業務上必要なデータの抽出) でも利用されるように
■ 分析 → オペレーションのサイクルがより早くなった
● 監視や運用自動化をすすめ体制強化し、空いた工数でMySQL以外のデータの拡
充にも着手 (WMSのデータ, ウェブサーバログ など)
Engineer, Scientist
(100人 ~ )
Users (100人 ~ )
基幹システム &
EC アプリケーション
DWH & DataMart
BigQuery
Application
Apps Script
Sheets
Data Portal
マーチャンダイ
ザー
マーケター
カスタマサ
ポート
物流
Application
Database
Database
リアルタイムデータパイプラインV2 by (遅延: ~1分, テーブル:1,000～)
ITエンジニア
SQL
データ
サイエンティスト
Pub/Sub
Compute
Engine

23. 23
● サポート体制の構築
○ Slack でのヘルプデスク用チャネルの運用
○ データ基盤Gによる業務利用のサポート
● SpreadSheetとGASで作成したジョブスケジュールツールの
提供
● BigQuery とデータ基盤の説明会の実施
● その他勉強会の実施(全社, グループ個別, 新入社員)
○ BigQuery + SQL 勉強会
○ Data Studio 勉強会
データ基盤の全社展開 (2018, 2019)

24. 現在の状況と課題
24

25. 25
データ基盤の歴史: 全体像
~ 2010
基幹システムか
らの抽出と
Excel
2010 ~ 2015
販促基盤
2016 ~ 2017
BigQuery
導入 2020~2021
データ管理導入
Looker導入
DWH構築
2018 ~ 2019
BigQuery展開
2018 ~ 2019
他システム連携
DDP
EC基盤への展開
2020~2021
サーチ基盤
2022 ~
データ管理展開
Looker展開
DWH展開
2022 ~
??

26. ● 基幹システム, ECサイトシステムのMySQL (約30スキーマ 1200超の
テーブル)
○ 受注, 発注, 商品, 顧客, 在庫, 販促 ...
● Webサーバ, アプリケーションサーバ のLog, CDN(Akamai) のログ
● Google Analytics (ECサイト行動データ)
● WMS(Warehouse Management System)
● 顧客からの問い合わせ
● 各種サブシステムがもつシステム情報
● 業務やプロジェクトで生成したデータ
26
どんなデータがどれくらいあるのか

27. ● 利用ユーザ: 350人以上/月
○ 全部門が利用
○ 分析から 業務オペレーション用ツール , システムの
メトリクスの保存までユースケースは様々
● クエリ実行数: 270万 以上/月
○ 一日 9万回実行されている
27
どれくらい利用されているのか

28. ● 各種KPIレポート
● ECサイトのレコメンデーション
● 検索エンジンの Indexing 用データ作成
● 販促対象顧客選定
● 需要予測、在庫最適化
● …
28
利用例

29. 29
課題: データ/指標が管理されていない
データに関する情報が集約管理されておらず、次のような問題が
発生している。
● データ管理やデータ定義の局所最適化が進んでいる
○ 個別・グループ内の管理に留まっている
○ 業務/組織等を横断した共有や活用が困難
● データの使い方がわからない
○ データに関する情報が散在し、アクセスできない
○ SQLを書けなければ集計・分析できない

30. ~ 2010
基幹システムか
らの抽出と
Excel
2010 ~ 2015
販促基盤
2016 ~ 2017
BigQuery
導入 2020~2021
データ管理導入
Looker導入
DWH構築
2018 ~ 2019
BigQuery展開
2018 ~ 2019
他システム連携
DDP
EC基盤への展開
2020~2021
サーチ基盤
2022 ~
データ管理展開
Looker展開
DWH展開
2022 ~
??
30
データ基盤の歴史: ユーザの利用状況の変遷
特定の人だけ
使える
特定の部署だ
け使える
自由に
使える
より自由に
使える
自由, 安心, 安全, 簡
単に使える
自由に使えるが
難しい
● データが集約される仕組みはできた
● ユーザのユースケースもスキルレベルの幅も広がったため
誰もが簡単に利用するには難しくなってきた
→ より簡単に、安心して使えるようにする必要がある

31. 現在の取り組み
2020~2021
31

32. ● 2021年 5月よりデータ管理にフォーカスする組織として新
たに体制を構築
● 課題とあるべき体制について経営層に説明と合意
● ミッションを新たに定め、チームビルディングを実施
データ管理組織の立ち上げ

33. ● データ管理は領域も広く計画なしには効率的にすすめられない
● DMBOKをベースとしたアセスメントを実施し課題を把握
● 課題の重要度、緊急度を評価してロードマップを作成する
33
データ管理中長期ロードマップの作成
アセスメントの結果を基に
依存関係を整理してロード
マップを構築

34. 34
データ基盤とDWH / BI (2021)
● Looker/LookML(モデル定義言語) を利用して全社統一された データマート を構築し更に
BIとしても活用しSQLなどの分析スキルに関わらずデータを活用できる環境の実現を目標と
して実施。現在継続中。
● 並行して、IT部門や業務部門と協力しながら DWH を構築
○ 他部門の既存の独自DWHを分解して再構成
○ dbt (ツール) によって BigQuery でのDWH構築処理を管理
Looker (データマート)
BigQuery
Data Lake DWH
データモデル
(LookML)
ダッシュボード
Looker上ではモデルの定義のみ存在。
動的にBigQueryに対してクエリを実行
しデータモデルを元にデータを作る。
dbt

35. MonotaROのデータ基盤の未来
35

36. 36
データ基盤の今後
~ 2010
基幹システムか
らの抽出と
Excel
2010 ~ 2015
販促基盤
2016 ~ 2017
BigQuery
導入 2020~2021
データ管理導入
Looker導入
DWH構築
2018 ~ 2019
BigQuery展開
2018 ~ 2019
他システム連携
DDP
EC基盤への展開
2020~2021
サーチ基盤
2022 ~
データ管理展開
Looker展開
DWH展開
2022 ~
??
より自由に
使える
自由, 安心, 安全, 簡
単に使える
自由に使えるが
難しい
特定の人だけ
使える
特定の部署だ
け使える
自由に
使える

37. P: 計画 D: 実行
C: 評価
A: 改善立案

38. P: 計画 D: 実行
C: 評価
A: 改善立案
新機能作成, 既
存機能変更など
の要求
ビジネス戦略/戦
術
プロジェクト計
画
概要設計書
システムと
DB
プロジェクト化
計画立案
概要設計
詳細設計/実装
データ収集
分析
レポート
施策立案
戦略/戦術立案
分析用
データ

39. P: 計画 D: 実行
C: 評価
A: 改善立案
新機能作成, 既
存機能変更など
の要求
ビジネス戦略/戦
術
プロジェクト計
画
概要設計書
システムと
DB
プロジェクト化
計画立案
概要設計
詳細設計/実装
データ収集
分析
レポート
施策立案
戦略/戦術立案
分析用
データ
ボトルネック
~ 2015年(販促基盤とDWH)

40. P: 計画 D: 実行
C: 評価
A: 改善立案
新機能作成, 既
存機能変更など
の要求
ビジネス戦略/戦
術
プロジェクト計
画
概要設計書
システムと
DB
プロジェクト化
計画立案
概要設計
詳細設計/実装
データ統合
分析
レポート
施策立案
戦略/戦術立案 データレイク
2016 ~ 2018年(データ基盤の導入)

41. P: 計画 D: 実行
C: 評価
A: 改善立案
新機能作成, 既
存機能変更など
の要求
ビジネス戦略/戦
術
プロジェクト計
画
概要設計書
システムと
DB
プロジェクト化
計画立案
概要設計
詳細設計/実装
データ統合
分析
レポート
施策立案
戦略/戦術立案 データレイク
ボトルネック
2019 ~ 2020年(データ基盤の展開)

42. P: 計画 D: 実行
C: 評価
A: 改善立案
新機能作成, 既
存機能変更など
の要求
ビジネス戦略/戦
術
プロジェクト計
画
概要設計書
システムと
DB
プロジェクト化
計画立案
概要設計
詳細設計/実装
データ統合
分析
施策立案
戦略/戦術立案
DWH
データレイク
データマート
業務指標
モデリング
分析ドメイン
モデリング
2021年(現在)

43. P: 計画 D: 実行
C: 評価
A: 改善立案
新機能作成, 既
存機能変更など
の要求
ビジネス戦略/戦
術
プロジェクト計
画
概要設計書
システムと
DB
プロジェクト化
計画立案
概要設計
詳細設計/実装
データ統合
分析
施策立案
戦略/戦術立案
DWH
データレイク
データマート
業務指標
モデリング
分析ドメイン
モデリング
2021年(見えてきた課題)
システムアーキテクチャ
の大規模な変更
ボトルネック
業務とシステムの複雑
化とナレッジの偏在
ボトルネック

44. P: 計画
新機能作成, 既
存機能変更など
の要求
ビジネス戦略/戦
術
プロジェクト計
画
概要設計書
システムと
DB
プロジェクト化
計画立案
概要設計
詳細設計/実装
データ統合
分析
施策立案
戦略/戦術立案
DWH
データレイク
データマート
業務指標
モデリング
分析ドメイン
モデリング
エンジニア
プロデューサ/部門長
分析官 データ基盤
システムアーキテクチャ
の大規模な変更
ボトルネック
業務とシステムの複雑
化とナレッジの偏在
ボトルネック
担当者と責任範囲

45. P: 計画
新機能作成, 既存
機能変更などの要
求
ビジネス戦略/戦術
プロジェクト計画
概要設計書
システムと
DB
プロジェクト化
計画立案
概要設計
詳細設計/実装
データ統合
分析
施策立案
戦略/戦術立案
DWH
データレイク
データマート
業務指標
モデリング
分析ドメイン
モデリング
エンジニア
プロデューサ/部門長
分析官
データ基盤
プロデューサ体制
(2019)
これまでの取り組み
システムアーキテク
チャの大規模な変更
ボトルネック
業務とシステムの複雑
化とナレッジの偏在
ボトルネック

46. P: 計画
新機能作成, 既存
機能変更などの要
求
ビジネス戦略/戦術
プロジェクト計画
概要設計書
システムと
DB
プロジェクト化
計画立案
概要設計
詳細設計/実装
データ統合
分析
施策立案
戦略/戦術立案
DWH
データレイク
データマート
業務指標
モデリング
分析ドメイン
モデリング
エンジニア
プロデューサ/部門長
分析官
データ基盤
プロデューサ体制
(2019)
DWH, データマート構築
(2021)
これまでの取り組み
システムアーキテク
チャの大規模な変更
ボトルネック
業務とシステムの複雑
化とナレッジの偏在
ボトルネック

47. P: 計画
新機能作成, 既存
機能変更などの要
求
ビジネス戦略/戦術
プロジェクト計画
概要設計書
システムと
DB
プロジェクト化
計画立案
概要設計
詳細設計/実装
データ統合
分析
施策立案
戦略/戦術立案
DWH
データレイク
データマート
業務指標
モデリング
分析ドメイン
モデリング
エンジニア
プロデューサ/部門長
分析官
データ基盤
プラットフォームベース IT組織
とデータメッシュを指向した基盤と
組織
データ活用管理のための全社
横断CoE
プロダクトマネージャ体制
DWH, データマート構築
データ管理の展開
これからの取組み
システムアーキテク
チャの大規模な変更
ボトルネック
業務とシステムの複雑
化とナレッジの偏在
ボトルネック

48. データ基盤の未来まとめ
● システムも組織もデータ管理をすすめることで解
決できる課題領域が全社にまたがって存在する
● よってデータ管理の課題に全社で取り組む
● データ基盤グループは組織とシステムと両方で
リーダーシップをとってこれらを達成する
48

49. 49
© 2021 MonotaRO Co., Ltd. All Rights Reserved.