Successfully reported this slideshow.
Your SlideShare is downloading. ×

JDMC LT#1 - なぜモノタロウでデータマネジメントが必要になったのか

Ad
Ad
Ad
Ad
Ad
Ad
Ad
Ad
Ad
Ad
Ad

Check these out next

1 of 18 Ad

JDMC LT#1 - なぜモノタロウでデータマネジメントが必要になったのか

Download to read offline

https://jdmc.connpass.com/event/267021/
での登壇資料。

登壇者
株式会社MonotaRO(モノタロウ) IT部門 データ基盤グループ 香川和哉

https://jdmc.connpass.com/event/267021/
での登壇資料。

登壇者
株式会社MonotaRO(モノタロウ) IT部門 データ基盤グループ 香川和哉

Advertisement
Advertisement

More Related Content

Similar to JDMC LT#1 - なぜモノタロウでデータマネジメントが必要になったのか (20)

More from 株式会社MonotaRO Tech Team (20)

Advertisement

Recently uploaded (20)

JDMC LT#1 - なぜモノタロウでデータマネジメントが必要になったのか

  1. 1. なぜモノタロウでデータマネジメン トが必要になったのか 株式会社MonotaRO IT部門データ基盤グループ長 香川和哉 1 2022.12.16 © 2020 MonotaRO Co., Ltd. All Rights Reserved.
  2. 2. 2 ● IT部門データ基盤グループマネージャー ● 2016年中途入社 ● 入社後、マーケティングシステムの運用を 行いながら、データ基盤の構築/運用をす すめた。現在はデータ管理と基幹システム のモダナイゼーションに取り組んでいる。 香川和哉
  3. 3. 3 ● 2000年 10月設立 ● BtoB を対象に、自ら間接資材の 在庫を持ち、自らオンラインで売る EC 企業 ● コールセンター、商品採用、物流、 マーケティング、データサイエンス、 IT など多くの業務とシステムを 自社開発、自社運用している ● 商品数 :1,900 万点 市場規模:5~10 兆円 MonotaROについて
  4. 4. ● 現在のモノタロウのデータ基盤とデータマネジ メントの取り組み ● 現在に至るまでの歴史 ○ → モノタロウでデータマネジメントがなぜ 必要になったのか ● データマネジメントをすすめる上でのポイント 4 今日話すこと
  5. 5. モノタロウのデータ基盤 5
  6. 6. 6 自動連携 個別の同期システム (個別の組織で管理) Log パイプライン Real-Time DB Pipeline 個別の同期システム 6 BigQuery 基幹, ECサイト RDB 受発注, 顧客, 商品, 在庫, … Google Analytics その他システムデータ 顧客行動ログ収集, 検索システム … その他パッケージ システムデータ WMS, カスタマーサポート … Log CDN, WebServer, Application Data Lake DWH Data Mart プロジェクト個別 マーケター データ サイエンティスト 商品採用 Apps Script Sheets Data Portal SQL Python など その他 ツール エンジニア その他 全部門 レポーティング SQL による分析 ML での最適化や予測 業務オペレーション 大規模データ処理 他システムとの連携 などなど データソース 統合 データ管理 利用ツール 利用者 ユースケース
  7. 7. 7 現在のモノタロウでのデータマネジメントの取り組み例 ● データマートの構築 ○ 業務部門メンバーと協力しながら Looker を利用してデータマートを構築 ○ SQLなどのスキルに関わらずデータを活用できる環境の実現を目指す ● 並行して、DWH を構築 ○ もともと存在していた他部門の既存の独自DWHを分解して再構成 ○ dbt (ツール) によって BigQuery でのDWH構築処理を管理 Looker (データマート) BigQuery Data Lake DWH データモデル (LookML) ダッシュボード dbt
  8. 8. ● Innovators Hive at Next ’22に登壇しBigQueryの学び方や社内での利用促 進、データ管理について話しました - MonotaRO Tech Blog ● データ管理に役立つメタデータに関する勉強会を社内外で開催しました - MonotaRO Tech Blog ● MonotaROのデータ基盤10年史(後編) ● MonotaROのデータ基盤10年史(前編) ● SQLを使った監視でデータ基盤の品質を向上させる - MonotaRO Tech Blog ● 分析者や予算承認者の視点に立ちつつ、BigQuery Flex Slotsの適切なスロッ ト数を定量的に決定する方法を紹介します - MonotaRO Tech Blog 8 その他の事例
  9. 9. モノタロウのデータ基盤の歴史 9
  10. 10. 10 販促基盤とDWH (2010 ~ 2015) システム ● 基幹, ECサイトのシステムからデータを集約して 販促 用DWH を構築 (同期は 日次, 100テーブル程度) ● 機械学習を用いたレコメンドなど高度なマーケティン グが可能になった ● また SQL Server Analysis Service を用いたBIを構 築。 KPI ベースでの施策立案がより簡単に可能に。 データ利用者 ● データ分析スキルをもつ従業員はマーケティング 部門に集中しており全社のデータ活用をマーケ ティング部門がサポート マーケ用 MySQL Campaign Managment その他DB その他DB 基幹/EC DB ML BI SQLによる分析 MLによる予測 BIレポート マーケティング部門 の一部のメンバー 日次でのデータ同期 (100テーブル程度) DWH として機能
  11. 11. 11 データ分析人材の展開 - 2016年頃 マーケティング部門 ● 組織拡大と事業規模の拡大に合わせて新規部門を設立 ● マーケティング部門に所属していたデータ分析人材は新部門や別部門に異動することでデー タ分析の機能を全部門に展開 ● それまでの販促基盤ではなく全社レベルでのデータ基盤が必要に A部門 B部門 C部門 分析依頼 データ マーケティング部門 A部門 B部門 C部門 新メンバーの入社 分析スキルをもつメ ンバーの他部門への 展開
  12. 12. 12 12 Engineer/Scientist (100人 ~ ) Users (100人 ~ ) 基幹システム & EC アプリケーション DWH & DataMart BigQuery Application Cloud Storage Apps Script Sheets Data Portal マーチャンダイ ザー マーケター カスタマサ ポート 物流 Application Database Database リアルタイム データパイプライン by (遅延:3分, テーブル:1,000~) ITエンジニア SQL データ サイエンティスト ● 基幹システム, ECサイトのDB(MySQL)からニアリアルタイムにBigQueryにデータを同期 ○ MySQL の Binary log を利用しており、任意の時点のデータを再現可能 ● BigQueryによってデータ量や処理量などオンプレ時代と比較して圧倒的なスケーラビリティを得 ることができた。 ● SQLや Looker Studio (旧データポータル) の勉強会なども開催。 ● 分析に限らず業務における様々なユースケースで利用されるようになった。 ● 利用ユーザも大幅に増加し、全部門で利用されるようになった。 BigQueryの導入と展開 - 2016 ~ 2019
  13. 13. 13 新たなデータ活用の課題 - 2020 ● データ管理や活用の局所最適化 ○ 個別部署内の独自管理がすすんでいる ○ 業務/組織等を横断した共有や活用が困難 ■ 指標の定義の違いによるコミュニケーションの齟齬も ● データの使い方がわからない ○ データに関する情報が散在し、アクセスできない ○ SQLの知識がなければ集計・分析できない ■ 関数の利用や複雑なJoin
  14. 14. 14 (再掲) 現在のモノタロウでのデータマネジメントの取り組み例 ● 業務部門と協力しながら Looker/LookML(モデル定義言語) を利用して全社統一された データマート を構築し更にBIとしても活用しSQLなどの分析スキルに関わらずデータを活 用できる環境の実現を目標として実施。現在継続中。 ● 並行して、DWH を構築 ○ 他部門の既存の独自DWHを分解して再構成 ○ dbt (ツール) によって BigQuery でのDWH構築処理を管理 Looker (データマート) BigQuery Data Lake DWH データモデル (LookML) ダッシュボード Looker上ではモデルの定義のみ存在。 動的にBigQueryに対してクエリを実行 しデータモデルを元にデータを作る。 dbt
  15. 15. 15 なぜモノタロウでデータマネジメントが必要になったのか ~ 2010 基幹システムか らの抽出と Excel 2010 ~ 2015 販促基盤 2016 ~ 2017 BigQuery 導入 2020~2021 データ管理導入 Looker導入 DWH構築 2018 ~ 2019 BigQuery展開 2022 ~ データ管理展開 Looker展開 DWH展開 特定の人だけ 使える 特定の部署だ け使える 自由に 使える より多くの人がより 自由に使える 自由, 安心, 安全, 簡 単に使える 自由に使えるが 簡単ではない ● 利用にはSQLやデータ仕様の理解が必要な状態は継続しており自 由ではあるが簡単とは言い難い ● 各部署でデータや指標管理が独自で行われ、統制がとれておらず、 さらなるデータ活用は困難になってきた データ分析人材が 全社に展開
  16. 16. まとめ 16
  17. 17. ● データマネジメントは一見地味で経営層や利用者に必要性が 伝わりにくい。 ● 課題に対するソリューションとしてデータマネジメントに取 り組んでいることを明確にする必要がある。 ● そのためにはデータ活用のボトルネックを順に解決して、 データマネジメントが必要な状況に至る必要がある。 17 データマネジメントをすすめる上でのポイント
  18. 18. 18 © 2020 MonotaRO Co., Ltd. All Rights Reserved.

×