SlideShare a Scribd company logo
1 of 13
Download to read offline
データ管理に重要なことは
事業と組織の理解だった
Data Engineering Study #11「6社のデータエンジニアが振り返る2021」
株式会社MonotaRO IT部門 データ基盤グループ 吉本 直人
1
2021.12.13
© 2021 MonotaRO Co., Ltd. All Rights Reserved.
● “データ管理を推進するために
今年やってきたこと”を振り返った
● うまく行かなかった原因を探る中で、
自社の事業と組織の理解が重要だった
● 事業と組織構造を踏まえた上で
来年何をTryするか
2
発表内容
● 名前:吉本 直人(よしもと なおと)
● 2020年2月にMonotaRO入社
○ BigQueryを中心としたデータ基盤の構築・運用
○ 好きなGCPのサービス:Cloud Asset Inventory
● 採用広報(編集)もしています
○ “モノタロウ ブログ” で検索すると
noteとはてなブログがでます!
3
自己紹介
データ管理を立ち上げた2021年
4
詳しくは10月に実施した
イベントのスライドを
見てね!
● 定義の集約管理とデータ活用推進のため、
データ管理にフォーカスする体制を構築
● 他社事例を参考に、データ基盤グループで
Looker導入とDWH構築を実施
結果どうだった?
5
導入/構築は進んだ! が想定以上に工数がかかった
● データ基盤メンバーはデータ仕様がわからない...
○ コミュニケーションコストの増大
● 業務側からもらったクエリとシステム側
のデータ仕様にミスマッチがある
○ 検証して仕様の合意を取りに行く...
振り返りを行う中で事業と組織を見てみることに
モノタロウの事業
6
● 主にBtoBを対象とした間接資材のEC
● 在庫を持ち、物流、商品採用、商品開発なども
自社でやっている
○ 単一事業だが、ドメインが複数にまたがる
■ データがBtoCサービスに比べて
レコード数は少ないが、テーブル数は多い
● 2000年創業(今年で21年)
● 2021年の売上が1,800億超を見込んでいる
● 売上成長率が10年連続で約20% (3年半で2倍)
システムの移行、刷新を
定期的に実施
7
モノタロウの事業
組織構造
8
● ドメインに沿った組織構成になっている
○ 2021年12月現在、単一事業ながら12部門ある
○ ナレッジが特化的になりやすい
管理
サプライ
チェーン
物流 IT
EC
システムエ
ンジニアリ
ング
海外事業
マーケ
ティング
CX
マネジ
メント
商品 商品開発
エンタープ
ライズビジ
ネス
カスタマー
サポート
参考:https://corp.monotaro.com/organization.html
商品管理システム
エンジニア
● ドメインが幅広く、要件が複雑なため必要な知識
も異なる→ナレッジが局所化しやすい
○ 事業全体のデータ仕様の把握が困難
○ とはいえ分析時にはクロスドメインで集計を行う
9
事業と組織を理解してわかったこと
商品の仕入単価は
こう入っているよ
受注のデータは
こう入っているよ
過去に受注した商品の
仕入単価は〇〇を集計
したらとれるよ
分析官
受注システム
エンジニア
データ基盤
なんか集計結果
が変だよな...
①
② ③
ドメイン毎にエンジニアと業務担当者を
巻き込めるプラットフォームを作る
● エンジニアがDWHの構築/運用に主体的に貢献できるよう
な仕組みの整備
○ dbtを使ってSQLのみで品質の高いDWHの構築/運用
● システム側と業務側で相互に
コミュニケーションをとるための体制づくり
10
データ基盤の2022年
● K: データ管理の第一歩として
  Looker導入とDWH構築を実施した
● P: 想定以上にリソースを使った
○ 自社の事業や組織を理解せずに他社事例を
参考にするとうまくいかなかった
● T: DWH構築だけでなく、
 プラットフォームづくりを行う
11
まとめ
やることがありすぎて人が足りない!
もっと事例を出していきたい!
採用やってます!
12
宣伝
13
© 2020 MonotaRO Co., Ltd. All Rights Reserved.

More Related Content

What's hot

セールスアニマルになろう スタートアップ初期の営業戦略
セールスアニマルになろう スタートアップ初期の営業戦略セールスアニマルになろう スタートアップ初期の営業戦略
セールスアニマルになろう スタートアップ初期の営業戦略
Takaaki Umada
 

What's hot (20)

JDMC LT#1 - なぜモノタロウでデータマネジメントが必要になったのか
JDMC LT#1 - なぜモノタロウでデータマネジメントが必要になったのかJDMC LT#1 - なぜモノタロウでデータマネジメントが必要になったのか
JDMC LT#1 - なぜモノタロウでデータマネジメントが必要になったのか
 
Python に行く前に Excel で学ぶデータ分析のいろは
Python に行く前に Excel で学ぶデータ分析のいろはPython に行く前に Excel で学ぶデータ分析のいろは
Python に行く前に Excel で学ぶデータ分析のいろは
 
事業の進展とデータマネジメント体制の進歩(+プレトタイプの話)
事業の進展とデータマネジメント体制の進歩(+プレトタイプの話)事業の進展とデータマネジメント体制の進歩(+プレトタイプの話)
事業の進展とデータマネジメント体制の進歩(+プレトタイプの話)
 
楽天のデータサイエンス/AIによるビッグデータ活用
楽天のデータサイエンス/AIによるビッグデータ活用楽天のデータサイエンス/AIによるビッグデータ活用
楽天のデータサイエンス/AIによるビッグデータ活用
 
楽天における大規模データベースの運用
楽天における大規模データベースの運用楽天における大規模データベースの運用
楽天における大規模データベースの運用
 
楽天におけるビッグデータを対象としたデータサイエンス&AIの最新応用事例
楽天におけるビッグデータを対象としたデータサイエンス&AIの最新応用事例楽天におけるビッグデータを対象としたデータサイエンス&AIの最新応用事例
楽天におけるビッグデータを対象としたデータサイエンス&AIの最新応用事例
 
データ分析基盤を支えるエンジニアリング
データ分析基盤を支えるエンジニアリングデータ分析基盤を支えるエンジニアリング
データ分析基盤を支えるエンジニアリング
 
楽天のインフラ事情 2022
楽天のインフラ事情 2022楽天のインフラ事情 2022
楽天のインフラ事情 2022
 
モノタロウの1900万商品を検索する Elasticsearch構築運用事例(2022-10-26 第50回Elasticsearch 勉強会発表資料)
モノタロウの1900万商品を検索する Elasticsearch構築運用事例(2022-10-26 第50回Elasticsearch 勉強会発表資料)モノタロウの1900万商品を検索する Elasticsearch構築運用事例(2022-10-26 第50回Elasticsearch 勉強会発表資料)
モノタロウの1900万商品を検索する Elasticsearch構築運用事例(2022-10-26 第50回Elasticsearch 勉強会発表資料)
 
100PBを越えるデータプラットフォームの実情
100PBを越えるデータプラットフォームの実情100PBを越えるデータプラットフォームの実情
100PBを越えるデータプラットフォームの実情
 
先駆者に学ぶ MLOpsの実際
先駆者に学ぶ MLOpsの実際先駆者に学ぶ MLOpsの実際
先駆者に学ぶ MLOpsの実際
 
大規模なリアルタイム監視の導入と展開
大規模なリアルタイム監視の導入と展開大規模なリアルタイム監視の導入と展開
大規模なリアルタイム監視の導入と展開
 
マッチングサービスにおけるKPIの話
マッチングサービスにおけるKPIの話マッチングサービスにおけるKPIの話
マッチングサービスにおけるKPIの話
 
ChatGPTは思ったほど賢くない
ChatGPTは思ったほど賢くないChatGPTは思ったほど賢くない
ChatGPTは思ったほど賢くない
 
スタートアップの 3 分ピッチテンプレート
スタートアップの 3 分ピッチテンプレートスタートアップの 3 分ピッチテンプレート
スタートアップの 3 分ピッチテンプレート
 
なぜコンピュータを学ばなければならないのか 21世紀の君主論
なぜコンピュータを学ばなければならないのか 21世紀の君主論なぜコンピュータを学ばなければならないのか 21世紀の君主論
なぜコンピュータを学ばなければならないのか 21世紀の君主論
 
セールスアニマルになろう スタートアップ初期の営業戦略
セールスアニマルになろう スタートアップ初期の営業戦略セールスアニマルになろう スタートアップ初期の営業戦略
セールスアニマルになろう スタートアップ初期の営業戦略
 
情報共有は、なぜGoogle Docsじゃなく、 Confluenceなのか。
情報共有は、なぜGoogle Docsじゃなく、 Confluenceなのか。情報共有は、なぜGoogle Docsじゃなく、 Confluenceなのか。
情報共有は、なぜGoogle Docsじゃなく、 Confluenceなのか。
 
データ活用を俊敏に進めるためのDataOps実践方法とその高度化のためのナレッジグラフ活用の取り組み(NTTデータ テクノロジーカンファレンス 2020 ...
データ活用を俊敏に進めるためのDataOps実践方法とその高度化のためのナレッジグラフ活用の取り組み(NTTデータ テクノロジーカンファレンス 2020 ...データ活用を俊敏に進めるためのDataOps実践方法とその高度化のためのナレッジグラフ活用の取り組み(NTTデータ テクノロジーカンファレンス 2020 ...
データ活用を俊敏に進めるためのDataOps実践方法とその高度化のためのナレッジグラフ活用の取り組み(NTTデータ テクノロジーカンファレンス 2020 ...
 
データ分析基盤運⽤チームの 運⽤業務を改善してみた話
データ分析基盤運⽤チームの 運⽤業務を改善してみた話データ分析基盤運⽤チームの 運⽤業務を改善してみた話
データ分析基盤運⽤チームの 運⽤業務を改善してみた話
 

Similar to データ管理に重要なことは事業と組織の理解だった(Data Engineering Study #11 発表資料)

B01_法人営業組織のデジタル変革 ~製造業の事例にみる情報共有ポータルの構築と業務効率化~ [Microsoft Japan Digital Days]
B01_法人営業組織のデジタル変革 ~製造業の事例にみる情報共有ポータルの構築と業務効率化~ [Microsoft Japan Digital Days]B01_法人営業組織のデジタル変革 ~製造業の事例にみる情報共有ポータルの構築と業務効率化~ [Microsoft Japan Digital Days]
B01_法人営業組織のデジタル変革 ~製造業の事例にみる情報共有ポータルの構築と業務効率化~ [Microsoft Japan Digital Days]
日本マイクロソフト株式会社
 

Similar to データ管理に重要なことは事業と組織の理解だった(Data Engineering Study #11 発表資料) (20)

datatech-jp Casual Talks #5_データ基盤の立ち位置を考えるのに チームトポロジーの概念を活用した話
datatech-jp Casual Talks #5_データ基盤の立ち位置を考えるのに チームトポロジーの概念を活用した話datatech-jp Casual Talks #5_データ基盤の立ち位置を考えるのに チームトポロジーの概念を活用した話
datatech-jp Casual Talks #5_データ基盤の立ち位置を考えるのに チームトポロジーの概念を活用した話
 
【マーケティング・テクノロジーフェア 大阪 2023】 データから正しい意思決定を行うために 〜全社横断で実施したデータ活用プロジェクトの取...
【マーケティング・テクノロジーフェア 大阪 2023】 データから正しい意思決定を行うために 〜全社横断で実施したデータ活用プロジェクトの取...【マーケティング・テクノロジーフェア 大阪 2023】 データから正しい意思決定を行うために 〜全社横断で実施したデータ活用プロジェクトの取...
【マーケティング・テクノロジーフェア 大阪 2023】 データから正しい意思決定を行うために 〜全社横断で実施したデータ活用プロジェクトの取...
 
datatech-jp Casual Talks#3 データエンジニアを採用するための試行錯誤
datatech-jp Casual Talks#3  データエンジニアを採用するための試行錯誤datatech-jp Casual Talks#3  データエンジニアを採用するための試行錯誤
datatech-jp Casual Talks#3 データエンジニアを採用するための試行錯誤
 
アドテクを支える基盤 〜10Tバイト/日のビッグデータを処理する〜
アドテクを支える基盤 〜10Tバイト/日のビッグデータを処理する〜アドテクを支える基盤 〜10Tバイト/日のビッグデータを処理する〜
アドテクを支える基盤 〜10Tバイト/日のビッグデータを処理する〜
 
【TECHTRACKJP】私ってデータエンジニアなんですか?気づいたらデータエンジニアと呼ばれるようになった私がこの職種について考えた【20230725】
【TECHTRACKJP】私ってデータエンジニアなんですか?気づいたらデータエンジニアと呼ばれるようになった私がこの職種について考えた【20230725】【TECHTRACKJP】私ってデータエンジニアなんですか?気づいたらデータエンジニアと呼ばれるようになった私がこの職種について考えた【20230725】
【TECHTRACKJP】私ってデータエンジニアなんですか?気づいたらデータエンジニアと呼ばれるようになった私がこの職種について考えた【20230725】
 
クラウドを活用した自由自在なデータ分析
クラウドを活用した自由自在なデータ分析クラウドを活用した自由自在なデータ分析
クラウドを活用した自由自在なデータ分析
 
カスタマーサクセスのためのデータ整備人の活動記録
カスタマーサクセスのためのデータ整備人の活動記録カスタマーサクセスのためのデータ整備人の活動記録
カスタマーサクセスのためのデータ整備人の活動記録
 
Io tビジネスモデルに関する考察20161119
Io tビジネスモデルに関する考察20161119Io tビジネスモデルに関する考察20161119
Io tビジネスモデルに関する考察20161119
 
株式会社ジール_採用ピッチ資料(2024.3.15) _zeal recruitment pitch
株式会社ジール_採用ピッチ資料(2024.3.15) _zeal recruitment pitch株式会社ジール_採用ピッチ資料(2024.3.15) _zeal recruitment pitch
株式会社ジール_採用ピッチ資料(2024.3.15) _zeal recruitment pitch
 
KKD(勘・経験・度胸)に 位置データを加えよう!
KKD(勘・経験・度胸)に 位置データを加えよう!KKD(勘・経験・度胸)に 位置データを加えよう!
KKD(勘・経験・度胸)に 位置データを加えよう!
 
Denodoで実現するデータマネジメント基盤のご紹介
Denodoで実現するデータマネジメント基盤のご紹介Denodoで実現するデータマネジメント基盤のご紹介
Denodoで実現するデータマネジメント基盤のご紹介
 
位置データ活用 経済センサスのデータを使ってみよう
位置データ活用 経済センサスのデータを使ってみよう位置データ活用 経済センサスのデータを使ってみよう
位置データ活用 経済センサスのデータを使ってみよう
 
B01_法人営業組織のデジタル変革 ~製造業の事例にみる情報共有ポータルの構築と業務効率化~ [Microsoft Japan Digital Days]
B01_法人営業組織のデジタル変革 ~製造業の事例にみる情報共有ポータルの構築と業務効率化~ [Microsoft Japan Digital Days]B01_法人営業組織のデジタル変革 ~製造業の事例にみる情報共有ポータルの構築と業務効率化~ [Microsoft Japan Digital Days]
B01_法人営業組織のデジタル変革 ~製造業の事例にみる情報共有ポータルの構築と業務効率化~ [Microsoft Japan Digital Days]
 
Big data harvardbusiessreview20121112
Big data harvardbusiessreview20121112Big data harvardbusiessreview20121112
Big data harvardbusiessreview20121112
 
正確な意思決定を阻む 問題・障害との向き合い方
正確な意思決定を阻む 問題・障害との向き合い方正確な意思決定を阻む 問題・障害との向き合い方
正確な意思決定を阻む 問題・障害との向き合い方
 
サイエンス視点からのデータアーキテクト
サイエンス視点からのデータアーキテクトサイエンス視点からのデータアーキテクト
サイエンス視点からのデータアーキテクト
 
マルチクラウドで分析基盤を構築してみた Supership201612
マルチクラウドで分析基盤を構築してみた Supership201612マルチクラウドで分析基盤を構築してみた Supership201612
マルチクラウドで分析基盤を構築してみた Supership201612
 
アクセス解析サミット2011「データドリブンなチームを目指せ」
アクセス解析サミット2011「データドリブンなチームを目指せ」アクセス解析サミット2011「データドリブンなチームを目指せ」
アクセス解析サミット2011「データドリブンなチームを目指せ」
 
初めてのデータ分析基盤構築をまかされた、その時何を考えておくと良いのか
初めてのデータ分析基盤構築をまかされた、その時何を考えておくと良いのか初めてのデータ分析基盤構築をまかされた、その時何を考えておくと良いのか
初めてのデータ分析基盤構築をまかされた、その時何を考えておくと良いのか
 
国勢調査をマーケティングに活かそう!
国勢調査をマーケティングに活かそう! 国勢調査をマーケティングに活かそう!
国勢調査をマーケティングに活かそう!
 

More from 株式会社MonotaRO Tech Team

More from 株式会社MonotaRO Tech Team (19)

本番環境でやらかしちゃった選手権_MonotaRO社内LT会利用スライド.pdf
本番環境でやらかしちゃった選手権_MonotaRO社内LT会利用スライド.pdf本番環境でやらかしちゃった選手権_MonotaRO社内LT会利用スライド.pdf
本番環境でやらかしちゃった選手権_MonotaRO社内LT会利用スライド.pdf
 
この技術書がすごい!2023夏(おすすめの技術書をペライチで紹介する選手権) .pdf
この技術書がすごい!2023夏(おすすめの技術書をペライチで紹介する選手権) .pdfこの技術書がすごい!2023夏(おすすめの技術書をペライチで紹介する選手権) .pdf
この技術書がすごい!2023夏(おすすめの技術書をペライチで紹介する選手権) .pdf
 
PyConAPAC2023 ワークフローエンジン Apache Airflowを用いた 大規模データパイプライン構築と改善
PyConAPAC2023 ワークフローエンジン  Apache Airflowを用いた 大規模データパイプライン構築と改善PyConAPAC2023 ワークフローエンジン  Apache Airflowを用いた 大規模データパイプライン構築と改善
PyConAPAC2023 ワークフローエンジン Apache Airflowを用いた 大規模データパイプライン構築と改善
 
[ITmedia Cloud Native 2023] モノタロウのクラウドネイティブ.pdf
[ITmedia Cloud Native 2023] モノタロウのクラウドネイティブ.pdf[ITmedia Cloud Native 2023] モノタロウのクラウドネイティブ.pdf
[ITmedia Cloud Native 2023] モノタロウのクラウドネイティブ.pdf
 
信頼性とアジリティを同時に上げろ!モノタロウのカナリアリリース導入.pdf
信頼性とアジリティを同時に上げろ!モノタロウのカナリアリリース導入.pdf信頼性とアジリティを同時に上げろ!モノタロウのカナリアリリース導入.pdf
信頼性とアジリティを同時に上げろ!モノタロウのカナリアリリース導入.pdf
 
モノタロウの開発・リリースサイクルを支えるJenkinsの活用事例 - Jenkins Day Japan 2021
モノタロウの開発・リリースサイクルを支えるJenkinsの活用事例 - Jenkins Day Japan 2021モノタロウの開発・リリースサイクルを支えるJenkinsの活用事例 - Jenkins Day Japan 2021
モノタロウの開発・リリースサイクルを支えるJenkinsの活用事例 - Jenkins Day Japan 2021
 
MonotaRO LT - ESLintの仕組み
MonotaRO LT - ESLintの仕組みMonotaRO LT - ESLintの仕組み
MonotaRO LT - ESLintの仕組み
 
モノタロウECプラットフォームを支える開発運用モダナイゼーションの取り組み #devsumi
モノタロウECプラットフォームを支える開発運用モダナイゼーションの取り組み #devsumi モノタロウECプラットフォームを支える開発運用モダナイゼーションの取り組み #devsumi
モノタロウECプラットフォームを支える開発運用モダナイゼーションの取り組み #devsumi
 
ITPと、その他cookie関連のこと / ITP and cookie
ITPと、その他cookie関連のこと / ITP and cookieITPと、その他cookie関連のこと / ITP and cookie
ITPと、その他cookie関連のこと / ITP and cookie
 
WSL2使ってみた / Preview for WSL2
WSL2使ってみた / Preview for WSL2WSL2使ってみた / Preview for WSL2
WSL2使ってみた / Preview for WSL2
 
WebApp個人開発のすゝめ / Recommendation of personal web app development
WebApp個人開発のすゝめ / Recommendation of personal web app developmentWebApp個人開発のすゝめ / Recommendation of personal web app development
WebApp個人開発のすゝめ / Recommendation of personal web app development
 
大規模フロントエンドのクリーンアーキテクチャ化 ~ 年間売上1,000億円企業モノタロウの取組み ~
大規模フロントエンドのクリーンアーキテクチャ化 ~ 年間売上1,000億円企業モノタロウの取組み ~大規模フロントエンドのクリーンアーキテクチャ化 ~ 年間売上1,000億円企業モノタロウの取組み ~
大規模フロントエンドのクリーンアーキテクチャ化 ~ 年間売上1,000億円企業モノタロウの取組み ~
 
レガシーコードに向き合ってみた話
レガシーコードに向き合ってみた話レガシーコードに向き合ってみた話
レガシーコードに向き合ってみた話
 
モノタロウ AIストアのひみつ #devsumiA
モノタロウ AIストアのひみつ #devsumiAモノタロウ AIストアのひみつ #devsumiA
モノタロウ AIストアのひみつ #devsumiA
 
社内勉強会を続けるには(2016.10.07 DevLove 関西)
社内勉強会を続けるには(2016.10.07 DevLove 関西)社内勉強会を続けるには(2016.10.07 DevLove 関西)
社内勉強会を続けるには(2016.10.07 DevLove 関西)
 
Pythonエンジニアの最適なキャリアを考える (PyCon JP 2016 ジョブフェア LT)
Pythonエンジニアの最適なキャリアを考える (PyCon JP 2016 ジョブフェア LT)Pythonエンジニアの最適なキャリアを考える (PyCon JP 2016 ジョブフェア LT)
Pythonエンジニアの最適なキャリアを考える (PyCon JP 2016 ジョブフェア LT)
 
尼崎から世界へ!モノタロウの海外展開を支えるDevOps基盤 (デブサミ関西2016)
尼崎から世界へ!モノタロウの海外展開を支えるDevOps基盤 (デブサミ関西2016)尼崎から世界へ!モノタロウの海外展開を支えるDevOps基盤 (デブサミ関西2016)
尼崎から世界へ!モノタロウの海外展開を支えるDevOps基盤 (デブサミ関西2016)
 
マイクロサービスを利用する側のパフォーマンス向上策 (PyCon JP 2016)
マイクロサービスを利用する側のパフォーマンス向上策 (PyCon JP 2016)マイクロサービスを利用する側のパフォーマンス向上策 (PyCon JP 2016)
マイクロサービスを利用する側のパフォーマンス向上策 (PyCon JP 2016)
 
モノタロウが トレジャーデータを使う理由と、 データを活かす企業文化
モノタロウがトレジャーデータを使う理由と、データを活かす企業文化モノタロウがトレジャーデータを使う理由と、データを活かす企業文化
モノタロウが トレジャーデータを使う理由と、 データを活かす企業文化
 

データ管理に重要なことは事業と組織の理解だった(Data Engineering Study #11 発表資料)