Home
Explore
Submit Search
Upload
Login
Signup
Check these out next
DMBOKをベースにしたデータマネジメント
Kent Ishizawa
ビジネスパーソンのためのDX入門講座エッセンス版
Tokoroten Nakayama
TREASUREDATAのエコシステムで作るロバストなETLデータ処理基盤の作り方
Kentaro Yoshida
初めてのデータ分析基盤構築をまかされた、その時何を考えておくと良いのか
Techon Organization
ラボラトリーオートメーションのためのソフトウェア思想教育(非プログラマ―が知っておくべきプログラミングの本質)
Tokoroten Nakayama
「のどが渇いた」というユーザーに何を出す? ユーザーの「欲しい」に惑わされない、本当のインサイトを見つけるUXデザイン・UXリサーチ
Yoshiki Hayama
モノタロウECプラットフォームを支える開発運用モダナイゼーションの取り組み #devsumi
株式会社MonotaRO Tech Team
リクルートライフスタイル流!分析基盤との賢い付き合い方
Recruit Lifestyle Co., Ltd.
1
of
13
Top clipped slide
データ管理に重要なことは事業と組織の理解だった(Data Engineering Study #11 発表資料)
Dec. 14, 2021
•
0 likes
0 likes
×
Be the first to like this
Show More
•
723 views
views
×
Total views
0
On Slideshare
0
From embeds
0
Number of embeds
0
Download Now
Download to read offline
Report
Engineering
Data Engineering Study #11 「6社のデータエンジニアが振り返る2021」の発表資料になります。 #DataEngineeringStudy
株式会社MonotaRO Tech Team
Follow
株式会社MonotaRO Tech Team
Recommended
MonotaRO のデータ活用と基盤の過去、現在、未来
株式会社MonotaRO Tech Team
12.7K views
•
49 slides
データ基盤に関わる問い合わせ対応を仕組みで解決する
株式会社MonotaRO Tech Team
9.9K views
•
29 slides
datatech-jp Casual Talks#3 データエンジニアを採用するための試行錯誤
株式会社MonotaRO Tech Team
1.4K views
•
40 slides
データ基盤グループを支えるチームビルディング
株式会社MonotaRO Tech Team
8.1K views
•
30 slides
事業の進展とデータマネジメント体制の進歩(+プレトタイプの話)
Tokoroten Nakayama
9.2K views
•
34 slides
全社のデータ活用を一段階上げる取り組み
株式会社MonotaRO Tech Team
6.5K views
•
34 slides
More Related Content
Slideshows for you
(20)
DMBOKをベースにしたデータマネジメント
Kent Ishizawa
•
34.1K views
ビジネスパーソンのためのDX入門講座エッセンス版
Tokoroten Nakayama
•
52.1K views
TREASUREDATAのエコシステムで作るロバストなETLデータ処理基盤の作り方
Kentaro Yoshida
•
2.2K views
初めてのデータ分析基盤構築をまかされた、その時何を考えておくと良いのか
Techon Organization
•
822 views
ラボラトリーオートメーションのためのソフトウェア思想教育(非プログラマ―が知っておくべきプログラミングの本質)
Tokoroten Nakayama
•
19.8K views
「のどが渇いた」というユーザーに何を出す? ユーザーの「欲しい」に惑わされない、本当のインサイトを見つけるUXデザイン・UXリサーチ
Yoshiki Hayama
•
51.5K views
モノタロウECプラットフォームを支える開発運用モダナイゼーションの取り組み #devsumi
株式会社MonotaRO Tech Team
•
2.2K views
リクルートライフスタイル流!分析基盤との賢い付き合い方
Recruit Lifestyle Co., Ltd.
•
7.1K views
Apache Atlasの現状とデータガバナンス事例 #hadoopreading
Yahoo!デベロッパーネットワーク
•
6.1K views
データ収集の基本と「JapanTaxi」アプリにおける実践例
Tetsutaro Watanabe
•
19.3K views
Kubernetesによる機械学習基盤への挑戦
Preferred Networks
•
14.3K views
楽天のデータサイエンス/AIによるビッグデータ活用
Rakuten Group, Inc.
•
4.6K views
データ分析を支える技術 データ分析基盤再入門
Satoru Ishikawa
•
5.5K views
チャットコミュニケーションの問題と心理的安全性の課題 #EOF2019
Tokoroten Nakayama
•
162.6K views
チケット駆動開発の解説~タスク管理からプロセス改善へ
akipii Oga
•
3.7K views
1-2-2 プラン・お支払い設定
freee株式会社
•
3.5K views
チームトポロジーから学び、 データプラットフォーム組織を考え直した話.pptx
Rakuten Commerce Tech (Rakuten Group, Inc.)
•
447 views
シリコンバレーの「何が」凄いのか
Atsushi Nakada
•
182.8K views
Active Learning の基礎と最近の研究
Fumihiko Takahashi
•
665 views
データマイニングの話詰め合わせ
Tokoroten Nakayama
•
17.1K views
Similar to データ管理に重要なことは事業と組織の理解だった(Data Engineering Study #11 発表資料)
(20)
datatech-jp Casual Talks #5_データ基盤の立ち位置を考えるのに チームトポロジーの概念を活用した話
株式会社MonotaRO Tech Team
•
1.7K views
JDMC LT#1 - なぜモノタロウでデータマネジメントが必要になったのか
株式会社MonotaRO Tech Team
•
87 views
アドテクを支える基盤 〜10Tバイト/日のビッグデータを処理する〜
MicroAd, Inc.(Engineer)
•
102 views
クラウドを活用した自由自在なデータ分析
aiichiro
•
1K views
カスタマーサクセスのためのデータ整備人の活動記録
syou6162
•
6.9K views
Io tビジネスモデルに関する考察20161119
Keiichiro Nabeno
•
1.4K views
KKD(勘・経験・度胸)に 位置データを加えよう!
hide ogawa
•
484 views
Denodoで実現するデータマネジメント基盤のご紹介
Denodo
•
42 views
位置データ活用 経済センサスのデータを使ってみよう
hide ogawa
•
245 views
B01_法人営業組織のデジタル変革 ~製造業の事例にみる情報共有ポータルの構築と業務効率化~ [Microsoft Japan Digital Days]
日本マイクロソフト株式会社
•
273 views
Big data harvardbusiessreview20121112
Dennis Sugahara
•
990 views
正確な意思決定を阻む 問題・障害との向き合い方
syou6162
•
2.7K views
サイエンス視点からのデータアーキテクト
Masaharu Horino
•
2.7K views
マルチクラウドで分析基盤を構築してみた Supership201612
Supership株式会社
•
1.9K views
アクセス解析サミット2011「データドリブンなチームを目指せ」
Makoto Shimizu
•
1.3K views
楽天のデータサイエンティスト@SAS Forum 2019
Rakuten Group, Inc.
•
1.4K views
国勢調査をマーケティングに活かそう!
hide ogawa
•
500 views
SAP Inside Track 2022 (Improving sourcing work using AI)
MihoYoshida4
•
22 views
First step of UX Monitoring 〜UXモニタリングこと始め〜
Taro Yoshioka
•
6.3K views
データ定義情報の管理とWebによる公開
Recruit Technologies
•
2.1K views
More from 株式会社MonotaRO Tech Team
(20)
モノタロウの1900万商品を検索する Elasticsearch構築運用事例(2022-10-26 第50回Elasticsearch 勉強会発表資料)
株式会社MonotaRO Tech Team
•
446 views
信頼性とアジリティを同時に上げろ!モノタロウのカナリアリリース導入.pdf
株式会社MonotaRO Tech Team
•
1.7K views
モノタロウの開発・リリースサイクルを支えるJenkinsの活用事例 - Jenkins Day Japan 2021
株式会社MonotaRO Tech Team
•
1.7K views
MonotaRO LT - ESLintの仕組み
株式会社MonotaRO Tech Team
•
2.1K views
ITPと、その他cookie関連のこと / ITP and cookie
株式会社MonotaRO Tech Team
•
836 views
WSL2使ってみた / Preview for WSL2
株式会社MonotaRO Tech Team
•
2.4K views
WebApp個人開発のすゝめ / Recommendation of personal web app development
株式会社MonotaRO Tech Team
•
781 views
大規模フロントエンドのクリーンアーキテクチャ化 ~ 年間売上1,000億円企業モノタロウの取組み ~
株式会社MonotaRO Tech Team
•
4.1K views
レガシーコードに向き合ってみた話
株式会社MonotaRO Tech Team
•
2.5K views
モノタロウ AIストアのひみつ #devsumiA
株式会社MonotaRO Tech Team
•
4K views
社内勉強会を続けるには(2016.10.07 DevLove 関西)
株式会社MonotaRO Tech Team
•
3.7K views
Pythonエンジニアの最適なキャリアを考える (PyCon JP 2016 ジョブフェア LT)
株式会社MonotaRO Tech Team
•
3.6K views
尼崎から世界へ!モノタロウの海外展開を支えるDevOps基盤 (デブサミ関西2016)
株式会社MonotaRO Tech Team
•
3.3K views
マイクロサービスを利用する側のパフォーマンス向上策 (PyCon JP 2016)
株式会社MonotaRO Tech Team
•
2.7K views
モノタロウがトレジャーデータを使う理由と、データを活かす企業文化
株式会社MonotaRO Tech Team
•
6.4K views
モノタロウの商品データ連携について
株式会社MonotaRO Tech Team
•
4.2K views
モノタロウを支える Solr による商品検索システム
株式会社MonotaRO Tech Team
•
6.1K views
MonotaRO TechTalk #1 ごあいさつ
株式会社MonotaRO Tech Team
•
1.9K views
MonotaROが向かうクラウド活用の今後 2016-04-21 関西スタートアップAWS勉強会
株式会社MonotaRO Tech Team
•
3.9K views
エンジニアからCTOへ 2015-06-11 IVS CTO Night & Day
株式会社MonotaRO Tech Team
•
4.8K views
Recently uploaded
(20)
#买美国学历毕业证书代办普林斯顿大学文凭证书
JhhhfGffh
•
2 views
ChatGPTをもっと使いたい.pptx
TokioMiyaoka
•
475 views
204-杨百翰大学.pdf
fdhrtf
•
2 views
★可查可存档〖制作乌尔姆大学文凭证书毕业证〗
tujjj
•
18 views
☀️《UMCP毕业证仿真》
DFFFFG
•
2 views
☀️《Ohio毕业证仿真》
DFFFFG
•
2 views
무료스포츠중계 〔www,rtЗЗ,top〕코드 b77 플레이보이카지노 ㋁ 황제카지노 ㉤ 나미비아 국가경기 Ⓣ afc윔블던 ㈭ 퀴라소 ㈗ 축구...
ssusere9c2b4
•
5 views
AI予約サービスのMLOps事例紹介
Takashi Suzuki
•
4 views
办加拿大多伦多大学假文凭毕业证
JhhhfGffh
•
3 views
143-南卫理公会大学.pdf
dsadasd17
•
3 views
28西澳.pdf
dsadasd17
•
2 views
230216_AI技術共有会_園部.pdf
RyosukeSonobe
•
2 views
103卡内基梅隆大学.pdf
LorettaPrice2
•
2 views
★可查可存档〖制作奥克兰商学院文凭证书毕业证〗
tujjj
•
2 views
☀️《Curtin毕业证仿真》
hjhgg1
•
2 views
★可查可存档〖制作布克大学文凭证书毕业证〗
mmmm282537
•
2 views
134-休斯敦大学.pdf
fdhrtf
•
2 views
办皇家墨尔本理工大学毕业证成绩单
JhhhfGffh
•
3 views
☀️《SLC毕业证仿真》
hjhgg1
•
2 views
★可查可存档〖制作贝桑松大学文凭证书毕业证〗
tujjj
•
2 views
データ管理に重要なことは事業と組織の理解だった(Data Engineering Study #11 発表資料)
データ管理に重要なことは 事業と組織の理解だった Data Engineering Study
#11「6社のデータエンジニアが振り返る2021」 株式会社MonotaRO IT部門 データ基盤グループ 吉本 直人 1 2021.12.13 © 2021 MonotaRO Co., Ltd. All Rights Reserved.
● “データ管理を推進するために 今年やってきたこと”を振り返った ● うまく行かなかった原因を探る中で、 自社の事業と組織の理解が重要だった ●
事業と組織構造を踏まえた上で 来年何をTryするか 2 発表内容
● 名前:吉本 直人(よしもと
なおと) ● 2020年2月にMonotaRO入社 ○ BigQueryを中心としたデータ基盤の構築・運用 ○ 好きなGCPのサービス:Cloud Asset Inventory ● 採用広報(編集)もしています ○ “モノタロウ ブログ” で検索すると noteとはてなブログがでます! 3 自己紹介
データ管理を立ち上げた2021年 4 詳しくは10月に実施した イベントのスライドを 見てね! ● 定義の集約管理とデータ活用推進のため、 データ管理にフォーカスする体制を構築 ● 他社事例を参考に、データ基盤グループで Looker導入とDWH構築を実施
結果どうだった? 5 導入/構築は進んだ! が想定以上に工数がかかった ● データ基盤メンバーはデータ仕様がわからない... ○
コミュニケーションコストの増大 ● 業務側からもらったクエリとシステム側 のデータ仕様にミスマッチがある ○ 検証して仕様の合意を取りに行く... 振り返りを行う中で事業と組織を見てみることに
モノタロウの事業 6 ● 主にBtoBを対象とした間接資材のEC ● 在庫を持ち、物流、商品採用、商品開発なども 自社でやっている ○
単一事業だが、ドメインが複数にまたがる ■ データがBtoCサービスに比べて レコード数は少ないが、テーブル数は多い
● 2000年創業(今年で21年) ● 2021年の売上が1,800億超を見込んでいる ●
売上成長率が10年連続で約20% (3年半で2倍) システムの移行、刷新を 定期的に実施 7 モノタロウの事業
組織構造 8 ● ドメインに沿った組織構成になっている ○ 2021年12月現在、単一事業ながら12部門ある ○
ナレッジが特化的になりやすい 管理 サプライ チェーン 物流 IT EC システムエ ンジニアリ ング 海外事業 マーケ ティング CX マネジ メント 商品 商品開発 エンタープ ライズビジ ネス カスタマー サポート 参考:https://corp.monotaro.com/organization.html
商品管理システム エンジニア ● ドメインが幅広く、要件が複雑なため必要な知識 も異なる→ナレッジが局所化しやすい ○ 事業全体のデータ仕様の把握が困難 ○
とはいえ分析時にはクロスドメインで集計を行う 9 事業と組織を理解してわかったこと 商品の仕入単価は こう入っているよ 受注のデータは こう入っているよ 過去に受注した商品の 仕入単価は〇〇を集計 したらとれるよ 分析官 受注システム エンジニア データ基盤 なんか集計結果 が変だよな... ① ② ③
ドメイン毎にエンジニアと業務担当者を 巻き込めるプラットフォームを作る ● エンジニアがDWHの構築/運用に主体的に貢献できるよう な仕組みの整備 ○ dbtを使ってSQLのみで品質の高いDWHの構築/運用 ●
システム側と業務側で相互に コミュニケーションをとるための体制づくり 10 データ基盤の2022年
● K: データ管理の第一歩として
Looker導入とDWH構築を実施した ● P: 想定以上にリソースを使った ○ 自社の事業や組織を理解せずに他社事例を 参考にするとうまくいかなかった ● T: DWH構築だけでなく、 プラットフォームづくりを行う 11 まとめ
やることがありすぎて人が足りない! もっと事例を出していきたい! 採用やってます! 12 宣伝
13 © 2020 MonotaRO
Co., Ltd. All Rights Reserved.