Download free for 30 days
Sign in
Upload
Language (EN)
Support
Business
Mobile
Social Media
Marketing
Technology
Art & Photos
Career
Design
Education
Presentations & Public Speaking
Government & Nonprofit
Healthcare
Internet
Law
Leadership & Management
Automotive
Engineering
Software
Recruiting & HR
Retail
Sales
Services
Science
Small Business & Entrepreneurship
Food
Environment
Economy & Finance
Data & Analytics
Investor Relations
Sports
Spiritual
News & Politics
Travel
Self Improvement
Real Estate
Entertainment & Humor
Health & Medicine
Devices & Hardware
Lifestyle
Change Language
Language
English
Español
Português
Français
Deutsche
Cancel
Save
Submit search
EN
Uploaded by
株式会社MonotaRO Tech Team
PDF, PPTX
989 views
データ管理に重要なことは事業と組織の理解だった(Data Engineering Study #11 発表資料)
Data Engineering Study #11 「6社のデータエンジニアが振り返る2021」の発表資料になります。 #DataEngineeringStudy
Engineering
◦
Related topics:
Data Platform
•
Data Management Insights
•
Read more
0
Save
Share
Embed
Embed presentation
Download
Download as PDF, PPTX
1
/ 13
2
/ 13
3
/ 13
4
/ 13
5
/ 13
6
/ 13
7
/ 13
8
/ 13
Most read
9
/ 13
10
/ 13
Most read
11
/ 13
12
/ 13
13
/ 13
More Related Content
PDF
データ基盤に関わる問い合わせ対応を仕組みで解決する
by
株式会社MonotaRO Tech Team
PDF
全社のデータ活用を一段階上げる取り組み
by
株式会社MonotaRO Tech Team
PDF
datatech-jp Casual Talks#3 データエンジニアを採用するための試行錯誤
by
株式会社MonotaRO Tech Team
PDF
MonotaRO のデータ活用と基盤の過去、現在、未来
by
株式会社MonotaRO Tech Team
PDF
マルチテナントのアプリケーション実装〜実践編〜
by
Yoshiki Nakagawa
PPTX
RLSを用いたマルチテナント実装 for Django
by
Takayuki Shimizukawa
PPTX
データ収集の基本と「JapanTaxi」アプリにおける実践例
by
Tetsutaro Watanabe
PPTX
位置データもPythonで!!!
by
hide ogawa
データ基盤に関わる問い合わせ対応を仕組みで解決する
by
株式会社MonotaRO Tech Team
全社のデータ活用を一段階上げる取り組み
by
株式会社MonotaRO Tech Team
datatech-jp Casual Talks#3 データエンジニアを採用するための試行錯誤
by
株式会社MonotaRO Tech Team
MonotaRO のデータ活用と基盤の過去、現在、未来
by
株式会社MonotaRO Tech Team
マルチテナントのアプリケーション実装〜実践編〜
by
Yoshiki Nakagawa
RLSを用いたマルチテナント実装 for Django
by
Takayuki Shimizukawa
データ収集の基本と「JapanTaxi」アプリにおける実践例
by
Tetsutaro Watanabe
位置データもPythonで!!!
by
hide ogawa
What's hot
PDF
「顧客の声を聞かない」とはどういうことか
by
Yoshiki Hayama
PDF
Tackling Complexity
by
Yoshitaka Kawashima
PDF
楽天における大規模データベースの運用
by
Rakuten Group, Inc.
PDF
今からでも遅くないDBマイグレーション - Flyway と SchemaSpy の紹介 -
by
onozaty
PPTX
グラフ構造のデータモデルをPower BIで可視化してみた
by
CData Software Japan
PDF
インフラエンジニアの綺麗で優しい手順書の書き方
by
Shohei Koyama
PDF
Apache Airflow 概要(Airflowの基礎を学ぶハンズオンワークショップ 発表資料)
by
NTT DATA Technology & Innovation
PDF
BigQuery で 150万円 使ったときの話
by
itkr
PDF
リクルートライフスタイル流!分析基盤との賢い付き合い方
by
Recruit Lifestyle Co., Ltd.
PDF
A5 SQL Mk-2の便利な機能をお教えします
by
ester41
PPTX
どうやって決める?kubernetesでのシークレット管理方法(Cloud Native Days 2020 発表資料)
by
NTT DATA Technology & Innovation
PDF
PostgreSQLの行レベルセキュリティと SpringAOPでマルチテナントの ユーザー間情報漏洩を防止する (JJUG CCC 2021 Spring)
by
Koichiro Matsuoka
PDF
機械学習モデルのサービングとは?
by
Sho Tanaka
PPTX
スケールアウトするPostgreSQLを目指して!その第一歩!(NTTデータ テクノロジーカンファレンス 2020 発表資料)
by
NTT DATA Technology & Innovation
PDF
ブレインパッドにおける機械学習プロジェクトの進め方
by
BrainPad Inc.
PDF
モノタロウECプラットフォームを支える開発運用モダナイゼーションの取り組み #devsumi
by
株式会社MonotaRO Tech Team
PPTX
クラウドでも非機能要求グレードは必要だよね
by
YoshioSawada
PDF
オントロジーとは?
by
Kouji Kozaki
PPTX
MLOpsはバズワード
by
Tetsutaro Watanabe
PPTX
BigQuery Query Optimization クエリ高速化編
by
sutepoi
「顧客の声を聞かない」とはどういうことか
by
Yoshiki Hayama
Tackling Complexity
by
Yoshitaka Kawashima
楽天における大規模データベースの運用
by
Rakuten Group, Inc.
今からでも遅くないDBマイグレーション - Flyway と SchemaSpy の紹介 -
by
onozaty
グラフ構造のデータモデルをPower BIで可視化してみた
by
CData Software Japan
インフラエンジニアの綺麗で優しい手順書の書き方
by
Shohei Koyama
Apache Airflow 概要(Airflowの基礎を学ぶハンズオンワークショップ 発表資料)
by
NTT DATA Technology & Innovation
BigQuery で 150万円 使ったときの話
by
itkr
リクルートライフスタイル流!分析基盤との賢い付き合い方
by
Recruit Lifestyle Co., Ltd.
A5 SQL Mk-2の便利な機能をお教えします
by
ester41
どうやって決める?kubernetesでのシークレット管理方法(Cloud Native Days 2020 発表資料)
by
NTT DATA Technology & Innovation
PostgreSQLの行レベルセキュリティと SpringAOPでマルチテナントの ユーザー間情報漏洩を防止する (JJUG CCC 2021 Spring)
by
Koichiro Matsuoka
機械学習モデルのサービングとは?
by
Sho Tanaka
スケールアウトするPostgreSQLを目指して!その第一歩!(NTTデータ テクノロジーカンファレンス 2020 発表資料)
by
NTT DATA Technology & Innovation
ブレインパッドにおける機械学習プロジェクトの進め方
by
BrainPad Inc.
モノタロウECプラットフォームを支える開発運用モダナイゼーションの取り組み #devsumi
by
株式会社MonotaRO Tech Team
クラウドでも非機能要求グレードは必要だよね
by
YoshioSawada
オントロジーとは?
by
Kouji Kozaki
MLOpsはバズワード
by
Tetsutaro Watanabe
BigQuery Query Optimization クエリ高速化編
by
sutepoi
Similar to データ管理に重要なことは事業と組織の理解だった(Data Engineering Study #11 発表資料)
PDF
DMBOKをベースにしたデータマネジメント
by
Kent Ishizawa
PDF
【マーケティング・テクノロジーフェア 大阪 2023】 データから正しい意思決定を行うために 〜全社横断で実施したデータ活用プロジェクトの取...
by
株式会社MonotaRO Tech Team
PDF
JDMC LT#1 - なぜモノタロウでデータマネジメントが必要になったのか
by
株式会社MonotaRO Tech Team
PPTX
事業の進展とデータマネジメント体制の進歩(+プレトタイプの話)
by
Tokoroten Nakayama
PDF
初めてのデータ分析基盤構築をまかされた、その時何を考えておくと良いのか
by
Techon Organization
PDF
データウェアハウス入門 (マーケティングデータ分析基盤技術勉強会)
by
Takeshi Mikami
PDF
【TECHTRACKJP】私ってデータエンジニアなんですか?気づいたらデータエンジニアと呼ばれるようになった私がこの職種について考えた【20230725】
by
株式会社MonotaRO Tech Team
PPTX
チームトポロジーから学び、 データプラットフォーム組織を考え直した話.pptx
by
Rakuten Commerce Tech (Rakuten Group, Inc.)
PDF
データテクノロジースペシャル:Yahoo! JAPANにおけるメタデータ管理の試み
by
Yahoo!デベロッパーネットワーク
PPTX
メンバーズデータアドベンチャー新規部門事業計画書
by
白井 恵里
PPT
Big data harvardbusiessreview20121112
by
Dennis Sugahara
PDF
避けては通れないビッグデータ周辺の重要課題
by
kurikiyo
PDF
Treasure Data Intro for Data Enthusiast!!
by
Takahiro Inoue
PDF
ビッグデータとデータマート
by
株式会社オプト 仙台ラボラトリ
PDF
データ基盤グループを支えるチームビルディング
by
株式会社MonotaRO Tech Team
PDF
オープンセミナー岡山 これから始めるデータ活用
by
syou6162
PPTX
Saga Smart Center: データ分析の基礎
by
Daiyu Hatakeyama
PDF
Treasure Data サポートにおける課題と改善について
by
Keisuke Noda
PPTX
データ構造とPdcaに沿った操作を学ぶ
by
e-sales-support
PDF
データ構造とPdcaに沿った操作を学ぶ
by
e-sales-support
DMBOKをベースにしたデータマネジメント
by
Kent Ishizawa
【マーケティング・テクノロジーフェア 大阪 2023】 データから正しい意思決定を行うために 〜全社横断で実施したデータ活用プロジェクトの取...
by
株式会社MonotaRO Tech Team
JDMC LT#1 - なぜモノタロウでデータマネジメントが必要になったのか
by
株式会社MonotaRO Tech Team
事業の進展とデータマネジメント体制の進歩(+プレトタイプの話)
by
Tokoroten Nakayama
初めてのデータ分析基盤構築をまかされた、その時何を考えておくと良いのか
by
Techon Organization
データウェアハウス入門 (マーケティングデータ分析基盤技術勉強会)
by
Takeshi Mikami
【TECHTRACKJP】私ってデータエンジニアなんですか?気づいたらデータエンジニアと呼ばれるようになった私がこの職種について考えた【20230725】
by
株式会社MonotaRO Tech Team
チームトポロジーから学び、 データプラットフォーム組織を考え直した話.pptx
by
Rakuten Commerce Tech (Rakuten Group, Inc.)
データテクノロジースペシャル:Yahoo! JAPANにおけるメタデータ管理の試み
by
Yahoo!デベロッパーネットワーク
メンバーズデータアドベンチャー新規部門事業計画書
by
白井 恵里
Big data harvardbusiessreview20121112
by
Dennis Sugahara
避けては通れないビッグデータ周辺の重要課題
by
kurikiyo
Treasure Data Intro for Data Enthusiast!!
by
Takahiro Inoue
ビッグデータとデータマート
by
株式会社オプト 仙台ラボラトリ
データ基盤グループを支えるチームビルディング
by
株式会社MonotaRO Tech Team
オープンセミナー岡山 これから始めるデータ活用
by
syou6162
Saga Smart Center: データ分析の基礎
by
Daiyu Hatakeyama
Treasure Data サポートにおける課題と改善について
by
Keisuke Noda
データ構造とPdcaに沿った操作を学ぶ
by
e-sales-support
データ構造とPdcaに沿った操作を学ぶ
by
e-sales-support
More from 株式会社MonotaRO Tech Team
PDF
モノタロウの1900万商品を検索する Elasticsearch構築運用事例(2022-10-26 第50回Elasticsearch 勉強会発表資料)
by
株式会社MonotaRO Tech Team
PDF
「指標」を支えるエンジニアリング: DataOpsNight #1
by
株式会社MonotaRO Tech Team
PDF
信頼性とアジリティを同時に上げろ!モノタロウのカナリアリリース導入.pdf
by
株式会社MonotaRO Tech Team
PDF
大規模フロントエンドのクリーンアーキテクチャ化 ~ 年間売上1,000億円企業モノタロウの取組み ~
by
株式会社MonotaRO Tech Team
PDF
モノタロウの開発・リリースサイクルを支えるJenkinsの活用事例 - Jenkins Day Japan 2021
by
株式会社MonotaRO Tech Team
PDF
[ITmedia Cloud Native 2023] モノタロウのクラウドネイティブ.pdf
by
株式会社MonotaRO Tech Team
PDF
PyConAPAC2023 ワークフローエンジン Apache Airflowを用いた 大規模データパイプライン構築と改善
by
株式会社MonotaRO Tech Team
PPTX
レガシーコードに向き合ってみた話
by
株式会社MonotaRO Tech Team
PPTX
Pythonエンジニアの最適なキャリアを考える (PyCon JP 2016 ジョブフェア LT)
by
株式会社MonotaRO Tech Team
PDF
WSL2使ってみた / Preview for WSL2
by
株式会社MonotaRO Tech Team
PDF
ITPと、その他cookie関連のこと / ITP and cookie
by
株式会社MonotaRO Tech Team
PDF
本番環境でやらかしちゃった選手権_MonotaRO社内LT会利用スライド.pdf
by
株式会社MonotaRO Tech Team
PDF
20240522 Findy Event ビジネスの構造をアーキテクチャに落とし込みソフトウェアに可変性を注入する.pdf
by
株式会社MonotaRO Tech Team
PDF
MonotaRO LT - ESLintの仕組み
by
株式会社MonotaRO Tech Team
PDF
この技術書がすごい!2023夏(おすすめの技術書をペライチで紹介する選手権) .pdf
by
株式会社MonotaRO Tech Team
PDF
モノタロウ AIストアのひみつ #devsumiA
by
株式会社MonotaRO Tech Team
PPTX
尼崎から世界へ!モノタロウの海外展開を支えるDevOps基盤 (デブサミ関西2016)
by
株式会社MonotaRO Tech Team
PPTX
社内勉強会を続けるには(2016.10.07 DevLove 関西)
by
株式会社MonotaRO Tech Team
PDF
datatech-jp Casual Talks #5_データ基盤の立ち位置を考えるのに チームトポロジーの概念を活用した話
by
株式会社MonotaRO Tech Team
PDF
WebApp個人開発のすゝめ / Recommendation of personal web app development
by
株式会社MonotaRO Tech Team
モノタロウの1900万商品を検索する Elasticsearch構築運用事例(2022-10-26 第50回Elasticsearch 勉強会発表資料)
by
株式会社MonotaRO Tech Team
「指標」を支えるエンジニアリング: DataOpsNight #1
by
株式会社MonotaRO Tech Team
信頼性とアジリティを同時に上げろ!モノタロウのカナリアリリース導入.pdf
by
株式会社MonotaRO Tech Team
大規模フロントエンドのクリーンアーキテクチャ化 ~ 年間売上1,000億円企業モノタロウの取組み ~
by
株式会社MonotaRO Tech Team
モノタロウの開発・リリースサイクルを支えるJenkinsの活用事例 - Jenkins Day Japan 2021
by
株式会社MonotaRO Tech Team
[ITmedia Cloud Native 2023] モノタロウのクラウドネイティブ.pdf
by
株式会社MonotaRO Tech Team
PyConAPAC2023 ワークフローエンジン Apache Airflowを用いた 大規模データパイプライン構築と改善
by
株式会社MonotaRO Tech Team
レガシーコードに向き合ってみた話
by
株式会社MonotaRO Tech Team
Pythonエンジニアの最適なキャリアを考える (PyCon JP 2016 ジョブフェア LT)
by
株式会社MonotaRO Tech Team
WSL2使ってみた / Preview for WSL2
by
株式会社MonotaRO Tech Team
ITPと、その他cookie関連のこと / ITP and cookie
by
株式会社MonotaRO Tech Team
本番環境でやらかしちゃった選手権_MonotaRO社内LT会利用スライド.pdf
by
株式会社MonotaRO Tech Team
20240522 Findy Event ビジネスの構造をアーキテクチャに落とし込みソフトウェアに可変性を注入する.pdf
by
株式会社MonotaRO Tech Team
MonotaRO LT - ESLintの仕組み
by
株式会社MonotaRO Tech Team
この技術書がすごい!2023夏(おすすめの技術書をペライチで紹介する選手権) .pdf
by
株式会社MonotaRO Tech Team
モノタロウ AIストアのひみつ #devsumiA
by
株式会社MonotaRO Tech Team
尼崎から世界へ!モノタロウの海外展開を支えるDevOps基盤 (デブサミ関西2016)
by
株式会社MonotaRO Tech Team
社内勉強会を続けるには(2016.10.07 DevLove 関西)
by
株式会社MonotaRO Tech Team
datatech-jp Casual Talks #5_データ基盤の立ち位置を考えるのに チームトポロジーの概念を活用した話
by
株式会社MonotaRO Tech Team
WebApp個人開発のすゝめ / Recommendation of personal web app development
by
株式会社MonotaRO Tech Team
データ管理に重要なことは事業と組織の理解だった(Data Engineering Study #11 発表資料)
1.
データ管理に重要なことは 事業と組織の理解だった Data Engineering Study
#11「6社のデータエンジニアが振り返る2021」 株式会社MonotaRO IT部門 データ基盤グループ 吉本 直人 1 2021.12.13 © 2021 MonotaRO Co., Ltd. All Rights Reserved.
2.
● “データ管理を推進するために 今年やってきたこと”を振り返った ● うまく行かなかった原因を探る中で、 自社の事業と組織の理解が重要だった ●
事業と組織構造を踏まえた上で 来年何をTryするか 2 発表内容
3.
● 名前:吉本 直人(よしもと
なおと) ● 2020年2月にMonotaRO入社 ○ BigQueryを中心としたデータ基盤の構築・運用 ○ 好きなGCPのサービス:Cloud Asset Inventory ● 採用広報(編集)もしています ○ “モノタロウ ブログ” で検索すると noteとはてなブログがでます! 3 自己紹介
4.
データ管理を立ち上げた2021年 4 詳しくは10月に実施した イベントのスライドを 見てね! ● 定義の集約管理とデータ活用推進のため、 データ管理にフォーカスする体制を構築 ● 他社事例を参考に、データ基盤グループで Looker導入とDWH構築を実施
5.
結果どうだった? 5 導入/構築は進んだ! が想定以上に工数がかかった ● データ基盤メンバーはデータ仕様がわからない... ○
コミュニケーションコストの増大 ● 業務側からもらったクエリとシステム側 のデータ仕様にミスマッチがある ○ 検証して仕様の合意を取りに行く... 振り返りを行う中で事業と組織を見てみることに
6.
モノタロウの事業 6 ● 主にBtoBを対象とした間接資材のEC ● 在庫を持ち、物流、商品採用、商品開発なども 自社でやっている ○
単一事業だが、ドメインが複数にまたがる ■ データがBtoCサービスに比べて レコード数は少ないが、テーブル数は多い
7.
● 2000年創業(今年で21年) ● 2021年の売上が1,800億超を見込んでいる ●
売上成長率が10年連続で約20% (3年半で2倍) システムの移行、刷新を 定期的に実施 7 モノタロウの事業
8.
組織構造 8 ● ドメインに沿った組織構成になっている ○ 2021年12月現在、単一事業ながら12部門ある ○
ナレッジが特化的になりやすい 管理 サプライ チェーン 物流 IT EC システムエ ンジニアリ ング 海外事業 マーケ ティング CX マネジ メント 商品 商品開発 エンタープ ライズビジ ネス カスタマー サポート 参考:https://corp.monotaro.com/organization.html
9.
商品管理システム エンジニア ● ドメインが幅広く、要件が複雑なため必要な知識 も異なる→ナレッジが局所化しやすい ○ 事業全体のデータ仕様の把握が困難 ○
とはいえ分析時にはクロスドメインで集計を行う 9 事業と組織を理解してわかったこと 商品の仕入単価は こう入っているよ 受注のデータは こう入っているよ 過去に受注した商品の 仕入単価は〇〇を集計 したらとれるよ 分析官 受注システム エンジニア データ基盤 なんか集計結果 が変だよな... ① ② ③
10.
ドメイン毎にエンジニアと業務担当者を 巻き込めるプラットフォームを作る ● エンジニアがDWHの構築/運用に主体的に貢献できるよう な仕組みの整備 ○ dbtを使ってSQLのみで品質の高いDWHの構築/運用 ●
システム側と業務側で相互に コミュニケーションをとるための体制づくり 10 データ基盤の2022年
11.
● K: データ管理の第一歩として
Looker導入とDWH構築を実施した ● P: 想定以上にリソースを使った ○ 自社の事業や組織を理解せずに他社事例を 参考にするとうまくいかなかった ● T: DWH構築だけでなく、 プラットフォームづくりを行う 11 まとめ
12.
やることがありすぎて人が足りない! もっと事例を出していきたい! 採用やってます! 12 宣伝
13.
13 © 2020 MonotaRO
Co., Ltd. All Rights Reserved.
Download