Submit Search
Upload
JDMC LT#1 - なぜモノタロウでデータマネジメントが必要になったのか
•
0 likes
•
204 views
株式会社MonotaRO Tech Team
Follow
https://jdmc.connpass.com/event/267021/ での登壇資料。 登壇者 株式会社MonotaRO(モノタロウ) IT部門 データ基盤グループ 香川和哉
Read less
Read more
Data & Analytics
Report
Share
Report
Share
1 of 18
Download now
Download to read offline
Recommended
[ITmedia Cloud Native 2023] モノタロウのクラウドネイティブ.pdf
[ITmedia Cloud Native 2023] モノタロウのクラウドネイティブ.pdf
株式会社MonotaRO Tech Team
MonotaRO のデータ活用と基盤の過去、現在、未来
MonotaRO のデータ活用と基盤の過去、現在、未来
株式会社MonotaRO Tech Team
全社のデータ活用を一段階上げる取り組み
全社のデータ活用を一段階上げる取り組み
株式会社MonotaRO Tech Team
Mobility Technologiesのデータ分析基盤・データ利活用事例のご紹介
Mobility Technologiesのデータ分析基盤・データ利活用事例のご紹介
Chigusa Junichiro
ラボラトリーオートメーションのためのソフトウェア思想教育(非プログラマ―が知っておくべきプログラミングの本質)
ラボラトリーオートメーションのためのソフトウェア思想教育(非プログラマ―が知っておくべきプログラミングの本質)
Tokoroten Nakayama
リクルートのビッグデータ活用基盤とビッグデータ活用のためのメタデータ管理Webのご紹介
リクルートのビッグデータ活用基盤とビッグデータ活用のためのメタデータ管理Webのご紹介
Recruit Technologies
リクルートにおけるデータのインフラ化への取組
リクルートにおけるデータのインフラ化への取組
Recruit Technologies
ユーザーストーリー駆動開発で行こう。
ユーザーストーリー駆動開発で行こう。
toshihiro ichitani
Recommended
[ITmedia Cloud Native 2023] モノタロウのクラウドネイティブ.pdf
[ITmedia Cloud Native 2023] モノタロウのクラウドネイティブ.pdf
株式会社MonotaRO Tech Team
MonotaRO のデータ活用と基盤の過去、現在、未来
MonotaRO のデータ活用と基盤の過去、現在、未来
株式会社MonotaRO Tech Team
全社のデータ活用を一段階上げる取り組み
全社のデータ活用を一段階上げる取り組み
株式会社MonotaRO Tech Team
Mobility Technologiesのデータ分析基盤・データ利活用事例のご紹介
Mobility Technologiesのデータ分析基盤・データ利活用事例のご紹介
Chigusa Junichiro
ラボラトリーオートメーションのためのソフトウェア思想教育(非プログラマ―が知っておくべきプログラミングの本質)
ラボラトリーオートメーションのためのソフトウェア思想教育(非プログラマ―が知っておくべきプログラミングの本質)
Tokoroten Nakayama
リクルートのビッグデータ活用基盤とビッグデータ活用のためのメタデータ管理Webのご紹介
リクルートのビッグデータ活用基盤とビッグデータ活用のためのメタデータ管理Webのご紹介
Recruit Technologies
リクルートにおけるデータのインフラ化への取組
リクルートにおけるデータのインフラ化への取組
Recruit Technologies
ユーザーストーリー駆動開発で行こう。
ユーザーストーリー駆動開発で行こう。
toshihiro ichitani
データ分析グループの組織編制とその課題 マーケティングにおけるKPI設計の失敗例 ABテストの活用と、機械学習の導入 #CWT2016
データ分析グループの組織編制とその課題 マーケティングにおけるKPI設計の失敗例 ABテストの活用と、機械学習の導入 #CWT2016
Tokoroten Nakayama
マルチクラウドDWH(Snowflake)のすすめ
マルチクラウドDWH(Snowflake)のすすめ
Yuuta Hishinuma
MLOps に基づく AI/ML 実運用最前線 ~画像、動画データにおける MLOps 事例のご紹介~(映像情報メディア学会2021年冬季大会企画セッショ...
MLOps に基づく AI/ML 実運用最前線 ~画像、動画データにおける MLOps 事例のご紹介~(映像情報メディア学会2021年冬季大会企画セッショ...
NTT DATA Technology & Innovation
リクルートを支える横断データ基盤と機械学習の適用事例
リクルートを支える横断データ基盤と機械学習の適用事例
Tetsutaro Watanabe
Data-Centric AIの紹介
Data-Centric AIの紹介
Kazuyuki Miyazawa
datatech-jp Casual Talks#3 データエンジニアを採用するための試行錯誤
datatech-jp Casual Talks#3 データエンジニアを採用するための試行錯誤
株式会社MonotaRO Tech Team
信頼性とアジリティを同時に上げろ!モノタロウのカナリアリリース導入.pdf
信頼性とアジリティを同時に上げろ!モノタロウのカナリアリリース導入.pdf
株式会社MonotaRO Tech Team
データ基盤に関わる問い合わせ対応を仕組みで解決する
データ基盤に関わる問い合わせ対応を仕組みで解決する
株式会社MonotaRO Tech Team
ChatGPTは思ったほど賢くない
ChatGPTは思ったほど賢くない
Carnot Inc.
リクルートが実践で学んできた“セルフBI”推進に求められる3つの要素
リクルートが実践で学んできた“セルフBI”推進に求められる3つの要素
Recruit Technologies
データ収集の基本と「JapanTaxi」アプリにおける実践例
データ収集の基本と「JapanTaxi」アプリにおける実践例
Tetsutaro Watanabe
AWSで作る分析基盤
AWSで作る分析基盤
Yu Otsubo
データ分析基盤を支えるエンジニアリング
データ分析基盤を支えるエンジニアリング
Recruit Lifestyle Co., Ltd.
データ活用をするための組織
データ活用をするための組織
Kon Yuichi
モダンフロントエンド開発者に求められるスキルとは
モダンフロントエンド開発者に求められるスキルとは
Takuya Tejima
入門 Kubeflow ~Kubernetesで機械学習をはじめるために~ (NTT Tech Conference #4 講演資料)
入門 Kubeflow ~Kubernetesで機械学習をはじめるために~ (NTT Tech Conference #4 講演資料)
NTT DATA Technology & Innovation
マッチングサービスにおけるKPIの話
マッチングサービスにおけるKPIの話
cyberagent
モノリスからマイクロサービスへの移行 ~ストラングラーパターンの検証~(Spring Fest 2020講演資料)
モノリスからマイクロサービスへの移行 ~ストラングラーパターンの検証~(Spring Fest 2020講演資料)
NTT DATA Technology & Innovation
なぜコンピュータを学ばなければならないのか 21世紀の君主論
なぜコンピュータを学ばなければならないのか 21世紀の君主論
Tokoroten Nakayama
Snowflakeって実際どうなの?数多のDBを使い倒した猛者が語る
Snowflakeって実際どうなの?数多のDBを使い倒した猛者が語る
Ryota Shibuya
datatech-jp Casual Talks #5_データ基盤の立ち位置を考えるのに チームトポロジーの概念を活用した話
datatech-jp Casual Talks #5_データ基盤の立ち位置を考えるのに チームトポロジーの概念を活用した話
株式会社MonotaRO Tech Team
【マーケティング・テクノロジーフェア 大阪 2023】 データから正しい意思決定を行うために 〜全社横断で実施したデータ活用プロジェクトの取...
【マーケティング・テクノロジーフェア 大阪 2023】 データから正しい意思決定を行うために 〜全社横断で実施したデータ活用プロジェクトの取...
株式会社MonotaRO Tech Team
More Related Content
What's hot
データ分析グループの組織編制とその課題 マーケティングにおけるKPI設計の失敗例 ABテストの活用と、機械学習の導入 #CWT2016
データ分析グループの組織編制とその課題 マーケティングにおけるKPI設計の失敗例 ABテストの活用と、機械学習の導入 #CWT2016
Tokoroten Nakayama
マルチクラウドDWH(Snowflake)のすすめ
マルチクラウドDWH(Snowflake)のすすめ
Yuuta Hishinuma
MLOps に基づく AI/ML 実運用最前線 ~画像、動画データにおける MLOps 事例のご紹介~(映像情報メディア学会2021年冬季大会企画セッショ...
MLOps に基づく AI/ML 実運用最前線 ~画像、動画データにおける MLOps 事例のご紹介~(映像情報メディア学会2021年冬季大会企画セッショ...
NTT DATA Technology & Innovation
リクルートを支える横断データ基盤と機械学習の適用事例
リクルートを支える横断データ基盤と機械学習の適用事例
Tetsutaro Watanabe
Data-Centric AIの紹介
Data-Centric AIの紹介
Kazuyuki Miyazawa
datatech-jp Casual Talks#3 データエンジニアを採用するための試行錯誤
datatech-jp Casual Talks#3 データエンジニアを採用するための試行錯誤
株式会社MonotaRO Tech Team
信頼性とアジリティを同時に上げろ!モノタロウのカナリアリリース導入.pdf
信頼性とアジリティを同時に上げろ!モノタロウのカナリアリリース導入.pdf
株式会社MonotaRO Tech Team
データ基盤に関わる問い合わせ対応を仕組みで解決する
データ基盤に関わる問い合わせ対応を仕組みで解決する
株式会社MonotaRO Tech Team
ChatGPTは思ったほど賢くない
ChatGPTは思ったほど賢くない
Carnot Inc.
リクルートが実践で学んできた“セルフBI”推進に求められる3つの要素
リクルートが実践で学んできた“セルフBI”推進に求められる3つの要素
Recruit Technologies
データ収集の基本と「JapanTaxi」アプリにおける実践例
データ収集の基本と「JapanTaxi」アプリにおける実践例
Tetsutaro Watanabe
AWSで作る分析基盤
AWSで作る分析基盤
Yu Otsubo
データ分析基盤を支えるエンジニアリング
データ分析基盤を支えるエンジニアリング
Recruit Lifestyle Co., Ltd.
データ活用をするための組織
データ活用をするための組織
Kon Yuichi
モダンフロントエンド開発者に求められるスキルとは
モダンフロントエンド開発者に求められるスキルとは
Takuya Tejima
入門 Kubeflow ~Kubernetesで機械学習をはじめるために~ (NTT Tech Conference #4 講演資料)
入門 Kubeflow ~Kubernetesで機械学習をはじめるために~ (NTT Tech Conference #4 講演資料)
NTT DATA Technology & Innovation
マッチングサービスにおけるKPIの話
マッチングサービスにおけるKPIの話
cyberagent
モノリスからマイクロサービスへの移行 ~ストラングラーパターンの検証~(Spring Fest 2020講演資料)
モノリスからマイクロサービスへの移行 ~ストラングラーパターンの検証~(Spring Fest 2020講演資料)
NTT DATA Technology & Innovation
なぜコンピュータを学ばなければならないのか 21世紀の君主論
なぜコンピュータを学ばなければならないのか 21世紀の君主論
Tokoroten Nakayama
Snowflakeって実際どうなの?数多のDBを使い倒した猛者が語る
Snowflakeって実際どうなの?数多のDBを使い倒した猛者が語る
Ryota Shibuya
What's hot
(20)
データ分析グループの組織編制とその課題 マーケティングにおけるKPI設計の失敗例 ABテストの活用と、機械学習の導入 #CWT2016
データ分析グループの組織編制とその課題 マーケティングにおけるKPI設計の失敗例 ABテストの活用と、機械学習の導入 #CWT2016
マルチクラウドDWH(Snowflake)のすすめ
マルチクラウドDWH(Snowflake)のすすめ
MLOps に基づく AI/ML 実運用最前線 ~画像、動画データにおける MLOps 事例のご紹介~(映像情報メディア学会2021年冬季大会企画セッショ...
MLOps に基づく AI/ML 実運用最前線 ~画像、動画データにおける MLOps 事例のご紹介~(映像情報メディア学会2021年冬季大会企画セッショ...
リクルートを支える横断データ基盤と機械学習の適用事例
リクルートを支える横断データ基盤と機械学習の適用事例
Data-Centric AIの紹介
Data-Centric AIの紹介
datatech-jp Casual Talks#3 データエンジニアを採用するための試行錯誤
datatech-jp Casual Talks#3 データエンジニアを採用するための試行錯誤
信頼性とアジリティを同時に上げろ!モノタロウのカナリアリリース導入.pdf
信頼性とアジリティを同時に上げろ!モノタロウのカナリアリリース導入.pdf
データ基盤に関わる問い合わせ対応を仕組みで解決する
データ基盤に関わる問い合わせ対応を仕組みで解決する
ChatGPTは思ったほど賢くない
ChatGPTは思ったほど賢くない
リクルートが実践で学んできた“セルフBI”推進に求められる3つの要素
リクルートが実践で学んできた“セルフBI”推進に求められる3つの要素
データ収集の基本と「JapanTaxi」アプリにおける実践例
データ収集の基本と「JapanTaxi」アプリにおける実践例
AWSで作る分析基盤
AWSで作る分析基盤
データ分析基盤を支えるエンジニアリング
データ分析基盤を支えるエンジニアリング
データ活用をするための組織
データ活用をするための組織
モダンフロントエンド開発者に求められるスキルとは
モダンフロントエンド開発者に求められるスキルとは
入門 Kubeflow ~Kubernetesで機械学習をはじめるために~ (NTT Tech Conference #4 講演資料)
入門 Kubeflow ~Kubernetesで機械学習をはじめるために~ (NTT Tech Conference #4 講演資料)
マッチングサービスにおけるKPIの話
マッチングサービスにおけるKPIの話
モノリスからマイクロサービスへの移行 ~ストラングラーパターンの検証~(Spring Fest 2020講演資料)
モノリスからマイクロサービスへの移行 ~ストラングラーパターンの検証~(Spring Fest 2020講演資料)
なぜコンピュータを学ばなければならないのか 21世紀の君主論
なぜコンピュータを学ばなければならないのか 21世紀の君主論
Snowflakeって実際どうなの?数多のDBを使い倒した猛者が語る
Snowflakeって実際どうなの?数多のDBを使い倒した猛者が語る
Similar to JDMC LT#1 - なぜモノタロウでデータマネジメントが必要になったのか
datatech-jp Casual Talks #5_データ基盤の立ち位置を考えるのに チームトポロジーの概念を活用した話
datatech-jp Casual Talks #5_データ基盤の立ち位置を考えるのに チームトポロジーの概念を活用した話
株式会社MonotaRO Tech Team
【マーケティング・テクノロジーフェア 大阪 2023】 データから正しい意思決定を行うために 〜全社横断で実施したデータ活用プロジェクトの取...
【マーケティング・テクノロジーフェア 大阪 2023】 データから正しい意思決定を行うために 〜全社横断で実施したデータ活用プロジェクトの取...
株式会社MonotaRO Tech Team
データ管理に重要なことは事業と組織の理解だった(Data Engineering Study #11 発表資料)
データ管理に重要なことは事業と組織の理解だった(Data Engineering Study #11 発表資料)
株式会社MonotaRO Tech Team
データ基盤グループを支えるチームビルディング
データ基盤グループを支えるチームビルディング
株式会社MonotaRO Tech Team
CES2016から見えて来たio tの浸透度と今後について
CES2016から見えて来たio tの浸透度と今後について
iot_nifty
モノタロウがトレジャーデータを使う理由と、データを活かす企業文化
モノタロウがトレジャーデータを使う理由と、データを活かす企業文化
株式会社MonotaRO Tech Team
経営とIT:いま起こっていることと「これから」(20120718)
経営とIT:いま起こっていることと「これから」(20120718)
Jun Kawahara
20111203 第28回WebSig会議_IMJモバイル川畑さん資料
20111203 第28回WebSig会議_IMJモバイル川畑さん資料
WebSig24/7
profile_Mr.ichimura_km
profile_Mr.ichimura_km
Takahiro1218666
Markezine day 2012 gdo nakazawa
Markezine day 2012 gdo nakazawa
Shinya Nakazawa
アドテクを支える基盤 〜10Tバイト/日のビッグデータを処理する〜
アドテクを支える基盤 〜10Tバイト/日のビッグデータを処理する〜
MicroAd, Inc.(Engineer)
JPC2016: PUP-01 知って得する MPN 最新情報
JPC2016: PUP-01 知って得する MPN 最新情報
MPN Japan
【Pm zen】pmはいつ学び始めるべきか? 20160311
【Pm zen】pmはいつ学び始めるべきか? 20160311
Manabu saito /SKYLIGHT CONSULTING Inc.
大規模データ処理基盤における MLOpsについて.pdf
大規模データ処理基盤における MLOpsについて.pdf
NTTDOCOMO-ServiceInnovation
楽天のデータサイエンス/AIによるビッグデータ活用
楽天のデータサイエンス/AIによるビッグデータ活用
Rakuten Group, Inc.
130903セミナー資料_配布用
130903セミナー資料_配布用
mktgf
「指標」を支えるエンジニアリング: DataOpsNight #1
「指標」を支えるエンジニアリング: DataOpsNight #1
株式会社MonotaRO Tech Team
尼崎から世界へ!モノタロウの海外展開を支えるDevOps基盤 (デブサミ関西2016)
尼崎から世界へ!モノタロウの海外展開を支えるDevOps基盤 (デブサミ関西2016)
株式会社MonotaRO Tech Team
IoTとAIが牽引するエンタープライズシステムの新展開
IoTとAIが牽引するエンタープライズシステムの新展開
Miki Yutani
データドリブンセッション2_IMJ山本
データドリブンセッション2_IMJ山本
IMJ Corporation
Similar to JDMC LT#1 - なぜモノタロウでデータマネジメントが必要になったのか
(20)
datatech-jp Casual Talks #5_データ基盤の立ち位置を考えるのに チームトポロジーの概念を活用した話
datatech-jp Casual Talks #5_データ基盤の立ち位置を考えるのに チームトポロジーの概念を活用した話
【マーケティング・テクノロジーフェア 大阪 2023】 データから正しい意思決定を行うために 〜全社横断で実施したデータ活用プロジェクトの取...
【マーケティング・テクノロジーフェア 大阪 2023】 データから正しい意思決定を行うために 〜全社横断で実施したデータ活用プロジェクトの取...
データ管理に重要なことは事業と組織の理解だった(Data Engineering Study #11 発表資料)
データ管理に重要なことは事業と組織の理解だった(Data Engineering Study #11 発表資料)
データ基盤グループを支えるチームビルディング
データ基盤グループを支えるチームビルディング
CES2016から見えて来たio tの浸透度と今後について
CES2016から見えて来たio tの浸透度と今後について
モノタロウがトレジャーデータを使う理由と、データを活かす企業文化
モノタロウがトレジャーデータを使う理由と、データを活かす企業文化
経営とIT:いま起こっていることと「これから」(20120718)
経営とIT:いま起こっていることと「これから」(20120718)
20111203 第28回WebSig会議_IMJモバイル川畑さん資料
20111203 第28回WebSig会議_IMJモバイル川畑さん資料
profile_Mr.ichimura_km
profile_Mr.ichimura_km
Markezine day 2012 gdo nakazawa
Markezine day 2012 gdo nakazawa
アドテクを支える基盤 〜10Tバイト/日のビッグデータを処理する〜
アドテクを支える基盤 〜10Tバイト/日のビッグデータを処理する〜
JPC2016: PUP-01 知って得する MPN 最新情報
JPC2016: PUP-01 知って得する MPN 最新情報
【Pm zen】pmはいつ学び始めるべきか? 20160311
【Pm zen】pmはいつ学び始めるべきか? 20160311
大規模データ処理基盤における MLOpsについて.pdf
大規模データ処理基盤における MLOpsについて.pdf
楽天のデータサイエンス/AIによるビッグデータ活用
楽天のデータサイエンス/AIによるビッグデータ活用
130903セミナー資料_配布用
130903セミナー資料_配布用
「指標」を支えるエンジニアリング: DataOpsNight #1
「指標」を支えるエンジニアリング: DataOpsNight #1
尼崎から世界へ!モノタロウの海外展開を支えるDevOps基盤 (デブサミ関西2016)
尼崎から世界へ!モノタロウの海外展開を支えるDevOps基盤 (デブサミ関西2016)
IoTとAIが牽引するエンタープライズシステムの新展開
IoTとAIが牽引するエンタープライズシステムの新展開
データドリブンセッション2_IMJ山本
データドリブンセッション2_IMJ山本
More from 株式会社MonotaRO Tech Team
本番環境でやらかしちゃった選手権_MonotaRO社内LT会利用スライド.pdf
本番環境でやらかしちゃった選手権_MonotaRO社内LT会利用スライド.pdf
株式会社MonotaRO Tech Team
この技術書がすごい!2023夏(おすすめの技術書をペライチで紹介する選手権) .pdf
この技術書がすごい!2023夏(おすすめの技術書をペライチで紹介する選手権) .pdf
株式会社MonotaRO Tech Team
PyConAPAC2023 ワークフローエンジン Apache Airflowを用いた 大規模データパイプライン構築と改善
PyConAPAC2023 ワークフローエンジン Apache Airflowを用いた 大規模データパイプライン構築と改善
株式会社MonotaRO Tech Team
【TECHTRACKJP】私ってデータエンジニアなんですか?気づいたらデータエンジニアと呼ばれるようになった私がこの職種について考えた【20230725】
【TECHTRACKJP】私ってデータエンジニアなんですか?気づいたらデータエンジニアと呼ばれるようになった私がこの職種について考えた【20230725】
株式会社MonotaRO Tech Team
モノタロウの1900万商品を検索する Elasticsearch構築運用事例(2022-10-26 第50回Elasticsearch 勉強会発表資料)
モノタロウの1900万商品を検索する Elasticsearch構築運用事例(2022-10-26 第50回Elasticsearch 勉強会発表資料)
株式会社MonotaRO Tech Team
モノタロウの開発・リリースサイクルを支えるJenkinsの活用事例 - Jenkins Day Japan 2021
モノタロウの開発・リリースサイクルを支えるJenkinsの活用事例 - Jenkins Day Japan 2021
株式会社MonotaRO Tech Team
MonotaRO LT - ESLintの仕組み
MonotaRO LT - ESLintの仕組み
株式会社MonotaRO Tech Team
モノタロウECプラットフォームを支える開発運用モダナイゼーションの取り組み #devsumi
モノタロウECプラットフォームを支える開発運用モダナイゼーションの取り組み #devsumi
株式会社MonotaRO Tech Team
ITPと、その他cookie関連のこと / ITP and cookie
ITPと、その他cookie関連のこと / ITP and cookie
株式会社MonotaRO Tech Team
WSL2使ってみた / Preview for WSL2
WSL2使ってみた / Preview for WSL2
株式会社MonotaRO Tech Team
WebApp個人開発のすゝめ / Recommendation of personal web app development
WebApp個人開発のすゝめ / Recommendation of personal web app development
株式会社MonotaRO Tech Team
大規模フロントエンドのクリーンアーキテクチャ化 ~ 年間売上1,000億円企業モノタロウの取組み ~
大規模フロントエンドのクリーンアーキテクチャ化 ~ 年間売上1,000億円企業モノタロウの取組み ~
株式会社MonotaRO Tech Team
レガシーコードに向き合ってみた話
レガシーコードに向き合ってみた話
株式会社MonotaRO Tech Team
モノタロウ AIストアのひみつ #devsumiA
モノタロウ AIストアのひみつ #devsumiA
株式会社MonotaRO Tech Team
社内勉強会を続けるには(2016.10.07 DevLove 関西)
社内勉強会を続けるには(2016.10.07 DevLove 関西)
株式会社MonotaRO Tech Team
Pythonエンジニアの最適なキャリアを考える (PyCon JP 2016 ジョブフェア LT)
Pythonエンジニアの最適なキャリアを考える (PyCon JP 2016 ジョブフェア LT)
株式会社MonotaRO Tech Team
マイクロサービスを利用する側のパフォーマンス向上策 (PyCon JP 2016)
マイクロサービスを利用する側のパフォーマンス向上策 (PyCon JP 2016)
株式会社MonotaRO Tech Team
More from 株式会社MonotaRO Tech Team
(17)
本番環境でやらかしちゃった選手権_MonotaRO社内LT会利用スライド.pdf
本番環境でやらかしちゃった選手権_MonotaRO社内LT会利用スライド.pdf
この技術書がすごい!2023夏(おすすめの技術書をペライチで紹介する選手権) .pdf
この技術書がすごい!2023夏(おすすめの技術書をペライチで紹介する選手権) .pdf
PyConAPAC2023 ワークフローエンジン Apache Airflowを用いた 大規模データパイプライン構築と改善
PyConAPAC2023 ワークフローエンジン Apache Airflowを用いた 大規模データパイプライン構築と改善
【TECHTRACKJP】私ってデータエンジニアなんですか?気づいたらデータエンジニアと呼ばれるようになった私がこの職種について考えた【20230725】
【TECHTRACKJP】私ってデータエンジニアなんですか?気づいたらデータエンジニアと呼ばれるようになった私がこの職種について考えた【20230725】
モノタロウの1900万商品を検索する Elasticsearch構築運用事例(2022-10-26 第50回Elasticsearch 勉強会発表資料)
モノタロウの1900万商品を検索する Elasticsearch構築運用事例(2022-10-26 第50回Elasticsearch 勉強会発表資料)
モノタロウの開発・リリースサイクルを支えるJenkinsの活用事例 - Jenkins Day Japan 2021
モノタロウの開発・リリースサイクルを支えるJenkinsの活用事例 - Jenkins Day Japan 2021
MonotaRO LT - ESLintの仕組み
MonotaRO LT - ESLintの仕組み
モノタロウECプラットフォームを支える開発運用モダナイゼーションの取り組み #devsumi
モノタロウECプラットフォームを支える開発運用モダナイゼーションの取り組み #devsumi
ITPと、その他cookie関連のこと / ITP and cookie
ITPと、その他cookie関連のこと / ITP and cookie
WSL2使ってみた / Preview for WSL2
WSL2使ってみた / Preview for WSL2
WebApp個人開発のすゝめ / Recommendation of personal web app development
WebApp個人開発のすゝめ / Recommendation of personal web app development
大規模フロントエンドのクリーンアーキテクチャ化 ~ 年間売上1,000億円企業モノタロウの取組み ~
大規模フロントエンドのクリーンアーキテクチャ化 ~ 年間売上1,000億円企業モノタロウの取組み ~
レガシーコードに向き合ってみた話
レガシーコードに向き合ってみた話
モノタロウ AIストアのひみつ #devsumiA
モノタロウ AIストアのひみつ #devsumiA
社内勉強会を続けるには(2016.10.07 DevLove 関西)
社内勉強会を続けるには(2016.10.07 DevLove 関西)
Pythonエンジニアの最適なキャリアを考える (PyCon JP 2016 ジョブフェア LT)
Pythonエンジニアの最適なキャリアを考える (PyCon JP 2016 ジョブフェア LT)
マイクロサービスを利用する側のパフォーマンス向上策 (PyCon JP 2016)
マイクロサービスを利用する側のパフォーマンス向上策 (PyCon JP 2016)
JDMC LT#1 - なぜモノタロウでデータマネジメントが必要になったのか
1.
なぜモノタロウでデータマネジメン トが必要になったのか 株式会社MonotaRO IT部門データ基盤グループ長 香川和哉 1 2022.12.16 ©
2020 MonotaRO Co., Ltd. All Rights Reserved.
2.
2 ● IT部門データ基盤グループマネージャー ● 2016年中途入社 ●
入社後、マーケティングシステムの運用を 行いながら、データ基盤の構築/運用をす すめた。現在はデータ管理と基幹システム のモダナイゼーションに取り組んでいる。 香川和哉
3.
3 ● 2000年 10月設立 ●
BtoB を対象に、自ら間接資材の 在庫を持ち、自らオンラインで売る EC 企業 ● コールセンター、商品採用、物流、 マーケティング、データサイエンス、 IT など多くの業務とシステムを 自社開発、自社運用している ● 商品数 :1,900 万点 市場規模:5~10 兆円 MonotaROについて
4.
● 現在のモノタロウのデータ基盤とデータマネジ メントの取り組み ● 現在に至るまでの歴史 ○
→ モノタロウでデータマネジメントがなぜ 必要になったのか ● データマネジメントをすすめる上でのポイント 4 今日話すこと
5.
モノタロウのデータ基盤 5
6.
6 自動連携 個別の同期システム (個別の組織で管理) Log パイプライン Real-Time DB Pipeline 個別の同期システム 6 BigQuery 基幹,
ECサイト RDB 受発注, 顧客, 商品, 在庫, … Google Analytics その他システムデータ 顧客行動ログ収集, 検索システム … その他パッケージ システムデータ WMS, カスタマーサポート … Log CDN, WebServer, Application Data Lake DWH Data Mart プロジェクト個別 マーケター データ サイエンティスト 商品採用 Apps Script Sheets Data Portal SQL Python など その他 ツール エンジニア その他 全部門 レポーティング SQL による分析 ML での最適化や予測 業務オペレーション 大規模データ処理 他システムとの連携 などなど データソース 統合 データ管理 利用ツール 利用者 ユースケース
7.
7 現在のモノタロウでのデータマネジメントの取り組み例 ● データマートの構築 ○ 業務部門メンバーと協力しながら
Looker を利用してデータマートを構築 ○ SQLなどのスキルに関わらずデータを活用できる環境の実現を目指す ● 並行して、DWH を構築 ○ もともと存在していた他部門の既存の独自DWHを分解して再構成 ○ dbt (ツール) によって BigQuery でのDWH構築処理を管理 Looker (データマート) BigQuery Data Lake DWH データモデル (LookML) ダッシュボード dbt
8.
● Innovators Hive
at Next ’22に登壇しBigQueryの学び方や社内での利用促 進、データ管理について話しました - MonotaRO Tech Blog ● データ管理に役立つメタデータに関する勉強会を社内外で開催しました - MonotaRO Tech Blog ● MonotaROのデータ基盤10年史(後編) ● MonotaROのデータ基盤10年史(前編) ● SQLを使った監視でデータ基盤の品質を向上させる - MonotaRO Tech Blog ● 分析者や予算承認者の視点に立ちつつ、BigQuery Flex Slotsの適切なスロッ ト数を定量的に決定する方法を紹介します - MonotaRO Tech Blog 8 その他の事例
9.
モノタロウのデータ基盤の歴史 9
10.
10 販促基盤とDWH (2010 ~
2015) システム ● 基幹, ECサイトのシステムからデータを集約して 販促 用DWH を構築 (同期は 日次, 100テーブル程度) ● 機械学習を用いたレコメンドなど高度なマーケティン グが可能になった ● また SQL Server Analysis Service を用いたBIを構 築。 KPI ベースでの施策立案がより簡単に可能に。 データ利用者 ● データ分析スキルをもつ従業員はマーケティング 部門に集中しており全社のデータ活用をマーケ ティング部門がサポート マーケ用 MySQL Campaign Managment その他DB その他DB 基幹/EC DB ML BI SQLによる分析 MLによる予測 BIレポート マーケティング部門 の一部のメンバー 日次でのデータ同期 (100テーブル程度) DWH として機能
11.
11 データ分析人材の展開 - 2016年頃 マーケティング部門 ●
組織拡大と事業規模の拡大に合わせて新規部門を設立 ● マーケティング部門に所属していたデータ分析人材は新部門や別部門に異動することでデー タ分析の機能を全部門に展開 ● それまでの販促基盤ではなく全社レベルでのデータ基盤が必要に A部門 B部門 C部門 分析依頼 データ マーケティング部門 A部門 B部門 C部門 新メンバーの入社 分析スキルをもつメ ンバーの他部門への 展開
12.
12 12 Engineer/Scientist (100人 ~ ) Users
(100人 ~ ) 基幹システム & EC アプリケーション DWH & DataMart BigQuery Application Cloud Storage Apps Script Sheets Data Portal マーチャンダイ ザー マーケター カスタマサ ポート 物流 Application Database Database リアルタイム データパイプライン by (遅延:3分, テーブル:1,000~) ITエンジニア SQL データ サイエンティスト ● 基幹システム, ECサイトのDB(MySQL)からニアリアルタイムにBigQueryにデータを同期 ○ MySQL の Binary log を利用しており、任意の時点のデータを再現可能 ● BigQueryによってデータ量や処理量などオンプレ時代と比較して圧倒的なスケーラビリティを得 ることができた。 ● SQLや Looker Studio (旧データポータル) の勉強会なども開催。 ● 分析に限らず業務における様々なユースケースで利用されるようになった。 ● 利用ユーザも大幅に増加し、全部門で利用されるようになった。 BigQueryの導入と展開 - 2016 ~ 2019
13.
13 新たなデータ活用の課題 - 2020 ●
データ管理や活用の局所最適化 ○ 個別部署内の独自管理がすすんでいる ○ 業務/組織等を横断した共有や活用が困難 ■ 指標の定義の違いによるコミュニケーションの齟齬も ● データの使い方がわからない ○ データに関する情報が散在し、アクセスできない ○ SQLの知識がなければ集計・分析できない ■ 関数の利用や複雑なJoin
14.
14 (再掲) 現在のモノタロウでのデータマネジメントの取り組み例 ● 業務部門と協力しながら
Looker/LookML(モデル定義言語) を利用して全社統一された データマート を構築し更にBIとしても活用しSQLなどの分析スキルに関わらずデータを活 用できる環境の実現を目標として実施。現在継続中。 ● 並行して、DWH を構築 ○ 他部門の既存の独自DWHを分解して再構成 ○ dbt (ツール) によって BigQuery でのDWH構築処理を管理 Looker (データマート) BigQuery Data Lake DWH データモデル (LookML) ダッシュボード Looker上ではモデルの定義のみ存在。 動的にBigQueryに対してクエリを実行 しデータモデルを元にデータを作る。 dbt
15.
15 なぜモノタロウでデータマネジメントが必要になったのか ~ 2010 基幹システムか らの抽出と Excel 2010 ~
2015 販促基盤 2016 ~ 2017 BigQuery 導入 2020~2021 データ管理導入 Looker導入 DWH構築 2018 ~ 2019 BigQuery展開 2022 ~ データ管理展開 Looker展開 DWH展開 特定の人だけ 使える 特定の部署だ け使える 自由に 使える より多くの人がより 自由に使える 自由, 安心, 安全, 簡 単に使える 自由に使えるが 簡単ではない ● 利用にはSQLやデータ仕様の理解が必要な状態は継続しており自 由ではあるが簡単とは言い難い ● 各部署でデータや指標管理が独自で行われ、統制がとれておらず、 さらなるデータ活用は困難になってきた データ分析人材が 全社に展開
16.
まとめ 16
17.
● データマネジメントは一見地味で経営層や利用者に必要性が 伝わりにくい。 ● 課題に対するソリューションとしてデータマネジメントに取 り組んでいることを明確にする必要がある。 ●
そのためにはデータ活用のボトルネックを順に解決して、 データマネジメントが必要な状況に至る必要がある。 17 データマネジメントをすすめる上でのポイント
18.
18 © 2020 MonotaRO
Co., Ltd. All Rights Reserved.
Download now