Download free for 30 days
Sign in
Upload
Language (EN)
Support
Business
Mobile
Social Media
Marketing
Technology
Art & Photos
Career
Design
Education
Presentations & Public Speaking
Government & Nonprofit
Healthcare
Internet
Law
Leadership & Management
Automotive
Engineering
Software
Recruiting & HR
Retail
Sales
Services
Science
Small Business & Entrepreneurship
Food
Environment
Economy & Finance
Data & Analytics
Investor Relations
Sports
Spiritual
News & Politics
Travel
Self Improvement
Real Estate
Entertainment & Humor
Health & Medicine
Devices & Hardware
Lifestyle
Change Language
Language
English
Español
Português
Français
Deutsche
Cancel
Save
Submit search
EN
Uploaded by
株式会社MonotaRO Tech Team
11,036 views
データ基盤に関わる問い合わせ対応を仕組みで解決する
datatech-jp Casual Talks #2 の発表資料です https://datatech-jp.connpass.com/event/244516/
Data & Analytics
◦
Read more
0
Save
Share
Embed
Embed presentation
1
/ 29
2
/ 29
3
/ 29
4
/ 29
5
/ 29
6
/ 29
7
/ 29
8
/ 29
Most read
9
/ 29
10
/ 29
11
/ 29
12
/ 29
13
/ 29
14
/ 29
15
/ 29
16
/ 29
17
/ 29
18
/ 29
19
/ 29
20
/ 29
Most read
21
/ 29
22
/ 29
23
/ 29
24
/ 29
25
/ 29
26
/ 29
27
/ 29
28
/ 29
29
/ 29
More Related Content
PDF
datatech-jp Casual Talks#3 データエンジニアを採用するための試行錯誤
by
株式会社MonotaRO Tech Team
PDF
MonotaRO のデータ活用と基盤の過去、現在、未来
by
株式会社MonotaRO Tech Team
PDF
全社のデータ活用を一段階上げる取り組み
by
株式会社MonotaRO Tech Team
PPTX
MLOpsはバズワード
by
Tetsutaro Watanabe
PDF
レコメンドアルゴリズムの基本と周辺知識と実装方法
by
Takeshi Mikami
PPTX
ビッグデータ処理データベースの全体像と使い分け 2018年version
by
Tetsutaro Watanabe
PDF
分散学習のあれこれ~データパラレルからモデルパラレルまで~
by
Hideki Tsunashima
PDF
Amazon Redshift パフォーマンスチューニングテクニックと最新アップデート
by
Amazon Web Services Japan
datatech-jp Casual Talks#3 データエンジニアを採用するための試行錯誤
by
株式会社MonotaRO Tech Team
MonotaRO のデータ活用と基盤の過去、現在、未来
by
株式会社MonotaRO Tech Team
全社のデータ活用を一段階上げる取り組み
by
株式会社MonotaRO Tech Team
MLOpsはバズワード
by
Tetsutaro Watanabe
レコメンドアルゴリズムの基本と周辺知識と実装方法
by
Takeshi Mikami
ビッグデータ処理データベースの全体像と使い分け 2018年version
by
Tetsutaro Watanabe
分散学習のあれこれ~データパラレルからモデルパラレルまで~
by
Hideki Tsunashima
Amazon Redshift パフォーマンスチューニングテクニックと最新アップデート
by
Amazon Web Services Japan
What's hot
PPTX
事業の進展とデータマネジメント体制の進歩(+プレトタイプの話)
by
Tokoroten Nakayama
PPTX
先駆者に学ぶ MLOpsの実際
by
Tetsutaro Watanabe
PDF
マッチングサービスにおけるKPIの話
by
cyberagent
PPTX
Dockerからcontainerdへの移行
by
Akihiro Suda
PDF
Snowflake Architecture and Performance
by
Mineaki Motohashi
PPTX
Amazon SageMakerでカスタムコンテナを使った学習
by
西岡 賢一郎
PPTX
本当は恐ろしい分散システムの話
by
Kumazaki Hiroki
PDF
PostgreSQLアンチパターン
by
Soudai Sone
PPTX
分散システムについて語らせてくれ
by
Kumazaki Hiroki
PDF
イミュータブルデータモデル(入門編)
by
Yoshitaka Kawashima
PPTX
Kubernetesでの性能解析 ~なんとなく遅いからの脱却~(Kubernetes Meetup Tokyo #33 発表資料)
by
NTT DATA Technology & Innovation
PPTX
オーバーエンジニアリングって何? #devsumi #devsumiA
by
Ore Product
PDF
SSII2022 [OS3-02] Federated Learningの基礎と応用
by
SSII
PPTX
MLOps入門
by
Hiro Mura
PPTX
MLflowで学ぶMLOpsことはじめ
by
Kenichi Sonoda
PDF
ソーシャルゲームのためのデータベース設計
by
Yoshinori Matsunobu
PDF
ビッグデータ処理データベースの全体像と使い分け
by
Recruit Technologies
PDF
レコメンドエンジン作成コンテストの勝ち方
by
Shun Nukui
PDF
最近のKaggleに学ぶテーブルデータの特徴量エンジニアリング
by
mlm_kansai
PPTX
[DL輪読会]Revisiting Deep Learning Models for Tabular Data (NeurIPS 2021) 表形式デー...
by
Deep Learning JP
事業の進展とデータマネジメント体制の進歩(+プレトタイプの話)
by
Tokoroten Nakayama
先駆者に学ぶ MLOpsの実際
by
Tetsutaro Watanabe
マッチングサービスにおけるKPIの話
by
cyberagent
Dockerからcontainerdへの移行
by
Akihiro Suda
Snowflake Architecture and Performance
by
Mineaki Motohashi
Amazon SageMakerでカスタムコンテナを使った学習
by
西岡 賢一郎
本当は恐ろしい分散システムの話
by
Kumazaki Hiroki
PostgreSQLアンチパターン
by
Soudai Sone
分散システムについて語らせてくれ
by
Kumazaki Hiroki
イミュータブルデータモデル(入門編)
by
Yoshitaka Kawashima
Kubernetesでの性能解析 ~なんとなく遅いからの脱却~(Kubernetes Meetup Tokyo #33 発表資料)
by
NTT DATA Technology & Innovation
オーバーエンジニアリングって何? #devsumi #devsumiA
by
Ore Product
SSII2022 [OS3-02] Federated Learningの基礎と応用
by
SSII
MLOps入門
by
Hiro Mura
MLflowで学ぶMLOpsことはじめ
by
Kenichi Sonoda
ソーシャルゲームのためのデータベース設計
by
Yoshinori Matsunobu
ビッグデータ処理データベースの全体像と使い分け
by
Recruit Technologies
レコメンドエンジン作成コンテストの勝ち方
by
Shun Nukui
最近のKaggleに学ぶテーブルデータの特徴量エンジニアリング
by
mlm_kansai
[DL輪読会]Revisiting Deep Learning Models for Tabular Data (NeurIPS 2021) 表形式デー...
by
Deep Learning JP
More from 株式会社MonotaRO Tech Team
PDF
データ管理に重要なことは事業と組織の理解だった(Data Engineering Study #11 発表資料)
by
株式会社MonotaRO Tech Team
PDF
モノタロウECプラットフォームを支える開発運用モダナイゼーションの取り組み #devsumi
by
株式会社MonotaRO Tech Team
PDF
【マーケティング・テクノロジーフェア 大阪 2023】 データから正しい意思決定を行うために 〜全社横断で実施したデータ活用プロジェクトの取...
by
株式会社MonotaRO Tech Team
PDF
モノタロウの1900万商品を検索する Elasticsearch構築運用事例(2022-10-26 第50回Elasticsearch 勉強会発表資料)
by
株式会社MonotaRO Tech Team
PDF
「指標」を支えるエンジニアリング: DataOpsNight #1
by
株式会社MonotaRO Tech Team
PDF
モノタロウの開発・リリースサイクルを支えるJenkinsの活用事例 - Jenkins Day Japan 2021
by
株式会社MonotaRO Tech Team
PDF
PyConAPAC2023 ワークフローエンジン Apache Airflowを用いた 大規模データパイプライン構築と改善
by
株式会社MonotaRO Tech Team
PDF
JDMC LT#1 - なぜモノタロウでデータマネジメントが必要になったのか
by
株式会社MonotaRO Tech Team
PDF
[ITmedia Cloud Native 2023] モノタロウのクラウドネイティブ.pdf
by
株式会社MonotaRO Tech Team
PDF
【TECHTRACKJP】私ってデータエンジニアなんですか?気づいたらデータエンジニアと呼ばれるようになった私がこの職種について考えた【20230725】
by
株式会社MonotaRO Tech Team
PDF
信頼性とアジリティを同時に上げろ!モノタロウのカナリアリリース導入.pdf
by
株式会社MonotaRO Tech Team
PDF
ITPと、その他cookie関連のこと / ITP and cookie
by
株式会社MonotaRO Tech Team
PDF
MonotaRO LT - ESLintの仕組み
by
株式会社MonotaRO Tech Team
PDF
20240522 Findy Event ビジネスの構造をアーキテクチャに落とし込みソフトウェアに可変性を注入する.pdf
by
株式会社MonotaRO Tech Team
PDF
本番環境でやらかしちゃった選手権_MonotaRO社内LT会利用スライド.pdf
by
株式会社MonotaRO Tech Team
PDF
WSL2使ってみた / Preview for WSL2
by
株式会社MonotaRO Tech Team
PDF
datatech-jp Casual Talks #5_データ基盤の立ち位置を考えるのに チームトポロジーの概念を活用した話
by
株式会社MonotaRO Tech Team
PDF
データ基盤グループを支えるチームビルディング
by
株式会社MonotaRO Tech Team
PDF
この技術書がすごい!2023夏(おすすめの技術書をペライチで紹介する選手権) .pdf
by
株式会社MonotaRO Tech Team
PDF
WebApp個人開発のすゝめ / Recommendation of personal web app development
by
株式会社MonotaRO Tech Team
データ管理に重要なことは事業と組織の理解だった(Data Engineering Study #11 発表資料)
by
株式会社MonotaRO Tech Team
モノタロウECプラットフォームを支える開発運用モダナイゼーションの取り組み #devsumi
by
株式会社MonotaRO Tech Team
【マーケティング・テクノロジーフェア 大阪 2023】 データから正しい意思決定を行うために 〜全社横断で実施したデータ活用プロジェクトの取...
by
株式会社MonotaRO Tech Team
モノタロウの1900万商品を検索する Elasticsearch構築運用事例(2022-10-26 第50回Elasticsearch 勉強会発表資料)
by
株式会社MonotaRO Tech Team
「指標」を支えるエンジニアリング: DataOpsNight #1
by
株式会社MonotaRO Tech Team
モノタロウの開発・リリースサイクルを支えるJenkinsの活用事例 - Jenkins Day Japan 2021
by
株式会社MonotaRO Tech Team
PyConAPAC2023 ワークフローエンジン Apache Airflowを用いた 大規模データパイプライン構築と改善
by
株式会社MonotaRO Tech Team
JDMC LT#1 - なぜモノタロウでデータマネジメントが必要になったのか
by
株式会社MonotaRO Tech Team
[ITmedia Cloud Native 2023] モノタロウのクラウドネイティブ.pdf
by
株式会社MonotaRO Tech Team
【TECHTRACKJP】私ってデータエンジニアなんですか?気づいたらデータエンジニアと呼ばれるようになった私がこの職種について考えた【20230725】
by
株式会社MonotaRO Tech Team
信頼性とアジリティを同時に上げろ!モノタロウのカナリアリリース導入.pdf
by
株式会社MonotaRO Tech Team
ITPと、その他cookie関連のこと / ITP and cookie
by
株式会社MonotaRO Tech Team
MonotaRO LT - ESLintの仕組み
by
株式会社MonotaRO Tech Team
20240522 Findy Event ビジネスの構造をアーキテクチャに落とし込みソフトウェアに可変性を注入する.pdf
by
株式会社MonotaRO Tech Team
本番環境でやらかしちゃった選手権_MonotaRO社内LT会利用スライド.pdf
by
株式会社MonotaRO Tech Team
WSL2使ってみた / Preview for WSL2
by
株式会社MonotaRO Tech Team
datatech-jp Casual Talks #5_データ基盤の立ち位置を考えるのに チームトポロジーの概念を活用した話
by
株式会社MonotaRO Tech Team
データ基盤グループを支えるチームビルディング
by
株式会社MonotaRO Tech Team
この技術書がすごい!2023夏(おすすめの技術書をペライチで紹介する選手権) .pdf
by
株式会社MonotaRO Tech Team
WebApp個人開発のすゝめ / Recommendation of personal web app development
by
株式会社MonotaRO Tech Team
データ基盤に関わる問い合わせ対応を仕組みで解決する
1.
datatech-jp Casual Talks
#2 株式会社MonotaRO IT部門 データ基盤グループ 吉本 直人 データ基盤に関わる問い合わせ対応 を仕組みで解決する 1 2022.5.17 © 2020 MonotaRO Co., Ltd. All Rights Reserved.
2.
いろんな人からデータ基盤にくる バラエティに富んだ問い合わせに どう対応しているのかについてお話します。 2 話すこと
3.
● 名前:吉本 直人(よしもと
なおと) ● 2020年2月にMonotaRO入社 ○ BigQueryを中心としたデータ基盤の構築・運用 ○ データ管理の体制、仕組みづくり ○ 採用広報(編集) ● 過去の発表(MonotaROのslideshare) ○ Data Engineering Study #11 : データ管理に重要なことは事業と組織の理解だった ○ MonotaRO Tech Talk #9 : 全社のデータ活用を一段階上げる取り組み 3 自己紹介
4.
アジェンダ 4 ● MonotaROのデータ基盤と利用状況について ● データ基盤においてどんな問い合わせがあるか ●
問い合わせ対応における課題 ● 課題に対しての取り組み、アクション ● 結果と今後のアクション
5.
MonotaROのデータ基盤と 利用状況について 5
6.
自動連携 個別の同期システム (個別の組織で管理) Log パイプライン Real-Time DB Pipeline 個別の同期システム 6 BigQuery 基幹,
ECサイト RDB 受発注, 顧客, 商品, 在庫, … Google Analytics 内製システムデータ 顧客行動ログ収集, 検索エンジン … その他パッケージ システムデータ WMS, カスタマーサポート … Log CDN, WebServer, Application Data Lake DWH Data Mart プロジェクト個別 その他 (合計 100程度) マーケター データ サイエンティスト 物流 Apps Script Sheets Data Portal SQL Python など その他 ツール エンジニア その他 全部門 レポーティング SQL による分析 ML での最適化や予測 業務オペレーション 大規模データ処理 他システムとの連携 などなど データソース 同期 データ管理 利用ツール 利用者 ユースケース
7.
以下のデータが Google Cloud
BigQuery に集約 ● 基幹システム, ECサイトシステムのMySQL (約30スキーマ 1200超の テーブルがニアリアルタイムで同期) ○ 受注, 発注, 商品, 顧客, 在庫, 販促 ... ● Webサーバ, アプリケーションサーバ のLog, CDN(Akamai) のログ ● Google Analytics (ECサイト行動データ) ● WMS(Warehouse Management System) ● 顧客からの問い合わせ ● 各種サブシステムがもつシステム情報 ● 業務やプロジェクトで生成したデータ 7 どんなデータがどれくらいあるのか
8.
● 利用ユーザ: 400人以上/月 ○
部門問わず全社員の 2 / 3 程度が日常的に利用 ○ 習熟度は異なる 8 どれくらい利用されているのか 機械学習 エンジニア マーケター システム開発 エンジニア カスタマーサポート エンジニアリングに詳しい エンジニアリングに詳しくない データ分析に 詳しい データ分析に 詳しくない
9.
● 各種KPIレポート ● ECサイトのレコメンデーション ●
検索エンジンの Indexing 用データ作成 ● 販促対象顧客選定 ● 需要予測、在庫最適化 ● 業務オペレーション用のツール ● … 9 利用例
10.
データ基盤において どんな問い合わせがあるか 10
11.
● 内容に関わらずデータ基盤グループが対応 11 問い合わせ対応 エンジニアリングに詳しい エンジニアリングに詳しくない データ分析に 詳しい データ分析に 詳しくない データ基盤 グループ
12.
12 問い合わせ例 同じ指標なのに BigQueryとLooker で値が違っている クエリを実行 したら エラーがでる 実行したクエリが 終わらない 〇〇の分析 したいけど どうしたらいい?
13.
問い合わせ対応における課題 13
14.
● 問い合わせの数が多い ● 部門、業務、分析スキル、ドメイン知識が様々 なので背景理解が必要 データ基盤主導で並列で非同期にヒアリング 14 コンテキストスイッチが大きい 〇〇の売上を 知りたい 〇〇の需要予測 をしたい
15.
● 部署やグループ内で解決されている ○ 知見が共有されない→スキルに差がでてくる ●
その結果、同じような質問が多方面からくる 15 ナレッジの局所化 Aグループ 〇〇のテーブルに2022年 から値が入っていない 〇〇のテーブルは △△のテーブルに移行し てる Bグループ Cグループ 〇〇のテーブルに2022年 から値が入っていない 〇〇のテーブルに2022年 から値が入っていない
16.
課題に対しての取り組み、 アクション 16
17.
● データ基盤グループのみで対応し続けるのは限界 ● 部門ごとにデータ分析、SQLに詳しい人が一定いる 問い合わせ対応をスケールさせる体制、 仕組みづくりを実施 17 問い合わせ対応の体制、仕組みづくり 問い合わせの分散対応
ナレッジの集約
18.
● 分析に長けているメンバーを巻き込む ● データ活用やデータ管理の観点であるべき姿 (ビジョン)を議論 ●
問い合わせ対応にも参加してもらう 18 データ活用/管理プロジェクト
19.
● Slackに分析やツールの 質問をできるチャンネルを用意 ● 相互扶助で解決するようにする 19 相互扶助の仕組み #bigquery
Bグループ Aグループ 〇〇のテーブルに2022年から 値が入っていない 〇〇のテーブルは△△のテー ブルに移行してる
20.
● Slackでデータ分析に関わる質問、 Tipsなどを特定のチャンネルに集約 ○ Reacji
Channelerを活用 ● よく使われる分析指標は DWHで吸収 20 ナレッジの集約 #GroupA #GroupB 〇〇の分析 どうすればいいですか △△の指標はこの ロジックで集計できます! #data-inquiry 〇〇の分析 どうすればいいですか △△の指標はこのロジックで 集計できます!
21.
● BigQueryの利用で知っておいてほしいことを 講習会として実施 ○ BigQueryの仕組み、権限、課金、Tips ●
便利な機能紹介を定期開催 ○ INFORMATION_SCHEMA、 監査ログ ○ BQ Script, UDF, TVF 21 講習会、勉強会の開催
22.
● データ基盤に関する情報を集約 ○ BigQueryなど各ツールの利用方法 ○
FAQ ○ 問い合わせ方法 ○ 過去の勉強会資料 22 ポータルの作成
23.
● チャンネルできた質問をデータ基盤以外の メンバーが対応するケースが増えてきた ● 誰が何に困っているかをより把握しやすくなった 23 アクションの結果 ●
まだまだ問い合わせの数が多い ● 問い合わせの回答がボランティアベース データ活用の組織、体制作りをさらに推進 その一方で...
24.
今後のアクション 24
25.
● グループ、部署を超えて データ活用の本質的な課題を解決する仕組み 25 CoEと Hub-and-Spoke Hub (CoE) Spoke Spoke Spoke 展開 展開 展開
26.
● データ活用に積極的に取り組んでいたり、 データ分析の知見を使って共有など フォローしている人を評価する 26 データ活用を評価に含める ✔ ビジネス上の課題や背景を把握し、問題提起(分析課題を設定)できる ✔
周囲を巻き込んで課題について正しく説明し、分析実行に導ける ✔ 分析手段を選択でき、適切な部署へ相談や依頼ができる、ヒアリングに対応できる ✔ 分析の設計を議論、選択できる ✔ データを正しく解釈できる ✔ 分析結果をビジネス活用(新規業務、施策)につなげられる
27.
分析リテラシーの向上 ● 分析の設計をどう組み立てるか ● 課題を分析につなげていくために 必要な考え方を身につける ○
ダッシュボードの設計 ○ データ分析のプロセス ○ データの使い方 27
28.
データ基盤グループではデータ活用をさらに 推し進めていくための活動を行っています! 興味のある方はぜひ カジュアル面談にご応募ください! 28 最後に 面談フォームリンク
29.
29 © 2020 MonotaRO
Co., Ltd. All Rights Reserved.