Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

データエンジニアとデータアナリストを兼任して良かったこと

1,725 views

Published on

第2回 データアーキテクト(データ整備人)を”前向きに”考える会でトークをさせて頂きました
https://analytics-and-intelligence.connpass.com/event/161997/
--
JapanTaxi, Inc. All Rights Reserved
102-0094 東京都千代田区紀尾井町3-12 3-12
TEL 03-6265-6265 FAX 03-3239-8115
https://japantaxi.co.jp/
文章·画像等の内容の無断転載及び複製等の行為はご遠慮ください。
Proprietary and Confidential ©2020 JapanTaxi, Inc. All Rights Reserved

Published in: Data & Analytics
  • Be the first to comment

データエンジニアとデータアナリストを兼任して良かったこと

  1. 1. Proprietary and Confidential ©2020 JapanTaxi, Inc. All Rights Reserved 第2回 データアーキテクト (データ整備人)を ”前向きに”考える会 「データエンジニアとデータアナリストを 兼任して良かったこと」 2020.02.06 JapanTaxi株式会社 マーケティング部 BIグループ 伊田正寿
  2. 2. 2 Proprietary and Confidential ©2020 JapanTaxi, Inc. All Rights Reserved 自己紹介 名前:伊田 正寿 / mida(Twitter) 年齢:34歳 前職: - 中小SIerのSEとしてDWHからBIの構築/客先常駐でO2Oアプリの分析 - 院外処方分析を展開するベンチャーのデータエンジニア 現職:2018年9月JapanTaxi株式会社に入社 データエンジニア / データアナリストを兼任(データアーキテクトと名乗っていいでしょうか) (JDLA E資格持ってます)
  3. 3. 3 Proprietary and Confidential ©2020 JapanTaxi, Inc. All Rights Reserved 今日話すこと 会社、組織、 分析基盤の紹介 データエンジニアと データアナリストを 兼任して良かったこと データアーキテクト になるまでの話
  4. 4. 4 Proprietary and Confidential ©2020 JapanTaxi, Inc. All Rights Reserved データエンジニアと データアナリストを 兼任して良かったこと データアーキテクト になるまでの話 会社、組織、 分析基盤の紹介
  5. 5. 5 Proprietary and Confidential ©2020 JapanTaxi, Inc. All Rights Reserved 900万DL超 日本No1タクシーアプリ アプリマップ上で指定したピン位置にタクシーを手配。 全国47都道府県で約7万台と、全国のタクシー車両1/3がアプリで呼べる。 Google Mapsや音声AIなど様々な注文チャネル、決済、経費精算に対応。 *App Annie調べ タクシー配車/ライドシェアアプリ内における、日本国内累計ダウンロード数/月間平均アクティブユーザー数(iOS/Google Play合算値)調査期間:2017年10月1日〜2018年9月30日 タクシー配車アプリ『JapanTaxi』 外部注文チャネル 地図・経路検索 Google Maps iphone map 経費精算 Concur MoneyForward 海外 KakaoT LINE TAXI my route iphone siri Alexa/echo spot mydaiz LINE clova Yahoo!乗換案内 外部注文チャネル 音声AI NAVITIME setowa 信州ナビ Japan Trip Navigator Grab
  6. 6. 6 Proprietary and Confidential ©2020 JapanTaxi, Inc. All Rights Reserved タクシー配車をサポート『JapanTaxi DRIVER’S』 通話機能付き乗務員向けアプリ 『JapanTaxi』アプリからの配車注文をクラウド経由で 複数車両に直接飛ばすことですばやい配車成立を実現。 乗務員とお客様が直接コミュニケーションをとる機能や 高精度ナビゲーションシステムを導入。 将来的には『JapanTaxi DRIVER’S』1台で電話もアプリも対応可能に。
  7. 7. 7 Proprietary and Confidential ©2020 JapanTaxi, Inc. All Rights Reserved コンテンツ配信と決済対応を兼ね備えたデジタルサイネージ端末 QRコード決済に対応する『広告タブレット』と クレジットカードや交通系ICなどマルチ決済対応『決済機付きタブレット』の2種を全国展開。 日英中(簡/繁)韓の多言語表示に加え、音声通訳機能も追加予定。 キャッシュレスを加速『JapanTaxi タブレット』 広告タブレット 決済機付きタブレット ※一部地域にて非対応ブランド有 タブレット導入エリア 北海道・東京都・千葉県・埼玉県・神奈川県・愛知県・石川県・富山県・滋賀県・京都府・ 大阪府・兵庫県・福岡県 ※クレジットカードは 1万円以下はPIN、サインレス
  8. 8. 8 Proprietary and Confidential ©2020 JapanTaxi, Inc. All Rights Reserved 扱っているデータについて 1. 「JapanTaxi」アプリ︓配⾞、決済、ユーザー情報、広告、アプリ/サーバーログなど 2. JapanTaxi DRIVER’S︓配⾞情報 3. JapanTaxiタブレット︓決済情報 4. 動態︓タクシー⾞両の位置情報 ※ これらのデータをもとにしたユーザー軸、タクシー会社軸など様々な分析要求が存在する これらのデータが分析基盤(BigQuery)にすべて集まっている イベント時のみの公開情報です
  9. 9. 9 Proprietary and Confidential ©2020 JapanTaxi, Inc. All Rights Reserved 組織紹介 チーム体制 3名 1名 ※データエンジニアとデータアナリストを兼任しているのは僕だけです データサイエンティスト 機械学習エンジニア データアナリスト データエンジニア AI チーム BI チーム データエンジニア
  10. 10. 10 Proprietary and Confidential ©2020 JapanTaxi, Inc. All Rights Reserved 分析基盤紹介
  11. 11. 11 Proprietary and Confidential ©2020 JapanTaxi, Inc. All Rights Reserved データエンジニアと データアナリストを 兼任して良かったこと データアーキテクト になるまでの話 会社、組織、 分析基盤の紹介
  12. 12. 12 Proprietary and Confidential ©2020 JapanTaxi, Inc. All Rights Reserved データエンジニアとデータアナリストを兼任して良かったこと 本日は問題点を整理した上で、兼任することのメリット・デメリットを話します 1. 分析における問題点の整理 2. メリット 3. デメリット (データ基盤周辺)
  13. 13. 13 Proprietary and Confidential ©2020 JapanTaxi, Inc. All Rights Reserved データエンジニアとデータアナリストを兼任して良かったこと 1. 分析における 問題点の整理 (データ基盤周辺) ※主語が⼤きくなりすぎないように気をつけます
  14. 14. 14 Proprietary and Confidential ©2020 JapanTaxi, Inc. All Rights Reserved データエンジニアとデータアナリストを兼任して良かったこと データ ソース データ レイク データ ウェア ハウス データ マート 意思 決定者 集計 分析 データの流れ 分析要求の流れ データは川上から川下に流れるが、分析要求は真逆の流れ
  15. 15. 15 Proprietary and Confidential ©2020 JapanTaxi, Inc. All Rights Reserved データエンジニアとデータアナリストを兼任して良かったこと データの流れ 分析要求の流れ ポジションも分担していることが多い データエンジニア データアナリスト データ ソース データ レイク データ ウェア ハウス データ マート 意思 決定者 集計 分析 ※分析基盤の管理はデータエンジニア領域である場合が多いので 一旦この区切りとしています 分析基盤
  16. 16. 16 Proprietary and Confidential ©2020 JapanTaxi, Inc. All Rights Reserved データエンジニアとデータアナリストを兼任して良かったこと これによって何が起こるか
  17. 17. 17 Proprietary and Confidential ©2020 JapanTaxi, Inc. All Rights Reserved データエンジニアとデータアナリストを兼任して良かったこと SIer時代の⾃分の話です ※内容⾃体は多少ぼかしています
  18. 18. 18 Proprietary and Confidential ©2020 JapanTaxi, Inc. All Rights Reserved データエンジニアとデータアナリストを兼任して良かったこと データアナリスト視点
  19. 19. 19 Proprietary and Confidential ©2020 JapanTaxi, Inc. All Rights Reserved データエンジニアとデータアナリストを兼任して良かったこと データの流れ 分析要求の流れ データアナリストのエンジニアリングの理解が浅い場合 データエンジニア データアナリスト データ ソース データ レイク データ ウェア ハウス データ マート 意思 決定者 集計 分析 分析基盤
  20. 20. 20 Proprietary and Confidential ©2020 JapanTaxi, Inc. All Rights Reserved データエンジニアとデータアナリストを兼任して良かったこと 分析するためのログがない(分析の要件定義ができていない) ◯◯分析がしたい そのためには、データマートのデータ構造は××で、 かつ△△のフラグを持っている必要がある △ △のフラグはデータソースにもないので 別途プロダクト側に依頼する必要があります データアナリスト データエンジニア
  21. 21. 21 Proprietary and Confidential ©2020 JapanTaxi, Inc. All Rights Reserved データエンジニアとデータアナリストを兼任して良かったこと データエンジニア視点
  22. 22. 22 Proprietary and Confidential ©2020 JapanTaxi, Inc. All Rights Reserved データエンジニアとデータアナリストを兼任して良かったこと データの流れ 分析要求の流れ データエンジニアのビジネス/分析の理解が浅い場合 データエンジニア データアナリスト データ ソース データ レイク データ ウェア ハウス データ マート 意思 決定者 集計 分析 分析基盤
  23. 23. 23 Proprietary and Confidential ©2020 JapanTaxi, Inc. All Rights Reserved データエンジニアとデータアナリストを兼任して良かったこと データアナリストからの分析要求に対して最適な提案ができない プロダクトA データウェアハウス プロダクトB プロダクトC データ マート プロダクトB専任の データアナリストの データ理解のスコープ プロダクトBのデータソースから データ整形を依頼
  24. 24. 24 Proprietary and Confidential ©2020 JapanTaxi, Inc. All Rights Reserved データエンジニアとデータアナリストを兼任して良かったこと データアナリストからの分析要求に対して最適な提案ができない プロダクトA データウェアハウス プロダクトB プロダクトC プロダクトBのデータソースから データ整形を依頼 実はプロダクトCのデータと掛け合わせるとより良い分析ができるケース プロダクトB専任の データアナリストの データ理解のスコープ データ マート
  25. 25. 25 Proprietary and Confidential ©2020 JapanTaxi, Inc. All Rights Reserved データエンジニアとデータアナリストを兼任して良かったこと お互い前提知識が違うので齟齬が発生しやすい ビジネス エンジニアリングデータサイエンス 知っていることは知っている 知らないことは知らない ただ、それだけの話
  26. 26. 26 Proprietary and Confidential ©2020 JapanTaxi, Inc. All Rights Reserved データエンジニアとデータアナリストを兼任して良かったこと 改めて これによって何が起きるか
  27. 27. 27 Proprietary and Confidential ©2020 JapanTaxi, Inc. All Rights Reserved データエンジニアとデータアナリストを兼任して良かったこと PDCAサイクルの話
  28. 28. 28 Proprietary and Confidential ©2020 JapanTaxi, Inc. All Rights Reserved データエンジニアとデータアナリストを兼任して良かったこと 登場⼈物 1. ディレクター(意思決定者) 2. プロダクトエンジニア 3. データアナリスト 4. データエンジニア
  29. 29. 29 Proprietary and Confidential ©2020 JapanTaxi, Inc. All Rights Reserved データエンジニアとデータアナリストを兼任して良かったこと 高速でPDCAを回したいのに分析スピードがボトルネックになるケース ディレクター データアナリスト プロダクトエンジニア データエンジニア タイムライン 施策立案 実装 分析設計 データ連携 集計分析 (思っていたデータと違う) 再構築 集計分析 修正依頼 結果FB 施策立案 タイムロス
  30. 30. 30 Proprietary and Confidential ©2020 JapanTaxi, Inc. All Rights Reserved データエンジニアとデータアナリストを兼任して良かったこと このようなケースが続くと
  31. 31. 31 Proprietary and Confidential ©2020 JapanTaxi, Inc. All Rights Reserved データエンジニアとデータアナリストを兼任して良かったこと 分析による意思決定を無視してしまうようになる ディレクター プロダクトエンジニア タイムライン 施策立案 実装 施策立案 一定規模以上の施策のみ分析要因としてアサインされるようになる 実装
  32. 32. 32 Proprietary and Confidential ©2020 JapanTaxi, Inc. All Rights Reserved データエンジニアとデータアナリストを兼任して良かったこと データエンジニアとデータアナリストを 兼任して良かったこと
  33. 33. 33 Proprietary and Confidential ©2020 JapanTaxi, Inc. All Rights Reserved データエンジニアとデータアナリストを兼任して良かったこと データの流れ 分析要求の流れ 川上から川下まで垂直統合型の仕事をしています データ ソース データ レイク データ ウェア ハウス データ マート 意思 決定者 集計 分析 分析基盤 データエンジニア/データアナリスト 一定規模の会社では、このパターンが多いと思います
  34. 34. 34 Proprietary and Confidential ©2020 JapanTaxi, Inc. All Rights Reserved データエンジニアとデータアナリストを兼任して良かったこと 2. メリット
  35. 35. 35 Proprietary and Confidential ©2020 JapanTaxi, Inc. All Rights Reserved データエンジニアとデータアナリストを兼任して良かったこと 分析が円滑に実施できる(=分析スピードがボトルネックではなくなる) ディレクター データアナリスト /データエンジニア プロダクトエンジニア タイムライン 施策立案 実装 分析設計 データ連携 集計分析 施策立案 結果FB
  36. 36. 36 Proprietary and Confidential ©2020 JapanTaxi, Inc. All Rights Reserved データエンジニアとデータアナリストを兼任して良かったこと エンジニアとアナリストの2つの観点が手戻りを少なくする 分析設計 データ連携 集計分析 結果FB アナリスト:施策の狙いを理解して分析設計する。 エンジニア:分析に必要なデータ構造をプロダクトエンジニアに伝える。 エンジニア:データ構造を理解した上でデータ連携からマートまで作成する。 おかしなデータがあればアラートをあげる。運用を意識した形で作り込みをする。 アナリスト:後々のことを考えて+αの分析ができるように拡張性を持たせる。 アナリスト:データを分析し、チームが理解しやすい形に可視化する。 エンジニア:追加の分析が必要であれば都度マートを修正する。 アナリスト:意思決定のためのメッセージをフィードバックする。 エンジニア:結果の妥当性を再確認する。
  37. 37. 37 Proprietary and Confidential ©2020 JapanTaxi, Inc. All Rights Reserved データエンジニアとデータアナリストを兼任して良かったこと データは川上から川下に流れるしかない以上、 先を⾒越した分析基盤の設計が必要で、 エンジニアとアナリストの2つの観点で考える必要がある (仮に⼿戻りする場合も対応範囲が広いほうが有利)
  38. 38. 38 Proprietary and Confidential ©2020 JapanTaxi, Inc. All Rights Reserved データエンジニアとデータアナリストを兼任して良かったこと チームとしてのメリット
  39. 39. 39 Proprietary and Confidential ©2020 JapanTaxi, Inc. All Rights Reserved データエンジニアとデータアナリストを兼任して良かったこと ・分析基盤のデータを⼀通り抑えているので何かあれば真っ先に相談される。 「あります」、「ありません」、「できます」、「できません」、「こういうや り⽅があります」、「必要ならデータ取ってきます」。 ・AIチームとの連携が円滑にできる。 どこにデータがあるか知りたいとき、データの意味を知りたいとき、 特徴量に効きそうなモノがないか事前の分析情報を知りたいとき。 エンジニアとアナリストの2つの観点で返答できるので話が早く済む 分析基盤APIのエンドポイントとしてチームをワークさせる
  40. 40. 40 Proprietary and Confidential ©2020 JapanTaxi, Inc. All Rights Reserved データエンジニアとデータアナリストを兼任して良かったこと 必要なときに必要な情報を提供することで チームをワークさせる
  41. 41. 41 Proprietary and Confidential ©2020 JapanTaxi, Inc. All Rights Reserved データエンジニアとデータアナリストを兼任して良かったこと つまり データアーキテクトとは
  42. 42. 42 Proprietary and Confidential ©2020 JapanTaxi, Inc. All Rights Reserved データエンジニアとデータアナリストを兼任して良かったこと データアーキテクトとは データエンジニアとデータアナリストの 2つの観点から チームをワークさせるポジション
  43. 43. 43 Proprietary and Confidential ©2020 JapanTaxi, Inc. All Rights Reserved データエンジニアとデータアナリストを兼任して良かったこと 3. デメリット
  44. 44. 44 Proprietary and Confidential ©2020 JapanTaxi, Inc. All Rights Reserved データエンジニアとデータアナリストを兼任して良かったこと 組織規模が大きくなるほど兼任体制が難しくなる データエンジニア データアナリスト データ ソース データ レイク データ ウェア ハウス データ マート 意思 決定者 集計 分析 分析基盤 データアーキテクト 担当領域注力する領域ではないが 抑えたい 注力する領域ではないが 抑えたい
  45. 45. 45 Proprietary and Confidential ©2020 JapanTaxi, Inc. All Rights Reserved データエンジニアと データアナリストを 兼任して良かったこと データアーキテクト になるまでの話 会社、組織、 分析基盤の紹介
  46. 46. 46 Proprietary and Confidential ©2020 JapanTaxi, Inc. All Rights Reserved データアーキテクトになるまでの話 SIer時代 データエンジニア データ ソース データ レイク データ ウェア ハウス データ マート 意思 決定者 分析基盤 会社A 集計 分析 会社C会社B データエンジニア
  47. 47. 47 Proprietary and Confidential ©2020 JapanTaxi, Inc. All Rights Reserved データアーキテクトになるまでの話 SIer時代 データアナリスト 会社D 会社F データ ソース データ レイク データ ウェア ハウス データ マート 意思 決定者 集計 分析 分析基盤 会社E データアナリスト
  48. 48. 48 Proprietary and Confidential ©2020 JapanTaxi, Inc. All Rights Reserved データアーキテクトになるまでの話 エンジニアもデータ分析もやりたかった エンジニアの経験 データ分析の経験 どっちも楽しかった
  49. 49. 49 Proprietary and Confidential ©2020 JapanTaxi, Inc. All Rights Reserved データアーキテクトになるまでの話 データアーキテクト(データ整備人)の素養 エンジニアリングが好き データ分析が好き の2つが両⽴している⼈
  50. 50. 50 Proprietary and Confidential ©2020 JapanTaxi, Inc. All Rights Reserved データアーキテクトになるまでの話 両方の観点で経験を積むためには一つの会社でコントロールできる状況が良い データ ソース データ レイク データ ウェア ハウス データ マート 意思 決定者 分析基盤 会社A 集計 分析 データエンジニア/データアナリスト
  51. 51. 51 Proprietary and Confidential ©2020 JapanTaxi, Inc. All Rights Reserved まとめ
  52. 52. 52 Proprietary and Confidential ©2020 JapanTaxi, Inc. All Rights Reserved まとめ ・分析のミッションは意思決定をサポートすること ▷分析スピードがボトルネックになってはならない ▷ボトルネックにならないために⼿戻りを減らす⼯夫が必要 ▷⼿戻りを減らすためにエンジニアとアナリストの2つの観点が必要 ・データアーキテクトが完全にワークすると ▷必要なときに必要な情報を提供できることが、組織をワークさせる ・データアーキテクトの素養がある⼈はどんな⼈か ▷エンジニアリングもデータ分析も好きな⼈が向いている
  53. 53. 53 Proprietary and Confidential ©2020 JapanTaxi, Inc. All Rights Reserved

×