More Related Content
Similar to Mobility Technologiesのデータ分析基盤・データ利活用事例のご紹介
Similar to Mobility Technologiesのデータ分析基盤・データ利活用事例のご紹介 (20)
Mobility Technologiesのデータ分析基盤・データ利活用事例のご紹介
- 3. Mobility Technologies Co., Ltd.
鳩 英嗣(はと ひでつぐ)
おしごと歴
● 客先常駐でインフラ構築・保守業務に従事
● 直近はデータ分析基盤の保守運用
○ より広い領域でデータエンジニアリングに携わりたくなる
● データ利活用進んでいるMobility Technologiesにデータエンジニアとして
ジョイン(←イマココ)
自己紹介
3
- 5. Mobility Technologies Co., Ltd.
Mobility Technologies社のご紹介
5
タクシー
(基点)
交通
社会
事
業
領
域
の
拡
が
り
事業領域 実現したい姿
社会課題への取り組み
交通課題の解決
タクシー産業の課題解決
「移動で人を幸せに。」
タクシーを起点に交通課題・社会課題に取り組んでいく
- 6. Mobility Technologies Co., Ltd.
Mobility Technologiesの事業ご紹介
6
1. 配車関連事業
2. 広告決済事業
3. 乗務員向け
ソリューション事業
4. DRIVE CHART
・ドラレコ事業
5. 次世代向けR&D事業
- 9. Mobility Technologies Co., Ltd.
保有データ
● 配車アプリ注文ログ
● 決済サービス利用ログ
● タクシー車両位置情報・状態データ
データ利活用
● アドホック分析
● BIレポート作成、定期配信
● サービスへの貢献
○ タクシー到着時間予測
○ 「希望日時配車」・「優先パス」(NEW!!)
保有データとデータ利活用
9
- 10. Mobility Technologies Co., Ltd.
データパイプライン外観
10
AWS
Amazon Kinesis
Data Streams
AWS Lambda
Azure
GCP
BigQuery
WebAPI実行
車両データ
各プロダクト
DB
JapanTaxi
アプリDB
Cloud Composer
ワークフロー
エンジン
マート作成
DataTransfer
レポート配信
- 11. Mobility Technologies Co., Ltd.
データ収集方式 1/3
11
AWS
Amazon Kinesis
Data Streams
AWS Lambda
Azure
GCP
BigQuery
WebAPI実行
車両データ
各プロダクト
DB
JapanTaxi
アプリDB
Cloud Composer
ワークフロー
エンジン
マート作成
DataTransfer
レポート配信
GCPの仕組みで
そのままデータ収集
- 12. Mobility Technologies Co., Ltd.
データ収集方式 2/3
12
AWS
Amazon Kinesis
Data Streams
AWS Lambda
Azure
GCP
BigQuery
WebAPI実行
車両データ
各プロダクト
DB
JapanTaxi
アプリDB
Cloud Composer
ワークフロー
エンジン
マート作成
DataTransfer
レポート配信
リアルタイムでデータ量が多いデータ収集
→ スクラッチ実装
- 13. Mobility Technologies Co., Ltd.
データ収集方式 3/3
13
AWS
Amazon Kinesis
Data Streams
AWS Lambda
Azure
GCP
BigQuery
WebAPI実行
車両データ
各プロダクト
DB
JapanTaxi
アプリDB
Cloud Composer
ワークフロー
エンジン
マート作成
DataTransfer
レポート配信
SQLでのデータ収集
→ ETL製品を利用
- 14. Mobility Technologies Co., Ltd.
● システム管理運用コストを抑えたい
○ マネージドな製品であること
○ マルチクラウド環境な取得元のデータ収集を単一の製品で実現出来
ること
● 新規データ収集をクイックに実現出来ること
● 学習コストが低いこと
○ SQLが書けさえすればエンジニアでなくてもETLが組めるレベル
ETL製品でtroccoを選んだ理由
14
- 15. Mobility Technologies Co., Ltd.
● 元々Embulkに馴染みがありスムーズに移行出来た
● サポートが手厚い
○ 問い合わせへの回答スピード速
○ Embulkプラグイン迅速な追加
○ 当社の要件に合わせて一緒に機能拡張の検討してくれる
troccoを使ってみて感じていること
15
- 17. Mobility Technologies Co., Ltd.
名前: 千種 純一郎
前職: 客先常駐で広告データの分析
現職: 2019年8月にJapanTaxi
(現: Mobility Technologies)に入社
データアナリスト
趣味: 野球観戦
自己紹介
17
- 18. Mobility Technologies Co., Ltd.
● レポートしている内容
○ 事業KPIに関わる数字
○ 異常検知のモニタリング
● レポートを見ている人
○ 事業に関わるチーム
○ 経営陣
レポートしている内容と見ている人
18
レポートが出ていないと会長から即レス
- 21. Mobility Technologies Co., Ltd.21
LookMLによりダッシュボード毎で指標の算出定義が違う問題を解消
1 KPIを始めとする各種指標の算出定義を統一
BQ
A
B
以前のBIツール
(人によって定義がバラバラに)
ダッシュ
ボード1
ダッシュ
ボード2
Looker
(LookMLで定義を統一)
BQ
B
ダッシュボー
ド1
ダッシュボー
ド2
A
LookML
- 23. Mobility Technologies Co., Ltd.23
3 BIツール単体でのslack配信
以前のBIツール Looker
Looker単体でslack配信することが可能
BIツール 別の配信
ツール
Slack Looker Slack
- 25. Mobility Technologies Co., Ltd.25
レポート再配信機能
⇒ Lookerは豊富なAPIを提供していて、工夫次第で柔軟な運用ができるため
レポートの配信エラーが出た際の再送信を出来る仕組みを自前で構築
詳細: https://lab.mo-t.com/blog/looker-scheduled-reporting
Lookerにして出来なくなったこと
- 26. Mobility Technologies Co., Ltd.26
ノウハウを共有する工夫
⇒ LookML Best Practicesを元に自分たちの環境にあったお作法に編集
LookML Best Practices:
https://community.looker.com/lookml-5/lookml-best-practices-1636
全社での利活用を目指して
- 28. Mobility Technologies Co., Ltd.28
■ Looker導入理由
■ KPIを始めとする各種指標の算出定義を統一
■ ダッシュボードの変更履歴管理
■ BIツール単体でslack配信
■ Lookerにして出来なくなったこと
■ レポート再送信機能 ⇒ 自前で作ることで機能を補う
■ 全社での利活用を目指して
■ ノウハウを共有する工夫
■ Looker Viewer
まとめ