Download free for 30 days
Sign in
Upload
Language (EN)
Support
Business
Mobile
Social Media
Marketing
Technology
Art & Photos
Career
Design
Education
Presentations & Public Speaking
Government & Nonprofit
Healthcare
Internet
Law
Leadership & Management
Automotive
Engineering
Software
Recruiting & HR
Retail
Sales
Services
Science
Small Business & Entrepreneurship
Food
Environment
Economy & Finance
Data & Analytics
Investor Relations
Sports
Spiritual
News & Politics
Travel
Self Improvement
Real Estate
Entertainment & Humor
Health & Medicine
Devices & Hardware
Lifestyle
Change Language
Language
English
Español
Português
Français
Deutsche
Cancel
Save
EN
Uploaded by
tetsuro ito
891 views
20160906 bq sushi
GCP_NEXT後のBQ_Sushiで発表した資料です
Data & Analytics
◦
Read more
2
Save
Share
Embed
Embed presentation
Download
Download to read offline
1
/ 33
2
/ 33
3
/ 33
4
/ 33
5
/ 33
6
/ 33
7
/ 33
8
/ 33
9
/ 33
10
/ 33
11
/ 33
12
/ 33
13
/ 33
14
/ 33
15
/ 33
16
/ 33
17
/ 33
18
/ 33
19
/ 33
20
/ 33
21
/ 33
22
/ 33
23
/ 33
24
/ 33
25
/ 33
26
/ 33
27
/ 33
28
/ 33
29
/ 33
30
/ 33
31
/ 33
32
/ 33
33
/ 33
More Related Content
PDF
Dataflow(python)を使ってelasticsearchにデータを移行した話
by
Ryo Yamaoka
PDF
Dataflow(python)を触った所感
by
Ryo Yamaoka
PPTX
Sano web広告最適化20131018v3
by
Masakazu Sano
PDF
GCE を利用した Sansan マイクロサービス移行とそのメリット
by
Shimpei Nagai
PDF
JAWSUG 20190620
by
陽平 山口
PDF
[ML15]Class Cat佐々木さん「いち早く人工知能テクノロジーを取り入れた製品・サービスを市場に展開するには?」
by
AINOW
PDF
Transcripts
by
Thomas Lhamon
PDF
OSHA 30 certificate
by
Susan Dunlap
Dataflow(python)を使ってelasticsearchにデータを移行した話
by
Ryo Yamaoka
Dataflow(python)を触った所感
by
Ryo Yamaoka
Sano web広告最適化20131018v3
by
Masakazu Sano
GCE を利用した Sansan マイクロサービス移行とそのメリット
by
Shimpei Nagai
JAWSUG 20190620
by
陽平 山口
[ML15]Class Cat佐々木さん「いち早く人工知能テクノロジーを取り入れた製品・サービスを市場に展開するには?」
by
AINOW
Transcripts
by
Thomas Lhamon
OSHA 30 certificate
by
Susan Dunlap
Viewers also liked
PDF
Anonymity, trust, accountability
by
Eleanor McHugh
PDF
Ley reformatoria para la justicia laboral y el trabajo en el hogar
by
Luis Felipe Lopez Nevarez
PDF
B - Tech Degree (NMIMS MPSTME)
by
Chirag Chauhan
PDF
social_inclusion_plan
by
Paul Pellerin
PDF
Whispered secrets
by
Eleanor McHugh
PPT
Final Messaging
by
streetsidestories
PPT
Membership Programs
by
caseytruffo
PPTX
Textos científicos
by
Cecyt 11 "Wilfrido Massieu", ESCA Santo Tomás
PPTX
Вовед на темата говор на омраза
by
Metamorphosis
PPTX
Awareness of OER and OEP in Scotland: Survey Findings from the OEPS Project
by
OEPScotland
PDF
Copy of Official Academic Transcript, Ship U
by
Michael Hageman
PPTX
Cafe coffee Day
by
nima15288
Anonymity, trust, accountability
by
Eleanor McHugh
Ley reformatoria para la justicia laboral y el trabajo en el hogar
by
Luis Felipe Lopez Nevarez
B - Tech Degree (NMIMS MPSTME)
by
Chirag Chauhan
social_inclusion_plan
by
Paul Pellerin
Whispered secrets
by
Eleanor McHugh
Final Messaging
by
streetsidestories
Membership Programs
by
caseytruffo
Textos científicos
by
Cecyt 11 "Wilfrido Massieu", ESCA Santo Tomás
Вовед на темата говор на омраза
by
Metamorphosis
Awareness of OER and OEP in Scotland: Survey Findings from the OEPS Project
by
OEPScotland
Copy of Official Academic Transcript, Ship U
by
Michael Hageman
Cafe coffee Day
by
nima15288
More from tetsuro ito
PDF
[Up用]rでqr
by
tetsuro ito
PDF
20170912 data analyst meetup tokyo vol.5
by
tetsuro ito
PDF
DataOps in Moneyforward
by
tetsuro ito
PDF
20170207 bigdata analytics_tokyo講演資料
by
tetsuro ito
PDF
20161029 dots machine learning in money forward
by
tetsuro ito
PDF
TokyoR LT Rで連続データを離散化
by
tetsuro ito
PDF
20150531分析プラットホームとその技術(bizreach) cookpad ito #dcube_analysis
by
tetsuro ito
PDF
20150303続パタ5章後半
by
tetsuro ito
PDF
PRML読書会1スライド(公開用)
by
tetsuro ito
PDF
20140614 tokyo r lt
by
tetsuro ito
PDF
20140329 tokyo r lt 「カーネルとsvm」
by
tetsuro ito
PDF
20140204はじパタlt
by
tetsuro ito
PDF
Japan.r 2013 「実ビジネスデータへのrの活用とその限界」
by
tetsuro ito
PDF
はじパタ8章 svm
by
tetsuro ito
PDF
Tokyo R LT 20131109
by
tetsuro ito
PDF
はじパタ2章
by
tetsuro ito
PDF
第31回TokyoR LT資料
by
tetsuro ito
PDF
集合知プログラミング5章発表
by
tetsuro ito
PDF
集合知プログラミング11章
by
tetsuro ito
KEY
集合知プログラミング勉強会キックオフMTG LT用資料
by
tetsuro ito
[Up用]rでqr
by
tetsuro ito
20170912 data analyst meetup tokyo vol.5
by
tetsuro ito
DataOps in Moneyforward
by
tetsuro ito
20170207 bigdata analytics_tokyo講演資料
by
tetsuro ito
20161029 dots machine learning in money forward
by
tetsuro ito
TokyoR LT Rで連続データを離散化
by
tetsuro ito
20150531分析プラットホームとその技術(bizreach) cookpad ito #dcube_analysis
by
tetsuro ito
20150303続パタ5章後半
by
tetsuro ito
PRML読書会1スライド(公開用)
by
tetsuro ito
20140614 tokyo r lt
by
tetsuro ito
20140329 tokyo r lt 「カーネルとsvm」
by
tetsuro ito
20140204はじパタlt
by
tetsuro ito
Japan.r 2013 「実ビジネスデータへのrの活用とその限界」
by
tetsuro ito
はじパタ8章 svm
by
tetsuro ito
Tokyo R LT 20131109
by
tetsuro ito
はじパタ2章
by
tetsuro ito
第31回TokyoR LT資料
by
tetsuro ito
集合知プログラミング5章発表
by
tetsuro ito
集合知プログラミング11章
by
tetsuro ito
集合知プログラミング勉強会キックオフMTG LT用資料
by
tetsuro ito
20160906 bq sushi
1.
BigQueryとRでの機械学習による 350万ユーザの行動分析と 可視化スピードの大幅改善 2016/09/06 BQ sushi @プリンスパークタワー東京
2.
自己紹介 所属:株式会社マネーフォワード PFM本部 名前:伊藤 徹郎 (@tetsuroito) 仕事:企画や分析など
(プレミアムサービス担当) 言語:RやSQL 好きなアルゴリズム:SVM (RBFカーネル) 一言:マネーフォワードをDLして、もしよければ プレミアムサービスも使っていただけるとうれしいです。
3.
マネーフォワード紹介 自動でグラフ化、ラクして節約! 350万人が選んだ 自動家計簿・資産管理サービス マネーフォワード
4.
マネーフォワード紹介
5.
マネーフォワード紹介
6.
アジェンダ ・BigQueryを導入の背景 ・BigQueryを用いた350万人の行動分析 ・Rと機械学習を使った可視化の高速化
7.
アジェンダ ・BigQueryを導入の背景 ・BigQueryを用いた350万人の行動分析 ・Rと機械学習を使った可視化の高速化
8.
BigQuery導入背景 BigQuery導入前 担当者 サービス利用ログをMySQLに保存、利用時も専用端末からMySQL利用 MySQL
9.
BigQuery導入背景 BigQuery導入前 担当者 当初は良かったが、サービス成長とともにボトルネックとなる 分析にはつらい... ボトルネック MySQL
10.
BigQuery導入背景 BigQuery導入後 BigQueryにデータを入れることで利用コストが格段に下がりました 担当者 dailyバッチで転送 MySQL
11.
導入時に悩んだこと ・BigQueryに入れるデータをどうするか ・どういうテーブル構成にするか ・運用フローをどうするか ・コストはどのくらいかかるか
12.
Github issueで起票 →
PRレビュー → CISOと複数メンバーで議論 BigQueryに入れるデータをどうするか
13.
Github issueで起票 →
PRレビュー → CISOと複数メンバーで議論 BigQueryに入れるデータをどうするか LGTM BigQueryにimport!
14.
どういうテーブル構成にするか 現状のDBの定義を踏襲し、 データ量の多いものは月ごとに区切ってテーブル化
15.
運用フローをどうするか ・Slackに専用チャンネルを作って関連話題は集約 ・転送完了通知もSlackで通知 ・アカウント追加は適宜実施 (用途次第でアカウント追加) ・esaに基本的な使い方やクエリリファレンスを記載 ・実行前に処理量をチェックしてから実行する など
16.
コストはどのくらいかかるか 事前に見積もりを実施 あらかじめ予算を決め、それをスコープに実施
17.
ちょっと困ったこと ・Timestampを入れるとUTCに変換されて入る → 事前に +9
hourしてhoge_JSTカラムを作成し回避 回避策はとっているので、困っていませんが、 この仕様どうにかならないでしょうか?
18.
アジェンダ ・BigQueryを導入の背景 ・BigQueryを用いた350万人の行動分析 ・Rと機械学習を使った可視化の高速化
19.
BigQueryを用いた350万人の行動分析 ・新機能リリース後の効果検証 例、家計診断機能 ・どのくらい利用されているか ・どんな人に利用されているか ・他にどんな機能を使っているか ・利用環境による違いはないか ・改善箇所はどこか などの詳細な分析が可能になりました
20.
BigQueryを用いた350万人の行動分析 ・Window関数を用いたパス解析 row_number関数やRank関数を利用してユーザーの行動パスを解析 パス解析の結果から初日アクションへの施策立案へと繋がった事例です
21.
BigQueryを用いた350万人の行動分析 その他にも・・・ ・ロイヤリティユーザーの行動解析 ・端末別の機能パフォーマンス調査 ・ユーザー状態別のアクセス分析 ・長期間のCSログ調査 などの従来は取り組めていなかった分析が可能になりました
22.
アジェンダ ・BigQueryを導入の背景 ・BigQueryを用いた350万人の行動分析 ・Rと機械学習を使った可視化の高速化
23.
Rと機械学習を使った可視化の高速化 担当者 dailyバッチで転送 統計解析 機械学習 可視化 MySQL
24.
RにBigQueryを読み込ませる Rには様々なパッケージが存在します。その中にbigrqueryパッケージがあります。
25.
作者はR界の神と呼ばれる人です
26.
Rへのデータロードの仕方 bigrqueryパッケージの他にクエリを抽出するためにhttpuvパッケージも必要です httpuvパッケージのquery_exec関数にプロジェクト名と引き出したいクエリを 記述してRにデータをにロードします。 * 抽出時のデータ型には注意しましょう (デフォルトはstring型)
27.
Rを使った可視化事例 Hadleyのggplot2パッケージを使って、自社の時間・曜日別の行動を可視化しました 使用例: 新機能をリリースした時 どの曜日のどの時間帯に告知 するかを左記を見てあたりを つけました
28.
Rを使った機械学習事例 rpartパッケージを使って、ユーザーのリテンションを分析しました [問題設定] どういうユーザーが継続して使ってくれるのか知りたい [特定方法] 実際にリテンションしているユーザーからその行動要因を特定する [タスク設定]
ユーザーの行動ログを月次で集計して分類モデルを作る [アルゴリズム設定] 要因分解メインなので、理解しやすい決定木を使おう こんな一人ブレストをしました
29.
数時間後... パラメータチューニングしながらほしいアウトプットがすぐに得られました 使用例: リテンションに効く要件を 満たすようにコミュニケーション設 計をして施策を実施
30.
BigQuery ビフォーアフター [Before] [After] 欲しい調査クエリのアウトプットが 数時間後に得られた 欲しい調査クエリから Rで可視化してみて、 一人ブレストをしたのち、 機械学習モデルを作って結果を得 た 圧倒的な改善が実現!!
31.
機械学習の取り組みはまだ始まったばかり 環境は整ったので、 たくさんあるデータから価値あるアルゴリズムを検証して、 より世の中に価値のあるモデルを作っていきたい そう、考えています。
32.
We’re Hiring 詳細はマネーフォワード採用ページ、もしくはWantedlyページをご確認ください。 ■マネーフォワード採用ページ https://recruit.moneyforward.com/ ■Wantedly https://www.wantedly.com/companies/moneyforward/projects マネーフォワードでは、一緒に働く仲間を募集しています。 特にAndroidエンジニア 機械学習エンジニア
33.
Thank you! ご清聴ありがとうございました
Download