Download free for 30 days
Sign in
Upload
Language (EN)
Support
Business
Mobile
Social Media
Marketing
Technology
Art & Photos
Career
Design
Education
Presentations & Public Speaking
Government & Nonprofit
Healthcare
Internet
Law
Leadership & Management
Automotive
Engineering
Software
Recruiting & HR
Retail
Sales
Services
Science
Small Business & Entrepreneurship
Food
Environment
Economy & Finance
Data & Analytics
Investor Relations
Sports
Spiritual
News & Politics
Travel
Self Improvement
Real Estate
Entertainment & Humor
Health & Medicine
Devices & Hardware
Lifestyle
Change Language
Language
English
Español
Português
Français
Deutsche
Cancel
Save
Submit search
EN
Uploaded by
圭輔 大曽根
9,164 views
マイクロサービスとABテスト
Gunosy DM Meetup 〜ユーザーローカル×Gunosyでの発表資料です
Technology
◦
Read more
4
Save
Share
Embed
Embed presentation
Download
Download to read offline
1
/ 38
2
/ 38
3
/ 38
4
/ 38
5
/ 38
6
/ 38
7
/ 38
8
/ 38
9
/ 38
10
/ 38
11
/ 38
12
/ 38
13
/ 38
14
/ 38
15
/ 38
16
/ 38
17
/ 38
18
/ 38
19
/ 38
20
/ 38
21
/ 38
22
/ 38
23
/ 38
24
/ 38
25
/ 38
26
/ 38
27
/ 38
28
/ 38
29
/ 38
30
/ 38
31
/ 38
32
/ 38
33
/ 38
34
/ 38
35
/ 38
36
/ 38
37
/ 38
38
/ 38
More Related Content
PDF
Ibm Watson Analyticsで簡易Twitter分析
by
IBM Analytics Japan
PDF
IBM Watson AnalyticsとBoxの連携
by
IBM Analytics Japan
PDF
論文紹介@ Gunosyデータマイニング研究会 #97
by
圭輔 大曽根
PDF
アドネットワークのデータ解析チームを支える技術
by
hagino 3000
PDF
2014/06/13 若手Webエンジニア交流会発表資料「博士課程の新卒エンジニアがデータ分析環境を作った話」
by
圭輔 大曽根
PDF
Datawatch Monarch for Ibm Analyticsのご紹介
by
IBM Analytics Japan
PDF
Gunosy における AWS 上での自然言語処理・機械学習の活用事例
by
圭輔 大曽根
PDF
Ibm watson analyticsでリレーショナル・データベースのデータを利用する
by
IBM Analytics Japan
Ibm Watson Analyticsで簡易Twitter分析
by
IBM Analytics Japan
IBM Watson AnalyticsとBoxの連携
by
IBM Analytics Japan
論文紹介@ Gunosyデータマイニング研究会 #97
by
圭輔 大曽根
アドネットワークのデータ解析チームを支える技術
by
hagino 3000
2014/06/13 若手Webエンジニア交流会発表資料「博士課程の新卒エンジニアがデータ分析環境を作った話」
by
圭輔 大曽根
Datawatch Monarch for Ibm Analyticsのご紹介
by
IBM Analytics Japan
Gunosy における AWS 上での自然言語処理・機械学習の活用事例
by
圭輔 大曽根
Ibm watson analyticsでリレーショナル・データベースのデータを利用する
by
IBM Analytics Japan
What's hot
PDF
Spring で実現する SmartNews のニュース配信基盤
by
SmartNews, Inc.
PDF
SmartNewsを支えるデータパイプラインとその運用
by
SmartNews, Inc.
PDF
Watson Analytics ご紹介資料
by
Takayuki Nakayama
PDF
Bluemix predictive analyticsのご紹介
by
IBM Analytics Japan
PDF
掲示板時間軸コーパスを用いたワードトレンド解析(公開版)
by
moai kids
PPTX
今更聞けないストリーム処理のあれとかこれ
by
Tatsuro Hisamori
PDF
Watson Explorerを使ったテキストマイニング
by
Hori Tasuku
Spring で実現する SmartNews のニュース配信基盤
by
SmartNews, Inc.
SmartNewsを支えるデータパイプラインとその運用
by
SmartNews, Inc.
Watson Analytics ご紹介資料
by
Takayuki Nakayama
Bluemix predictive analyticsのご紹介
by
IBM Analytics Japan
掲示板時間軸コーパスを用いたワードトレンド解析(公開版)
by
moai kids
今更聞けないストリーム処理のあれとかこれ
by
Tatsuro Hisamori
Watson Explorerを使ったテキストマイニング
by
Hori Tasuku
Viewers also liked
PDF
WebDB Forum 2016 gunosy
by
Hiroaki Kudo
PDF
爆速クエリエンジン”Presto”を使いたくなる話
by
Kentaro Yoshida
PDF
Gunosy DM #120 論文紹介 Attention and Engagement-Awareness in the Wild: A Large-...
by
Koji Yoshida
PDF
Gdmc v11 presentation
by
jihoon jeon
PDF
あなただけにそっと教える弊社の分析事情 #data analyst meetup tokyo vol.1 LT
by
Hiroaki Kudo
PDF
#cwt2016 Apache Kudu 構成とテーブル設計
by
Cloudera Japan
PDF
Gunosyデータマイニング研究会 #118 これからの強化学習
by
圭輔 大曽根
PDF
“確率的最適化”を読む前に知っておくといいかもしれない関数解析のこと
by
Hiroaki Kudo
PDF
マイクロサービスバックエンドAPIのためのRESTとgRPC
by
disc99_
PDF
Apache Kuduは何がそんなに「速い」DBなのか? #dbts2017
by
Cloudera Japan
PDF
いまさら聞けない機械学習の評価指標
by
圭輔 大曽根
PPTX
A/B Testing at Pinterest: Building a Culture of Experimentation
by
WrangleConf
PDF
記事分類における教師データおよびモデルの管理
by
圭輔 大曽根
PDF
機械学習で大事なことをミニGunosyをつくって学んだ╭( ・ㅂ・)و ̑̑
by
Seiji Takahashi
PDF
Apache Kudu - Updatable Analytical Storage #rakutentech
by
Cloudera Japan
PDF
「新製品 Kudu 及び RecordServiceの概要」 #cwt2015
by
Cloudera Japan
WebDB Forum 2016 gunosy
by
Hiroaki Kudo
爆速クエリエンジン”Presto”を使いたくなる話
by
Kentaro Yoshida
Gunosy DM #120 論文紹介 Attention and Engagement-Awareness in the Wild: A Large-...
by
Koji Yoshida
Gdmc v11 presentation
by
jihoon jeon
あなただけにそっと教える弊社の分析事情 #data analyst meetup tokyo vol.1 LT
by
Hiroaki Kudo
#cwt2016 Apache Kudu 構成とテーブル設計
by
Cloudera Japan
Gunosyデータマイニング研究会 #118 これからの強化学習
by
圭輔 大曽根
“確率的最適化”を読む前に知っておくといいかもしれない関数解析のこと
by
Hiroaki Kudo
マイクロサービスバックエンドAPIのためのRESTとgRPC
by
disc99_
Apache Kuduは何がそんなに「速い」DBなのか? #dbts2017
by
Cloudera Japan
いまさら聞けない機械学習の評価指標
by
圭輔 大曽根
A/B Testing at Pinterest: Building a Culture of Experimentation
by
WrangleConf
記事分類における教師データおよびモデルの管理
by
圭輔 大曽根
機械学習で大事なことをミニGunosyをつくって学んだ╭( ・ㅂ・)و ̑̑
by
Seiji Takahashi
Apache Kudu - Updatable Analytical Storage #rakutentech
by
Cloudera Japan
「新製品 Kudu 及び RecordServiceの概要」 #cwt2015
by
Cloudera Japan
More from 圭輔 大曽根
PDF
第一回チキチキ秋のデータサイエンスアイデアソン&ハッカソン』開催報告会 アプリ名: 守備視え〜る
by
圭輔 大曽根
PDF
累計DL数3,600万のアプリを成長させ続けるためのピボット
by
圭輔 大曽根
PDF
2015/08/24 第15回 HTML5+JS 勉強会【TechBuzz】資料「HTML5とデータ可視化とExcel」
by
圭輔 大曽根
PDF
d3jsハンズオン @E2D3ハッカソン
by
圭輔 大曽根
PDF
5分で分かった気になるリーンスタートアップ(用語編)
by
圭輔 大曽根
PDF
HTML5を用いたセマンティックな文書作成【TechBuzz】第8回HTML5開発技術勉強会 〜先行事例紹介/交流会〜
by
圭輔 大曽根
第一回チキチキ秋のデータサイエンスアイデアソン&ハッカソン』開催報告会 アプリ名: 守備視え〜る
by
圭輔 大曽根
累計DL数3,600万のアプリを成長させ続けるためのピボット
by
圭輔 大曽根
2015/08/24 第15回 HTML5+JS 勉強会【TechBuzz】資料「HTML5とデータ可視化とExcel」
by
圭輔 大曽根
d3jsハンズオン @E2D3ハッカソン
by
圭輔 大曽根
5分で分かった気になるリーンスタートアップ(用語編)
by
圭輔 大曽根
HTML5を用いたセマンティックな文書作成【TechBuzz】第8回HTML5開発技術勉強会 〜先行事例紹介/交流会〜
by
圭輔 大曽根
マイクロサービスとABテスト
1.
マイクロサービスと ABテスト Gunosy データ分析部 ⼤曽根 圭輔 3/10
Gunosy DM Meetup 〜ユーザーローカル×Gunosy
2.
ながれ ⾃⼰紹介 マイクロサービスとサービス紹介 ABテストとは クライアントのABテスト サーバーサイドのABテスト まとめ
3.
⾃⼰紹介 ⼤ 茨城県出⾝です ⿅島アントラーズが好きです 最近ケトルベルはじめました 大曽根 圭輔 @dr_paradi
博士 (工学)
4.
ニュースパス担当
5.
データ分析部 ブログやってます http://data.gunosy.io
6.
ながれ ⾃⼰紹介 マイクロサービスとサービス紹介 ABテストとは クライアントのABテスト サーバーサイドのABテスト まとめ
7.
マイクロサービスとは
8.
マイクロサービスとは ニュースパスでの例 リソース単位でスタックが分かれている スタックをまたぐ通信はすべてAPI経由で疎結合 https://www.slideshare.net/mosa_siru/ss-64839846
9.
https://www.slideshare.net/mosa_siru/ss-64839846 詳しくは
10.
ながれ ⾃⼰紹介 マイクロサービスとサービス紹介 ABテストとは クライアントのABテスト サーバーサイドのABテスト まとめ
11.
ABテストとは
12.
ABテストとは 特定の機能(やUI)を2種類⽤意してどちらがいいか検証す る メリット 時間変化などノイズが⼊らない 最適化すべきメトリクスが決まってさえいれば単純なク ロス集計で済む
13.
ABテストとは A B Metrics I
5% 6% Metrics II 30 35
14.
ABテストとは A B Metrics I
5% 6% Metrics II 30 35 こっちがいいよね!
15.
詳しくは https://www.slideshare.net/keisukeosone/gunosy-97
16.
ABテストの実施⽅法 user_idをNで割った余りでユーザをN分割する 分割されたユーザのそれぞれA, Bのテストを割り当てる
17.
ちょっと問題 user_idを割った値だと、いつも同じテストが当たってし まい、バイアスがかかる可能性がある 対象の選定が⾯倒 ある程度ランダム化して出したい ハッシュ関数を利⽤した割り当て
18.
詳しくは http://data.gunosy.io/entry/ab_testing_assignment
19.
ながれ ⾃⼰紹介 マイクロサービスとサービス紹介 ABテストとは クライアントのABテスト サーバーサイドのABテスト まとめ
20.
クライアントサイド 起動時にサーバを叩いたときにユーザがどのABか割り当 てる UIなどを変更 ab_id user_idから どのABに割り当てるか決める 記事配信サーバ (Go) AB API ab_id user_id user_id
21.
あれ、集計は? user_idを割る⽅法では、user_idさえ分かれば、 簡単なSQLで集計できる ハッシュ関数を利⽤してるので計算が⾯倒 集計においてはDBで管理した⽅が楽なのだがそもそもマイ クロサービスなので(?)集計側のリソースが管理していない。 (AB管理のAPIはただuser_idが来た時のどのABに割当たって いるか返すだけ) 集計のたびにAPIたたくのもなんかあれ
22.
あれ、集計は? 起動ログに混ぜ、起動ログがあるユーザ群をそのテスト のvariantとして扱う ``` { “test_a":1, “test_b":0, “test_c":1} ``` ※1がtreatment, 0がcontrol
23.
あれ、集計は? これで集計可能に! A B Metrics I
5% 6% Metrics II 30 35 こっちがいいよね!
24.
⼀件落着
25.
ながれ ⾃⼰紹介 マイクロサービスとサービス紹介 ABテストとは クライアントのABテスト サーバーサイドのABテスト まとめ
26.
サーバサイド(配信ロジック) ニュースパスでは記事配信側と 記事リストをDynamo DBに保存する それをユーザに記事を配信するAPI(Go製)がユーザに返 す 記事リスト⽣成バッチ (Python) 記事配信サーバ (Go)
27.
サーバサイド(配信ロジック) 記事リスト⽣成バッチ (Python) 記事配信サーバ (Go) AB API
28.
サーバサイド(配信ロジック) 記事リスト⽣成バッチ (Python) 記事配信サーバ (Go) AB API ここを繋ぐか 悩みどころ
29.
だれが知ってるんだ問題 どのABが今⾛っているかを誰が管理してるんだろう問題 記事リスト⽣成のバッチがどのリストを⽣成するかはど こが管理する?? AB APIのDBで直接管理?
30.
結果 DynamoDBのkey名を {ABtest_name}:{logic_id}のよ うな形で保存 タブ呼び出しAPIはそれをAB APIからユーザがどのABに 割当たるかを受け取ってあっている そもそも役割分担として AB
APIはあくまでどのユーザに何が割り当てられてい るか管理。リスト⽣成に関してはノータッチ リスト⽣成は別の⽅法でABを管理
31.
サーバサイド(配信ロジック) 記事リスト⽣成バッチ (Python) 記事配信サーバ (Go) AB API ここを繋ぐか 悩みどころ
32.
サーバサイド(配信ロジック) 記事リスト⽣成バッチ (Python) 記事配信サーバ (Go) AB API リスト⽣成 ユーザ側のAB 管理 リスト側のAB管 理
33.
サーバサイド(配信ロジック) 記事リスト⽣成バッチ (Python) 記事配信サーバ (Go) AB API ユーザ側のAB 管理 リスト側のAB管 理 管理画⾯ リスト⽣成
34.
⼀件落着
35.
ながれ ⾃⼰紹介 マイクロサービスとサービス紹介 ABテストとは クライアントのABテスト サーバーサイドのABテスト まとめ
36.
まとめ マイクロサービスは集計が大変 => とりあえずログ⼊れた。だいたいログ⼊れれば解決する気がする => そもそもABに関する機能を切り出すのは分けすぎた感 =>
新規のメンバー加⼊がしやすい、 クライアントABしやすいとかのメリットはある ABでのリストの生成の役割分担 => ルールを決めてDynamoに⼊れた 分析チームとAPIチームで役割の分割ができている点は良かった 共通の管理画⾯で⼀括管理で⼤きな問題もなし
37.
今後の課題 ABの⾃動集計 ABユーザ割り当ての⾃動化、拡⼤の⾃動化
38.
おしまい Gunosyでは(泥臭く)課題解決をしてくれるエンジニア を募集しています! https://hrmos.co/pages/1009778707507720193/jobs
Download