Big Dataで価値を生み出すためのSmall Trial & Method (みんなのPython勉強会#42)
•
1 like•861 views
みんなのPython勉強会#42 の登壇資料です https://startpython.connpass.com/event/112787/presentation/
Recommended
More Related Content
Similar to Big Dataで価値を生み出すためのSmall Trial & Method (みんなのPython勉強会#42)
Similar to Big Dataで価値を生み出すためのSmall Trial & Method (みんなのPython勉強会#42) (20)
Big Dataで価値を生み出すためのSmall Trial & Method (みんなのPython勉強会#42)
- 1. 1 Big Data で 価値を生み出すため Small Trial & Method 2019-02-13 みんな Python勉強会#42 https://www.pexels.com/photo/adult-apple-device-business-code-340152/
- 3. 各案件担当者と 共同発表という形でお伝えします 関心 あるトピックが見つかりましたら、ぜひとも交流タイムで各発表者とマッチングして リアルな目線で ディスカッションを楽しんでいただけたらと思います 内田 臣了 共同発表 3 河野 晋策 twitter / @lapis_zero09
- 4. 1. じめに 2. レコメンド機能開発 3. 不正行為・規約違反行為対策 4. Jupyter Notebook Tips 4
- 5. 1. じめに 5
- 7. 市場 グロース期 ・米国で 結婚したカップル 1/3がオンラインで 出会い ・他ドメイン 大規模サービスに比べて、チームやプロダクトとして まだ発展途上 フェーズ 7
- 9. データ基盤 9
- 10. データ基盤 BigQueryというクラウドDWHソリューションを利用 ・他ツールで そ まま再現できない手法も出てきます ・各自 環境に照らしながら聞いていただけれ と思います 10 Google Cloud 発表資料より引用
- 12. 本日 これら2つ 案件開発についてご紹介します データ活用事例 12 レコメンド機能 不正行為・規約違反行為対策 http://image.itmedia.co.jp/l/im/ait/articles/1804/23/l_news011_04.jpg https://zexy-koimusubi.net/ https://www.irasutoya.com/2018/07/blog-post_403.html
- 14. 自己紹介 内田 臣了 (Shinryo Uchida) リクルートテクノロジーズ ITエンジニアリング本部 プロダクトエンジニアリング部 APプロダクト開発グループ 2017年4月 新卒入社 リクルート 運営するサービス 検索改善業務に従事 柴犬が好き 14
- 15. Small Trial for Big Data ケーススタディを通してお伝えしたいこと ビッグデータを扱う案件であっても 1つ1つ 小さな分析・検証 積み重 である 15
- 16. サービス 16
- 17. ご利用 流れ 1. 異性を探す 2. いい ！を送る 3. マッチングしたらメッセージを交換 4. お見合い・デートを申し込み 5. 交際開始（退会） 17
- 18. ご利用 流れ 1. 異性を探す 2. いい ！を送る 3. マッチングしたらメッセージを交換 4. お見合い・デートを申し込み 5. 交際開始（退会） 18
- 19. おすすめ順 「異性を探す」ステップに関連 検索結果 並び順 ひとつ ユーザー プロフィール内容や行動に基づき スコアを算出しランキング お客様 出会いに大きく影響を与えるため 非常に重要な役割 19
- 20. おすすめ順 開発プロセス 今回 おすすめ順 開発プロセス 話をします （ロジック 中身 話 しません） 各工程 開発コストを下げて 高速にサイクルを回す工夫 誰でも 手軽に 開発 ● 特定 開発者に縛られない ● 素早いリリース ● リスク 小さく 20 分析 実装検証
- 22. 1. 分析 22 分析 実装検証
- 23. Google BigQueryとJupyter Notebookによる分析 23 おすすめ順ロジック 改良 直感で なく必ずデータに基づいて行う 主要なデータ（個人情報除く） Google BigQuery上に格納されており、 分析者 それにアクセスし作業する マッチング率 改善につながる 特徴量 作り込みや 施策 効果 見立てを行う
- 25. 2. 実装 25 分析 実装検証
- 26. マイクロサービス化による高速リリース 26 検索エンジンレコメンドAPI 定義 ファイル サービス バックエンド クライアント サービス バックエンドから検索エンジンに 直接クエリを投げる で なく、 おすすめ順ロジックを適用する機能をAPIとして切り出しそれを仲介
- 27. メリット：更新時 コスト・リスク 軽減 27 検索エンジンレコメンドAPI 定義 ファイル サービス バックエンド クライアント 更新不要 更新不要 更新不要更新 デプロイ 規模を小さくしてコスト・リスクを軽減 ● ロジック 適用・切り戻しが容易 ● 万が一 障害時、切り離しが容易 直接検索エンジンにリクエストする経路も用意
- 29. 3. 検証 29 分析 実装検証
- 30. A/Bテストによる効果検証 30 定義A 定義B A群 B群 それぞれ 群で測定指標を比較 レコメンド API A群 B群 ● マッチング率 ● いい ！送信率 など ● マッチング率 ● いい ！送信率 など 無作為に分け、異なるロジックを適用 比較 新ロジック適用前にA/Bテストでオンライン評価 ➔ 良い効果が観測された場合、新たなロジックを全適用する もし大きな毀損があった場合 、 即座に測定を中止し元 ロジックに切り戻しを実施
- 36. • Recruit Technologies Co., Ltd. • • @lapis_zero09 lapis-zero09 https://www.lapis-zero09.xyz/profile/ 3
- 37. 4 FS 1 • KPI • 2 • 3 • • 4 • • • ROI 5 • Minimum Viable Product
- 39. 6 ! • • !
- 40. 7 ! • • !
- 41. 1. 8 KPI →
- 42. 2. 9
- 43. 2. 10
- 44. 3. 4. 3. • • 11 4. • • F 9 !! http://scikit-learn.org/stable/tutorial/machine_learning_map/index.html https://www.slideshare.net/ShinsakuKono/introduction-to-ensemble-methods-for-beginners
- 46. 13 FB KPI
- 47. 14 FS ( ) 1 • KPI • 2 • 3 • • 4 • • • ROI 5 • Minimum Viable Product
- 48. 15 FS 1 2 3
- 49. 1. 2. 16
- 50. 17 p p
- 51. p p 18
- 53. • ü ü ü • 20
- 54. 21 ! • • ! !!
- 57. 4. Method編 34