PySpark を分析用途に使っている話
•Download as PPTX, PDF•
5 likes•4,520 views
LINE株式会社 DataLabs 丸尾大貴 PyData.Tokyo Meetup #17 - データ分析の現場 での発表資料です。 https://pydatatokyo.connpass.com/event/77008/
More Related Content
What's hot
What's hot (20)
Similar to PySpark を分析用途に使っている話
Similar to PySpark を分析用途に使っている話 (20)
More from LINE Corporation
More from LINE Corporation (20)
Recently uploaded
Recently uploaded (14)
PySpark を分析用途に使っている話
- 1. © LINE Data Labs Pyparkを分析用途に使っている話 LINE株式会社 DataLabs 丸尾大貴
- 2. © LINE Data Labs 話すこと/話さないこと 話さないこと 🙅PySpark/Sparkの中身のはなし（正直全くわからない） 🙅高度な分析 話すこと 🙆PySparkが日常の統計分析業務をカバーできること
- 3. © LINE Data Labs 分析とその活用のプロセス 現状把握 仮説の立案 データ分析 施策の 策定・実行 効果測定
- 4. © LINE Data Labs 例題:架空のサブスクリプションサービスの分析 ・2週間単位で契約するものとする ・プランは一つしかなくて定額制=ARPPUは不変とする ・以下のテーブルが登場
- 5. © LINE Data Labs 現状把握:KPIツリーの作成 Subscriber # of New user Conversion rate Subscriber× × Retention rate Revenue ARPPU×
- 6. © LINE Data Labs 現状把握:可視化の例 ある日のsubscriberの数を計算する簡単なクエリ SQLで工夫できる？かもしれないが、 普通にやるならデイリーバッチ回したい
- 7. © LINE Data Labs 現状把握:可視化の例
- 8. © LINE Data Labs 仮説の立案:KPI向上のための仮説立案 hypo Zhypo Yhypo A …… Subscriber # of New user Conversion rate # of Continue user× × Revenue ARPPU Retention rate
- 9. © LINE Data Labs データ分析:データマートの作成 user_no is_ret feature1 … feature200 200 1 200 … A 664 0 40 … C
- 10. © LINE Data Labs データ分析:データマートの作成
- 11. © LINE Data Labs データ分析:データマートの作成 ・pysparkで同様の判定をすることもできる ただし、lead/when/isnull/otherwiseの組み合わせで、結構しんどい ・しかも、joinと順番を入れ替えるとバグる（あたりまえだがハマる） ・SQLのほうが総合的には楽な場合もある（コードは短い？）
- 12. © LINE Data Labs データ分析:データマートの作成 ・さっきと同じ集計もできる
- 13. © LINE Data Labs データ分析:データマートの作成 ・for文で回せそうな処理がある場合はpysparkが便利 SQLベタ書きするとメンテ性がすこぶる悪化する場面を避けられる
- 14. © LINE Data Labs データ分析:モデルの訓練 user_no is_ret feature1 … feature200 200 1 200 … A 664 0 40 … C
- 15. © LINE Data Labs データ分析:モデルの訓練 ・scikitともうほとんど変わらないレベルでお手軽にかける ただ、特定の形式しか受け付けないなどでけっこうハマる ハマったらまず前処理のAPIを見ることを推奨(ml.feature)
- 16. © LINE Data Labs データ分析:モデルのcross validation ・cv用のモジュールも充実。CrossValidatorに3つ渡すだけ、シンプル。
- 17. © LINE Data Labs データ分析:重要な特徴量の検証 ・よくある重要度plotもお茶の子さいさい sum(action)
- 18. © LINE Data Labs 効果測定:A/Bテストの集計
- 19. © LINE Data Labs 効果測定:比率の差の検定 ・Pandasで受けてstatsmodelsにわたして検定もできる
- 20. © LINE Data Labs Tips1:SQLで書けるのでレビューが楽 python派 R派 tableau派 ・SQLが実質的にチームの共通言語となっている 🙅pandas 🙆dplyr 👩SQL 🙆pandas 🙅dplyr 👩SQL 🙅pandas 🙅dplyr 🙆SQL
- 21. © LINE Data Labs Tips2:df.cache()を使ってgroupbyしまくろう ・分析用のテーブルを作ってからキャッシュする ・その後様々な切り口でorder_all.groupby()することができる ・探索的分析の速度・確度が上がる
- 22. © LINE Data Labs Tips3:RDD/udfはやめよう ド ラ イ バ ー ド ラ イ バ ー DataFrame API RDD/Python UDF エグゼキューター ・UDFを書いちゃうとjavaとpythonインタプリタの間でデータのやり取り が起きて性能劣化。改善の取り組みもあるが、改善されるまではオススメ しない。(世の中のUDF書きまくりのspark本をそのままpythonにしては🙅)
- 23. © LINE Data Labs Tips4:cross validation周辺が賢くなるぞ ・現状Cross Validatorが賢くない パラメータとデータセットに対して直列にtrainしていく (つまりパラメータの組み合わせ数×CVの分割数だけ直列に時間がかかる) Model1-param1 Model3-param1 Model2-param1 Model4-param1 Model1-param2 Model3-param2 Model2-param2 Model4-param2 Train1 Train2 Train3 Train4
- 24. © LINE Data Labs Tips4:cross validation周辺が賢くなるぞ ・2.2.0 ・2.3.0では引数一つでパラメータに対してはパラレルに！（最高 🙏）
- 25. © LINE Data Labs 他のツールとのpros/cons pyspark R+sparklyr Hive/Tez/presto 集計 最高 最高という人もいる 最高
- 26. © LINE Data Labs 他のツールとのpros/cons pyspark R+sparklyr Hive/Tez/presto 集計 最高 最高という人もいる 最高 特徴量/ データ マート 最高に自由度高い 最高という人もいる 大量に特徴量つくりたい ときは不向き
- 27. © LINE Data Labs 他のツールとのpros/cons pyspark R+sparklyr Hive/Tez/presto 集計 最高 最高という人もいる 最高 特徴量/ データ マート 最高に自由度高い 最高という人もいる 大量に特徴量つくりたい ときは不向き 分析用の 機械学習 最高にお手軽 sparklyR使ったことない のでわからない 🙅バッドノウハウ ※決してSQLで協調フィルタなどを実装することを批判するものではあり ません
- 28. © LINE Data Labs おわりに PySpark -> なんでもできて最高
- 29. © LINE Data Labs おわりに PySpark -> なんでもできて最高 PySparkで大規模データをゴリゴリ分析して 事業に貢献したいあなたはLINEへ！！