More Related Content
Similar to データ分析コンペでスキルアップしよう.pdf
Similar to データ分析コンペでスキルアップしよう.pdf (20)
データ分析コンペでスキルアップしよう.pdf
- 2. 自己紹介 2021年7月にデータサイエンスの資格を取得し、データサイエンティストとして活動中。 スキルセット(資格取得分) •言語：Python、SQL •データ分析：統計・A/Bテスト・可視化 •機械学習：テーブルデータ・画像処理・自然言語処理 •データ基盤：DB設計・クラウドDWH・データレイク・データマネージメント 趣味： • データ分析コンペ参加 • 絵画鑑賞（浮世絵） • 愛猫の動画観察 ■資格証明書 2 歌川広重『名所江⼾百景 浅草⽥甫⾣の町詣』
- 3. 今回お伝えしたいこと • 想定した聴講者 • データサイエンス・機械学習に興味がある・勉強中の方 • データ分析コンペに興味がある方、参加を検討されている方 • データ分析コンペに参加したが、途中で辞めてしまった方 • キーメッセージ • データ分析コンペは競争する場だけでなく、学びの場 • データ分析コンペに参加して継続的にスキルアップしよう 3
- 4. 目次 • データサイエンスの世界とコンペ参加のキッカケ • データ分析コンペ • データ分析コンペとは • 開発環境 • コンペの選び方 • データ分析コンペの進め方 • データ分析コンペを通じて学んだこと 4
- 5. 目次 • データサイエンスの世界とコンペ参加のキッカケ • データ分析コンペ • データ分析コンペとは • 開発環境 • コンペの選び方 • データ分析コンペの進め方 • データ分析コンペを通じて学んだこと 5
- 8. コンペを始めるキッカケ：技術が知識のまま • 苦手克服＆技術進化へのキャッチアップを自然言語処理領域で開始 • オンラインセミナーや書籍の読み込みで基礎力は習得可能 →技術を学んだ後は実践の場が必要＝コンペに参加 ゼロから始める転移学習 柴⽥知秀 8 5年に一回 世界が変わる モデルによる 文章生成 感情分析などで 劇的な精度向上
- 9. 目次 • データサイエンスの世界とコンペ参加のキッカケ • データ分析コンペ • データ分析コンペとは • 開発環境 • コンペの選び方 • データ分析コンペの進め方 • データ分析コンペを通じて学んだこと 9
- 10. データ分析コンペとは • データ分析コンペは「機械学習やデータサイエンスの技能を競う 「データ分析コンペティション」のプラットフォームに関するビジネステーマ」（⽇経テレコンより） • 参加のメリット • 特定のタスクにおける技能を競う：コンペ＝競争というのが一般的なイメージ • データ分析の理解が進む：コンペにてチュートリアルや他の参加者の解法が参照可能 サイト名 言語 プログラミング 言語 登録者数（概算 ） 難易度 取り扱うデータ コンペのコー ド共有 Kaggle 英語 Python/R ４０万人超 中級者〜 構造化データ・ 非構造化データ あり Signate 日本語 Python 5万人超 ↑ ↑ あり Nishika ↑ ↑ 不明 初心者〜 ↑ あり PronSpace ↑ ↑ ↑ ↑ ↑ あり ■日本から参加できるコンペの運営サイトの例 https://toukei-lab.com/data-competition を参考に作成 10
- 12. コンペの大事なルール • 多くのコンペの共通ルールあり -> 予測モデルの検証が非常に大事 • ルール１:コンペは予測値の提出回数がある(５回/日など)＝モデルの判断基準が必要 • ルール２:公開されたデータによる予測精度・順位は公開(Public)＝周りの順位の判断基準が必要 • ルール３:最終順位は非公開(Private)のデータを用いた予測精度で決まる＝予測モデルの汎用性が必要 KaggleのLeader Board(TPS 2022 May) 12 公開順位 最終順位 29% 71%
- 13. コンペに取り組む開発環境例：参加時点 • データはGoogle ドライブに格納し、コードはGitHubに格納 • 画像認識・自然言語処理のコンペ参加のため Goole Colab を利用 • 1GB超の表形式データはpysparkを利用 GPU OFF 表形式 時系列 GPU ON 画像認識 自然言語処理 時系列 学習データ 構築モデル 13 予測結果をコンペへ送信 過去のコード
- 14. 初めて参加するコンペの選び方：私案 • 初めて参加したコンペは下記を基準に選択。 「表形式」、単一テーブル、100MB程度のデータ量、千人前後の参加者、３０日程度の開催期間 画像認識 構造化データ 非構造化データ 時系列 自然言語処理 （含む音声） Kaggleは毎月開催 （Tabular Playground Series） Signate SOTA コンペ 表形式 データ量 100MB 未満 データ量 100MB超 14 タスクの複雑さ (データの種類) タスクの 難易度 (データ量)
- 15. 私の初めてのコンペ • コンペに参加しながら仕組みを勉強 • 取り組み方を確立できない＆消化不良 ＆結果が出ない ０日 １５日 ３０日 ■初めてのKaggleコンペにおける私の失敗(TPS 2022 March) なんとか予測値を提出するも 順位が変わらない ５日 非公開のデータによる 最終結果300番台 ２０日 参加者の解法を片っ端から試す 公開されたデー タの予測精度は 20番以内 ネタ切れで 焦る 最終順位この時点では10番 前後 15
- 16. 目次 • データサイエンスの世界とコンペ参加のキッカケ • データ分析コンペ • データ分析コンペとは • 開発環境 • コンペの選び方 • データ分析コンペの進め方 • データ分析コンペを通じて学んだこと 16
- 17. データコンペの進め方：概要 • データ分析はトライアンドエラーを前提に３段階で検討 ①ベースライン（ベースモデル）作成 分析設計 データ前処理 特徴量作成 データセット作成 バリデーション設計 モデル学習 分析設計 データ前処理 特徴量作成 データセット作成 バリデーション設計 モデル学習 ②特徴量エンジニアリング ③モデルチューニング 分析設計 固定 モデル学習 分析設計 データ前処理 特徴量作成 データセット作成 バリデーション設計 分析設計 固定 モデル学習 固定 固定 分析設計 データ前処理 特徴量作成 データセット作成 バリデーション設計 諸橋政幸著 [Kaggleで磨く機械学習の実践⼒]を参考に作成 分析設計・バリデーション設計がメイン 記録 記録 記録 17
- 18. 分析プロセス タスク ①ベースライン作成 ②特徴量エンジニアリング ③モデルチューニング 分析設計 問題の理解 ○ 分析設計 ○ データの前処理 ファイル読み込み ○ データの確認(簡易) ○ データの確認(詳細) ○ 欠損値の対応 ○ 外れ値の対応 ○ 特徴量の生成 単変数：数値 ○ 単変数：カテゴリ変数 ○ ２変数の組み合わせ ○ テキストデータ ○ データセット作成 特徴量選択 ○ データセット作成 ○ バリデーション設計 バリデーション方法 ○ 評価指標 ○ モデル学習 勾配ブースティング ○ ハイパーパラメターチューニング ○ scikit-learnのモデル ○ ニューラルネットワーク ○ アンサンブル ○ モデル推論 推論用データセット作成 ○ 学習済モデルを用いた推論 ○ データ分析コンペの進め方：詳細 • コンペに取り組み始めた時はベースライン(ベースモデル)作成だけで十分 諸橋政幸著 [Kaggleで磨く機械学習の実践⼒]を参考に作成 コンペにもよるが参加者中 上位20-50%の順位になった とき一旦終了 トライアンドエラー はつきもので１ヶ月 くらいの検討結果を 捨てることもある 18 何を予測する のか？ モデルをど うやって評 価するか？
- 19. データ分析コンペに役に立つツール • データ量が小さい(30MB前後)ならAutoML(自動化された機械学習)の活用も有効 分析プロセス タスク ①ベースライン作成 ②特徴量エンジニアリング ③モデルチューニング 分析設計 問題の理解 ○ 分析設計 ○ データの前処理 ファイル読み込み ○ データの確認(簡易) ○ データの確認(詳細) ○ 欠損値の対応 ○ 外れ値の対応 ○ 特徴量の生成 単変数：数値 ○ 単変数：カテゴリ変数 ○ ２変数の組み合わせ ○ テキストデータ ○ データセット作成 特徴量選択 ○ データセット作成 ○ バリデーション設計 バリデーション方法 ○ 評価指標 ○ モデル学習 勾配ブースティング ○ ハイパーパラメターチューニング ○ scikit-learnのモデル ○ ニューラルネットワーク ○ アンサンブル ○ モデル推論 推論用データセット作成 ○ 学習済モデルを用いた推論 ○ ●AutoMLの機能で対応可能なプロセス(含む組み合わせ） ●Pythonで利用可能なAutoMLの例＠Google colab LightAutoML ●AutoMLの機能で対応可能なプロセス 19
- 20. ベースラインの作成：分析設計@表形式 • 分析設計で行うこと：何を予測するかを把握する • 目的変数は何か？ • 目的変数は数値？ O r カテゴリ？ カテゴリーなら ２値 Or 多値? • モデル評価指標は何か？ (数値:RMSE, MAE, etc. カテゴリー：Accuracy, etc) モデル評価指標 目的変数：カテゴリー、２値 ■タイタニックコンペの例 20
- 21. ベースラインの作成：データの前処理＠表形式 • データの前処理で行うこと：下記＋分析ノートの作成 • データの読み込み • データの確認：気になったことは分析ノートに記載 • レコード数とカラム数の確認 • カラムごとのデータの種類の確認 • 欠損値の確認: カラム レコード ■タイタニックの例 欠損値 変数名 内容 データ タイプ 特徴 アイデ ィア Name 指名 object 法則性 あり？ 分割し て因子 化？ Sex 性別 object 性別 Age 年齢 int64 欠損値 あり 欠損値 の補完 ■分析ノート(コンペ期間中の忘備録)の例 21
- 22. ■タイタニックの例 ベースラインの作成：データセット作成＠表形式 • データセット作成で行うこと： 簡易モデル用のデータセットを選択 • 目的変数の選択 • 説明変数の選択 • わかりやすい仮説を作り、分析ノートに記録 • 欠損値がない、数値データだけを選ぶ（カテゴリーデータは次ステップで十分） 目的変数：Survived 説明変数：２変数 Pclass ,Fare 22 仮説 Pclass：乗客のチケットのクラスと生存率が比例 Fare:運賃と生存率が比例
- 23. ベースラインの作成：バリデーション設計 • バリデーション設計で行うこと:モデルの精度を手元のデータで判断 • ホールドアウト検証：８:２などに分割検証(簡易検証、データが1000万行超) • 交差検証：K-fold, 層化k-fold, グループ化k-fold ５４９ ３４２ ■タイタニックの例 ■検証方法が不適切な場合に起こること ・モデル学習と提出時の予測精度の乖離大 ・モデル学習-検証で学習精度の差が大（過学習） →データに合わせて検証方法の見直しが必要 目的変数 0 ・・・・・ ・・・・・ 1 学習データ0が多い 検証データは1が多い ホールドアウト検証がうまくいかない分類タスクの例 23 コンペの大事なルール・考え方 • 多くのコンペの共通ルールあり＝予測モデルの検証が非常に大事 • ルール１:コンペは予測値の提出回数がある(５回/日など)＝モデルの判断基準が必要 • ルール２:公開されたデータによる予測精度・順位は公開(Public)＝周りの順位の判断基準が必要 • ルール３:最終順位は非公開(Private)のデータを用いた予測精度で決まる＝予測モデルの汎用性が必要 KaggleのLeader Board(TPS 2022 May) 13 公開順位 最終順位 29% 71%
- 24. ベースラインの作成：モデル学習 • モデル学習で行うこと：LightGBMでモデル作成 • 類似タスクに取り組んだ経験がない場合は、LightGBMで十分 • LightGMBはマイクロソフト社が開発した機械学習ライブラリー • LightGBMを用いるメリット：早くて簡単 • モデルの精度が高い、処理速度が速い • カテゴリー変数を数値に変換しなくても処理できる • 欠損値があっても処理できる、異常値の影響を受けにくい 24
- 25. 特徴量エンジニアリング概要 • 特徴量エンジニアリング：モデルに入力する情報を追加＆精度向上 • タイタニックの例：仮説を作ってから取り組む • 性別と年齢の組み合わせで生存率が異なる ≒ 性別×年齢をモデルに入力 25 生存 生 存 死亡 死亡 死亡 生存
- 26. モデルチューニング • モデルチューニングで行うこと • 他のモデルを試す + ハイパーパラメター + アンサンブル • 初めはコンペ最終週にアンサンブルのみで十分。 ■アンサンブルのイメージ： 26 提出用の 予測値 予測値を平均化 モデルごとの予測精度一覧
- 27. 目次 • データサイエンスの世界とコンペ参加のキッカケ • データ分析コンペ • データ分析コンペとは • 開発環境 • コンペの選び方 • データ分析コンペの進め方 • データ分析コンペを通じて学んだこと 27
- 28. 紹介した内容で表形式コンペで成績出るの？ • 国内のコンペでは、下記レベルの処理でTop8-35% • ベースライン作成 • LightGBMの予測モデルを構築し、交差検証を行う • 特徴量エンジニアリング: • 欠損値の処理 • 単変数の処理：紹介した内容以外の工夫 • 緯度経度から距離を算出 • 要約統計量の因子化（平均・最大値・最小値・分散・歪度） • アンサンブルを活用するとTop5%レベル →単純に考えても100番以内には入賞可能。 28
- 29. データ分析コンペを通じて学んだこと • データ分析を３ヶ月で5種類以上経験し、積み上げの重要性を学んだ。 • 苦手だった下記３分野のスキル向上し、コンペに参加 • 時系列：時系列のソリューション取得(ARIMAモデル、Prophet、LTMS,、DeepAR) • 画像処理：特有の前処理(Augmentation)、様々な学習モデル(VGG,Resnet)の利用 • 自然言語 • Sparkの利用でベースラインの見通しが向上 • 事前学習データ(Wikipediaなど)によって精度が大きく変化 →コンペに継続して取り組めば、スキルアップができます。 29