Download as PDF, PPTX
More Related Content
![[Ｒ勉強会][データマイニング] R言語による時系列分析](https://cdn.slidesharecdn.com/ss_thumbnails/r-100423232629-phpapp01-thumbnail.jpg?width=640&height=640&fit=bounds)
![SSII2021 [OS3] 広域環境の3D計測と認識 ～ 人が活動する場のセンシングとモデル化 ～（オーガナイザーによる冒頭の導入）](https://cdn.slidesharecdn.com/ss_thumbnails/os3-01-210605061816-thumbnail.jpg?width=640&height=640&fit=bounds)
野球Hack!~Pythonを用いたデータ分析と可視化 #pyconjp
- 1. 野球Hack!~Pythonを用いたデータ分析と可視化 - The ArtOf Programming A Baseball Game! - Shinichi Nakagawa@shinyorke PyCon JP 2015 Talk Session(2015/10/11)
- 2. Who am I? • Shinichi Nakagawa(@shinyorke) • Recruit Sumai Company, Ltd. • Pythonista/Agile/Baseball Scientist • 贔屓チーム • 北海道日本ハムファイターズ(NPB) • オークランド・アスレチックス(MLB) • “野生の野球アナリスト”活動
- 3.
- 4. • PyCon JP2014 Talk Session（去年のやつ） • MLBオープンデータ分析&可視化サービスをPythonで構築 • はてブ200超え、PV 14,000以上(slideshare)
- 5. • PyCon JP2014 Lightning Talk（去年のやつ） • Agileプロセス活用、アダム・ダン率の紹介 • アダム・ダンさん、Python界隈で有名になる
- 6. Other… • ブログで野球Hackの成果および考察を披露（不定期） • MLBオープンデータの紹介と活用例紹介 •野球データの分析&解析用のライブラリを Githubで公開(ほぼPython製) • データドリブン野球解説 ※後ほど解説
- 7.
- 8. Today’s Starting Member •Pythonと野球 • MLBオープンデータ活用とPython • Pythonで「俺々野球分析基盤」 • まとめ - これからの野球Hack
- 9.
- 10.
- 11. 野球データ(嬉) • ボックス・スコアによる正規化済みのデータが存在 • 打撃・投球・試合の成績がボックス・スコアで読みやすい・書きや すいフォーマットでまとまっている •使えるデータが存在 • メジャーリーグはオープンなライセンスで使えるデータが存在 (利用制限ほぼなし) • 日本プロ野球はデータをぶっこ抜く自動的に取得する仕組みを自作 することにより入手可能(当然、利用は制限される)
- 12.
- 13. 野球データ(辛) • データの解釈 • ボックス・スコア自体は読みやすいが、解釈そのものはルールや規約を 正確に読む必要がある 例）振り逃げはどう記録される？ インフィールドフライの条件とは？ •ボックス・スコアには乗らないデータの存在 • 投手の球速、変化球の種類、打球の速度や着地点etc… ボックス・スコアに乗らないデータが存在 &独自のフォーマットでの記載が多く読み書きが難しい
- 14. 野球Hackの掟 • スクラップアンドビルド • データを読む→仮説を立てる→コードを書く→可視化する→検証→ またデータを読む …の繰り返し、コードを書いては壊すを繰り返す作業が大半 •データの読み書きとルールの勉強 • 野球の記録の読み方、記録がつく理由を把握する為にルールを勉強 →ルールを正確に把握するため、公認野球規則&審判の知識が必要 ※実際本を買って勉強してます(実話)
- 15. Pythonと野球Hack • インフラ管理・構成 Ansibleおよびdocker compose(というよりDocker)を活用、 すぐ作れる&壊せるインフラで思う存分スクラップアンドビルドを！ •バージョン&パッケージ管理 pyenv + virtualenvでバージョン&パッケージ管理をプロジェクト単位で切り替え. →特定のPythonバージョン&パッケージに依存しない作り. • データ分析・可視化 IPython notebook + pandas + matplotlibでカジュアルに分析&可視化. 面倒くさいQUERYなどはSQLAlchemyなどで型化. • Webアプリ構築 サクッと作る目的でFlask/bottle、しっかり作る目的でDjangoを使う.
- 16.
- 17. はい、Pythonじゃなくできます • インフラ管理・構成 部分的にVagrantを使用、ちなみにChefはやめた. • バージョン&パッケージ管理 Rubyのrenv/rbenv-gemsetなど、他の言語にも当然ながら存在. •データ分析・可視化 得意な人はR・Juliaでいいと思う、野球HackをRでやってる方もいます. （他の言語は、、、どうなんだろう？） • Webアプリ構築 APIやバッチならGolang, サイトならRuby On Rails他選択肢がたくさん有り 目的(と好み)に合わせて手段を柔軟に変えましょう
- 18.
- 19.
- 20.
- 21. やりたかったこと • 野球ゲーム「Fantasy Baseball」に勝つため、 選手の詳細な情報（主に成績）が必要に •MLBのオープンデータ「Retrosheet」に それらが詰められてるらしい ワイ「データベースつくればいいじゃん！」
- 22. Retrosheet is 何？ •メジャーリーグのスコアデータ集 • 1887~2014（昨シーズン）までのデータをCSVで配布 ※1989以前は欠損有り • スコアブックで得られる情報（得点、失点、スタメン、打席 結果etc…）と選手情報（名前、ポジションなど）がひと目 でわかる • http://retrosheet.org/
- 23. やったこと • Vagrant +AnsibleでMySQL Server構築 • SQLAlchemy + py-retrosheetでmigration • Jupyter(IPython notebook)とpandasで分析 • matplotlibで可視化
- 24.
- 25.
- 26. サーバー構築とmigration $ vagrant up $ansible-playbook -i hosts retrosheet_server.yml この2行でサーバーを作れるようにしました！ ※VagrantとAnsibleを導入している前提です
- 27. PY-RETROSHEET - やきうScript •Retrosheet専用Download&migration script git@github.com:wellsoliver/py-retrosheet.git • データ取得からDB(MySQLなど)へのmigrationを一気通貫に行える神ライブラリ
- 28. IPython notebook+pandas • 平たく言えば、「ブラウザ上で使えるPythonその他のSandbox環境」 •データやLibraryが不確実（ 使いこなせていない）時の試し打ちとして最高すぎる環境 • pandasで前処理、matplotlibでお絵かき（グラフ描画など）
- 29. 分析と可視化 • レスターは何月に一番勝っているのか？ • ボットのマルチ四球(=1試合2四球)の回数 JonLester Joey Votto
- 30. Jon Lester(ジョン・レスター) • メジャー屈指の先発左腕、優勝請負人 ※世界一経験二回 •プレーオフ(10/9)に先発、なお負け投手 • レッドソックス(2006-2014)→アスレチックス(2014)→カブス(2015)
- 31.
- 32. Joey Votto(ジョーイ・ボット) • レッズ一筋(2007-2015)、強打の一塁手 •選球眼が良すぎて散歩（四球）が多い、通算アダム・ダン率は38% • 内野フライが異常に少ない。とある統計によると、2009-2012の4年間で3本(ファ!?)
- 33. 塁間さんぽ(イッチVSボット) • 月別の四球数、凡例の数字はシーズン通算 • 圧倒的にボットさんが散歩好き、特に8,9月やばい •神イチローはとにかく打って走るスタイル、春先はまあまあ歩いてる イチロー ボット
- 34. マルチさんぽ(イッチVSボット) • 1試合で2個以上四球を選んだ試合を月別にカウント • ボットさんの回数がやばい •神イチローはある意味予想通り、流石天才バッター イチロー ボット
- 35.
- 36.
- 37.
- 38.
- 39. やりたかったこと • 日本プロ野球データを元に野球統計学の話を するネタを思いつく • だがしかし、MLBのようにオープン化された データなんぞない •そうだ、データをぶっこ抜く自動的に取得し て計算してレポート出せばいいじゃん！
- 40. どうやって解決したか • スポーツのデータサイト(Y⃝hoo等)から、 順位表と選手成績を取得 • 取得したデータを元にセイバーメトリクス指標 を算出 •一日に一回、取得&算出を行い、Excelシートに 計算結果出力&AWS S3に転送
- 41.
- 42.
- 43. • ぶっちゃけ当初の要件でDockerは不要だった • しかし、将来的に「俺々野球基盤」としてService を立ち上げる構想があり、今のうちに試せること はためそう！と思いDockerを本番投入 •docker compose(旧名fig)でアプリとDBを 一気通貫にService立ちあげする下地を作った
- 44. crontab(parse-crontab) • DockerのPython container(Debian)、 デフォルトでcrontabが使えない事が判明 •いちいち設定するのもアレだ…と思った矢先に、 いい感じのライブラリーを発見！！！ parse-crontab: https://github.com/josiahcarlson/parse-crontab example : http://gaujin.jp/index.php?itemid=27 ※ @gaujin_jp さんありがとうございます！ • ピュアなPython環境でcrontab環境実現&自動実行が可能に！！！
- 45.
- 46.
- 47. アダム・ダン率 = (ダンらしさ)/ 打数 * 100 ※ダンらしさ = 本塁打 + 四球+ 三振
- 48. アダム・ダン率ランキング(P) 順位 選手名 (チーム) ダン 率 HR 四球 三振コメント 1 中村剛也(西) 46.2 37 68 172 三振王かつ本塁打王 2 メヒア(西) 42.9 27 45 153 去年の本塁打王 3 ペーニャ(楽) 40.2 17 70 111 典型的な地蔵タイプ 4 森友哉(西) 38.4 17 44 143 お若いのに三振多すぎぃ 5 松田宣浩(ソ) 38.1 35 60 135 テラス席の申し子 ※2015シーズン終了時
- 49. アダム・ダン率ランキング(C) 順位 選手名 (チーム) ダン 率 HR 四球 三振コメント 1 丸佳浩(広) 40.4 19 94 143 三振と四球で二冠達成 2 ゴメス(神) 37.1 17 72 134 キャラ通りの成績 3 山田哲人(ヤ) 35.6 38 81 111 思ったより三振多い 4 梶谷隆幸(Ｄ) 34.4 13 54 132 役割的に三振の数は深刻 5 筒香嘉智(Ｄ) 33.5 24 68 98 まあまあ合格点 ※2015シーズン終了時
- 50. 被アダム・ダン率 = (ダンらしさ)/ 打者数 * 100 ※ダンらしさ = 被本塁打 + 与四死球 + 三振
- 51. 被アダム・ダン率ランキング(P) 順位 選手名 (チーム) ダン 率 HR 四球 三振コメント 1 大谷翔平(日) 40.6 7 46 196 本格派すぎる 2 則本昂大(楽) 35.3 14 48 215 奪三振王&やや飛翔 3 武田翔太(ソ) 34.8 14 59 163 やや飛翔癖あり 4 中田賢一(ソ) 33 17 61 130 飛翔しすぎぃ 5 西勇輝(オ) 31 11 43 143 本格派になりつつある ※2015シーズン終了時
- 52. 被アダム・ダン率ランキング(C) 順位 選手名 (チーム) ダン 率 HR 四球 三振コメント 1 藤浪晋太郎(神) 38.5 9 82 221 三振と四球で二冠達成 2 メッセンジャー(神) 33.5 10 60 194 三振&四球2位 3 高木勇人(巨) 29.8 16 47 131 ルーキー 4 ジョンソン(広) 29 5 67 150 同僚の黒田は21.9ダン 5 小川泰弘(ヤ) 28.3 18 48 128 成瀬の代わりに飛翔 ※2015シーズン終了時
- 53.
- 54.
- 55.
- 56. Python + Baseball •「野球Hackで迷ったらPython!」 • データ分析&検証、プロトタイプ作りといった、 「不確定要素が多いproject」でのPythonは強い →スタートアップとか(野球関係ないけど…w) • とはいえ向き・不向きや好みもあるので他の言語 やFWもいい感じに柔軟に使うといいでしょう
- 57.
- 58.
- 59.
- 60.
- 61. みんなで野球Hack!!! • 本日の発表などを通じ、 「面白い！」 「俺も（私も）やりたい！！」 と思った方！是非一緒にやりましょう！！！ • 明日(10/12)のPyConJP 2015 Sprintsで 一緒に野球をHackしましょう！！！
- 62.
- 63.
- 64.
- 65.
- 66.