LT in hiro.it

1. FPSゲームで勝ちたいから、
プレイヤーを分析したい！
VOL_1：PYTHONでスクレイピングし、データを集める！

2. 自己紹介
東部 (ﾄｳﾍﾞ)
近畿大学工学部情報学科４年生
趣味：写真撮影、無駄にCGが良いFPSのクソゲー(BFV)のプレイ、Vtuber
最近の出来事：
・研究で使用予定の簡易脳波計の3rdパーティー向けSDKがBaidu(百度)にうｐされていたため
DLできなくて早くも卒研の見通しが悪化した(解消済み)
・引きこもり過ぎてVtuberに沼落ちしました

3. 目的
BattleFieldというFPSゲームを前からずっとプレイしていた
どうすれば常連の廃人ゲーマーと渡り合えるのか気になった
このゲームにはトラッカーサイトがあって個人の戦績や一試合ごとの結果が見れる (他にも
APEXやフォートナイトもあるよ）
分析すればよい知見が得られかもしれない

4. バトルフィールドVってどんなゲーム？
WW2がモデルの無駄にCGのクオリティが高いクソ
シューティングゲームシリーズの最新作
ドイツの報復兵器V1が空から降ってきたり、
日本軍が鬼畜米兵の戦車相手に爆弾のついた槍で特攻してきます
※政治要素はないよ
なお、様々な要因にてつい先ほど、事実上の打ち切りである追加開発が無くなりました()

5. Tracker Network (BFVのページ)

6. Traker Network
実はいつくかのゲームにはAPIがあり、データ取得できる
だがしかし、不人気なBFにはない！
(同じEAのApexにはあるのにね(笑))
そこでPythonでスクレイピングすることで
データを抜き取るよ！

7. スクレイピングとは？
「Webページから必要な情報を抜き出す作業のこと」
混同されやすい用語として、クローリングがある
「Webページのハイパーリンクをたどって
次々にWebページをダウンロードする作業」
つまり、
クローリングなどでDLしたWebページ(HTML)から
必要な情報だけを取り出すのがスクレイピング

8. Pythonでスクレイピングするには
スクレイピングに関係する代表的なライブラリ(フレームワーク)
・Beautiful Soup：HTMLおよびXMLドキュメントを解析するためのパッケージ
・Scrapy：クローラ実装するためのフレームワーク
今回は前者を使用
Requestsライブラリを使ってHTMLをダウンロードして、
BeatifulSoupのHTMLパーサーで必要な情報を抜き出す
パーサー：一定の規則で記述されたテキストを解析し、プログラムで扱い やすいよ
うなデータに変換する処理のこと(構文解析とも)

9. 抜き取りたいデータ
赤線で囲んだ部分
HTMLタグはspan
Class名はvalue

10. 書いたコード(汚い)
Html_tagにspan
Tag_get(‘class’).pop(0)で入れた変数の中に含まれているか判定

11. Playtimeはclass名が違う
HTMLタグからClass名を取得するやり方以外にも、
データの検索・取得方法はある↓
正規表現
HTMLタグからClass名を取得するやり方のデメリット
・タグとクラス名が同じだけど要らない部分の情報も抜き出す

12. 追加コード
Soup.get_text()でテキスト部分だけ抜き出せる
Text.find(‘ Play Time’)で検索
Re.findall(検索条件,検索する値)で取得します
なお正規表現を使うと汚くなりました

13. ちなみに
CSSセレクタを使うと特定のデータを直接的に取
り出せます
CSSセレクタって？
◦ CSSによるデザイン指定をどのHTML要素に適用さ
せるかを指定するのに用いられるもの
CSSセレクタの取得は→
Soup.select_one(cssセレクタ値)
CSSセレクタの値は↓

14. 同じ要領でweaponsページも取得するよ！
タグはspan、クラス名はnameなので
先ほどのコードをほぼ流用できる！

15. HTMLファイルを構文解析しただけだと

16. スクレイピングしたデータ

17. 取得したデータから分析用のデータセットにするには
数値化や前処理などが必要だよ！
スクレイピングで取得できるデータはあくまで文字列
なので
・文字列を正規表現で％や1,000の「,」の抜き取りをする
・文字列を数値へ変換し、プレイ時間を分換算したりする
・プレイヤー名も配列に入れる
・同値を削除したり、要らない文字を消すとか
様々な処理を行うする必要がある
なお取得したデータはデータベースに入れる必要もあるよ(私はMongoDBを使用)

18. 数値化・DBへ

19. 結果、一度CSV化したものをDFで表示

20. MongoDBにはこういった感じで入る

21. スクレイピングの注意点
スクレイピングは一度サーバーにリクエストを送るため、
高速かつ大量にリクエストを送るとサーバーダウンする可能性も
(事実上Dos攻撃と言えなくもない)
参考：岡崎市立中央図書館事件
スクレイピングする際には必ず時間間隔を十分に置いて
リクエストを送ろう！
※(十分な時間間隔はサーバーのスペック、バグなどに影響されます)

22. 動的にデータが変わるサイトからデータを取得するには
Seleniumを使用する必要があるよ
Seleniumって？
・Webアプリケーションをテストするためのポータブルフレームワークである。
動的なサイトはJavascriptが絡む↓
ブラウザなどでプログラムを動作させないとデータ取得できない
実は一試合ごとの結果を取得しようとしたけど、
弾かれた(サーバー側から拒否されたっぽい？)のでやめました

23. 一試合ごとの戦績結果が取得できない…
人力は嫌だが、弾かれた以上それしかない、
そうだOCR(光学文字認識)を使えば楽なんじゃね！？
ってことでオープンソースOCRである
tesseract君を使いました
(詳しくはググってね)

24. 結果
う～ｎ、いまいち精度がよろしくない
(人力確定の知らせ)

25. 今後は
スクレイピングしたデータからプレイヤーを分析するよ
◦ 以下は一度分析してみたよ
◦ クラスター分析：前線突撃か後方支援か中途半端かのプレイスタイルが判明
◦ アソシエーション分析：メジャーな武器はよく使われる、あと日本兵の武器を好むプレイヤーもいた
また次回にデータ分析の結果の話をしようかと思います！
ご清聴ありがとうございました！

26. ソースコード
後日GitHubか自分のはてなサイトでも開設して、データをうｐします