Recommended
More Related Content
What's hot
What's hot (20)
Similar to HATETRISを攻略するAIを作る
Similar to HATETRISを攻略するAIを作る (20)
Recently uploaded
Recently uploaded (9)
HATETRISを攻略するAIを作る
- 1. 最凶テトリスを倒す最強AIを作る！ 堤 @threepipes_s Zli 秋の大LT @ 会津 2019.11.02
- 2. 目次 1. 自己紹介 2. 全体概要 3. HATETRISとは？ 4. HATETRISを倒すための方針 5. 動かしてみた 6. 終わりに
- 3. 自己紹介 @threepipes_s Retty株式会社: 2018年新卒 サーバーサイドエンジニア (Docker/Python/PHP etc.) 趣味: 競技プログラミング(最近退いているが) AtCoder / TopCoder / Codeforces, etc. AOJにはICPC時代お世話になりました
- 4. 全体概要 ● HATETRISといういやらしいテトリスがある ● こいつを攻略するAIを作る ● 戦略 ○ ビームサーチ採用 ● 結果 ○ 人よりは強いAIができたよ ○ 最高記録には届かなかったよ tl;dr
- 6. HATETRISとは？ ● https://qntm.org/files/hatetris/hatetris.html ● 一番イヤなブロックが絶えず無慈悲に落ち続けるテトリス 「HATETRIS」- Gigazine ● 常にもっともいらないテトロミノ(ブロック)が落ちてくるテトリス ● ブラウザゲーム ● 2010年登場だが、最近東大生YouTuberのQuizKnockがプレ イ動画を公開し、(自分の中で)話題に ○ 動画の記録は3ライン ● 2006年にRRRRという同じコンセプトのものがあったが、それ をさらに強化したものらしい https://www.youtube.com/watch?v=OY6jGeM2euE
- 10. ロジックを読み解く: モジュール間の関係 レンダリング プレイヤー操作受付 その他各種処理 ゲーム基盤 get-hatetris get-possible-future get-next-state 次のブロック生成 (最も嫌なブロック ) 次に到達可能な全て のパターンを生成 (全探索) コマンドを引数とし 次の盤面を生成 (単純なゲーム制御 ) 盤面 ブロック & 盤面 コマンド & 盤面 次のブロック あり得る 全ての盤面 次の盤面 下！
- 11. ロジックを読み解く: get-hatetrisのソースコード(抜粋) 1 2 4 1. 全てのブロックについて、以下を行う 2. あるブロックに対し、全ての置き方を試し 3. 最も良い(盤面の高さが低い )置き方をそのブロックのスコアとする 4. 最もスコアの低いブロックを返す その時点で一番ラインを消せない ブロックを返す
- 12. ぶっ倒す！ 方針説明
- 15. 全探索で最適解にたどり着くことができる 現状の盤面に対し、次のブロックが一意に決まる シンプルな全探索で最適解にたどり着ける！ ただし... 現代(&一般人)のマシンパワーでは到底終わらない 簡単のため、めちゃくちゃ雑に見積もる 高さ20 幅10の盤面に 2✕2ブロック(回転あり・7種類) を下から敷き詰めるとすると、置き方の数は 4 * (5! ^ 10) * (50 ^ 7) = 1.93 * 10 ^ 33 => だいたい60,000,000,000,000,000年(6京年)かかる計算 計算間違ってたらごめんなさい
- 16. AI頭脳の実装: ビームサーチ 概要編 ざっくり言うと 幅優先探索を、探索空間が広い問題にも適用できるようにしたメタヒューリスティクスの一種 詳細は解説が転がっているので、そちらを参照してください ● ビームサーチの基礎知識と機械学習への3つの活用事例 - DeepAge ● ビームサーチは DP - びったんびったん ● 貪欲法、山登り法、焼きなまし、ビームサーチ、これらの間の関係について - うさぎ小屋 Googleの検索アルゴリズムやChatBot, 翻訳などにも使われているらしいです ● ディープラーニングで翻訳プログラムを0から作った人がその仕組みを複雑な数式ではなく図で解説するとこうなる - Gigazine
- 19. 評価値計算: 上位を決める基準 注意: 今回のHATETRIS AI独自基準です 1 2 消したラインが 多いほどスコア高い 盤面の高さ 低い方がスコア高い 3 『蓋』が少ない方が スコア高い HATETRIS本体と 同じ！(次ページ) 空白の上にブロックがない状 態(独自用語) 蓋
- 20. ロジックを読み解く: get-hatetrisのソースコード 1 2 4 1. 全てのブロックについて、以下を行う 2. あるブロックに対し、全ての置き方を試し 3. 最も良い(盤面の高さが低い )置き方をそのブロックのスコアとする 4. 最もスコアの低いブロックを返す その時点で一番ラインを消せない ブロックを返す
- 21. 実装方針: 公開ソースコードのモジュールを再利用 ゲーム基盤 get-hatetris get-possible-future get-next-state 盤面 ブロック & 盤面 コマンド & 盤面 次のブロック あり得る 全ての盤面 次の盤面
- 22. 実装方針: 公開ソースコードのモジュールを再利用 ゲーム基盤 get-hatetris get-possible-future get-next-state コマンド & 盤面 次の盤面 player-ai 盤面 & 次のブロック 次のコマンド ブロック & 盤面 あり得る 全ての盤面 全ての盤面について評価 & ビームサーチ 盤面 次のブロック (シミュレーションに使用)
- 23. 終わりに まとめ・補足など
- 25. おまけ: 性能評価基盤アーキテクチャ catcher.py キュー (redis) worker.py worker.pyworker.pyworker.pyworker.py Sqlite3 hatetris src with AI bundled JS webpack 読み取り enqueue ✕ worker数 実行結果保存 並列実行 https://github.com/threepipes/marathon_runner
- 26. おまけ: パラメータ自動調整 ハイパーパラメータ自動最適化ツール「 Optuna」公開 ● 各評価軸のバランス等、いくつかハイパーパラメータを持っている ● パラメータ自動調整にPFNのOptunaを利用 ● ただしあまりうまくいかなかった ○ 敗因考察: 実行ごとのスコア分散が大きい & 試行回数増やせなかった ○ (そもそも今回作った評価関数雑な上、特にチューニングもせず丸投げした のでそれはそう) ● (Pythonであれば)簡単に使えるので今後も使ってみたい
- 27. やりたかったけどできなかったこと ● 高速化 ○ C++等で書き直す ○ ビームサーチの並列化 ● CircleCIでデプロイしてバージョンと実行結果を紐付ける ● DBに貯めた実行結果の分析 ● 評価基盤のWebアプリ化 ○ APIからファイルを投げてWebで結果見るなど ● 機械学習を用いた評価関数の最適化 ○ 近年のコンピュータ将棋の急速な伸びの理由は？ ○ CODE VS for STUDENT で作ったAI、「MazAI」の紹介
- 28. 今回の方向とは違うがやってみたいこと ● 強化学習の組み込み ● ChokudaiSearch (beam stack search亜種？) ○ chokudaiサーチ(ビームサーチ亜種)の利点の話 - chokudaiのブログ ○ 競プロMM界隈でよく使われる
- 29. まとめ ● ビームサーチを使ってHATETRISに挑んだ ○ 最高記録は出なかったが東大生には勝てる ● 単純な評価値でもそれなりに動くものができる ● 既存のソースコードを流用して意外とお手軽にできた ● 評価基盤もそれなりに作った ● 意外と手軽にゲームAIは作れる！ ● github ○ https://github.com/threepipes/hatetris