Submit Search
Upload
ぷよぷよAIの新しい探索法
•
Download as ODP, PDF
•
11 likes
•
11,662 views
T
Takaya Doki
Follow
https://github.com/puyoai/puyoai/tree/master/src/cpu/takapt の解説
Read less
Read more
Software
Slideshow view
Report
Share
Slideshow view
Report
Share
1 of 36
Download now
Recommended
ぷよぷよ AI 人類打倒に向けて
ぷよぷよ AI 人類打倒に向けて
mayahjp
プログラミングコンテストでのデータ構造 2 ~動的木編~
プログラミングコンテストでのデータ構造 2 ~動的木編~
Takuya Akiba
ぷよぷよ AI: mayah(AI) の実装
ぷよぷよ AI: mayah(AI) の実装
mayahjp
プログラミングコンテストでのデータ構造 2 ~平衡二分探索木編~
プログラミングコンテストでのデータ構造 2 ~平衡二分探索木編~
Takuya Akiba
色々なダイクストラ高速化
色々なダイクストラ高速化
yosupo
プログラムを高速化する話
プログラムを高速化する話
京大 マイコンクラブ
指数時間アルゴリズム入門
指数時間アルゴリズム入門
Yoichi Iwata
Nazoki
Nazoki
Ken Ogura
Recommended
ぷよぷよ AI 人類打倒に向けて
ぷよぷよ AI 人類打倒に向けて
mayahjp
プログラミングコンテストでのデータ構造 2 ~動的木編~
プログラミングコンテストでのデータ構造 2 ~動的木編~
Takuya Akiba
ぷよぷよ AI: mayah(AI) の実装
ぷよぷよ AI: mayah(AI) の実装
mayahjp
プログラミングコンテストでのデータ構造 2 ~平衡二分探索木編~
プログラミングコンテストでのデータ構造 2 ~平衡二分探索木編~
Takuya Akiba
色々なダイクストラ高速化
色々なダイクストラ高速化
yosupo
プログラムを高速化する話
プログラムを高速化する話
京大 マイコンクラブ
指数時間アルゴリズム入門
指数時間アルゴリズム入門
Yoichi Iwata
Nazoki
Nazoki
Ken Ogura
プログラミングコンテストでのデータ構造
プログラミングコンテストでのデータ構造
Takuya Akiba
DQNからRainbowまで 〜深層強化学習の最新動向〜
DQNからRainbowまで 〜深層強化学習の最新動向〜
Jun Okumura
二部グラフの最小点被覆と最大安定集合と最小辺被覆の求め方
二部グラフの最小点被覆と最大安定集合と最小辺被覆の求め方
Kensuke Otsuki
WUPC2012
WUPC2012
Dai Hamada
直交領域探索
直交領域探索
okuraofvegetable
多人数不完全情報ゲームにおけるAI ~ポーカーと麻雀を例として~
多人数不完全情報ゲームにおけるAI ~ポーカーと麻雀を例として~
Kenshi Abe
双対性
双対性
Yoichi Iwata
最小カットを使って「燃やす埋める問題」を解く
最小カットを使って「燃やす埋める問題」を解く
shindannin
「日本語LaTeX」が多すぎる件について
「日本語LaTeX」が多すぎる件について
Takayuki Yato
明日使えないすごいビット演算
明日使えないすごいビット演算
京大 マイコンクラブ
深層強化学習でマルチエージェント学習(前篇)
深層強化学習でマルチエージェント学習(前篇)
Junichiro Katsuta
組合せ最適化入門:線形計画から整数計画まで
組合せ最適化入門:線形計画から整数計画まで
Shunji Umetani
プログラミングコンテストでの動的計画法
プログラミングコンテストでの動的計画法
Takuya Akiba
様々な全域木問題
様々な全域木問題
tmaehara
計算機アーキテクチャを考慮した高能率画像処理プログラミング
計算機アーキテクチャを考慮した高能率画像処理プログラミング
Norishige Fukushima
最適化超入門
最適化超入門
Takami Sato
プログラミングコンテストでの乱択アルゴリズム
プログラミングコンテストでの乱択アルゴリズム
Takuya Akiba
いまさら聞けない!CUDA高速化入門
いまさら聞けない!CUDA高速化入門
Fixstars Corporation
Pythonによる黒魔術入門
Pythonによる黒魔術入門
大樹 小倉
中3女子でもわかる constexpr
中3女子でもわかる constexpr
Genya Murakami
More Related Content
What's hot
プログラミングコンテストでのデータ構造
プログラミングコンテストでのデータ構造
Takuya Akiba
DQNからRainbowまで 〜深層強化学習の最新動向〜
DQNからRainbowまで 〜深層強化学習の最新動向〜
Jun Okumura
二部グラフの最小点被覆と最大安定集合と最小辺被覆の求め方
二部グラフの最小点被覆と最大安定集合と最小辺被覆の求め方
Kensuke Otsuki
WUPC2012
WUPC2012
Dai Hamada
直交領域探索
直交領域探索
okuraofvegetable
多人数不完全情報ゲームにおけるAI ~ポーカーと麻雀を例として~
多人数不完全情報ゲームにおけるAI ~ポーカーと麻雀を例として~
Kenshi Abe
双対性
双対性
Yoichi Iwata
最小カットを使って「燃やす埋める問題」を解く
最小カットを使って「燃やす埋める問題」を解く
shindannin
「日本語LaTeX」が多すぎる件について
「日本語LaTeX」が多すぎる件について
Takayuki Yato
明日使えないすごいビット演算
明日使えないすごいビット演算
京大 マイコンクラブ
深層強化学習でマルチエージェント学習(前篇)
深層強化学習でマルチエージェント学習(前篇)
Junichiro Katsuta
組合せ最適化入門:線形計画から整数計画まで
組合せ最適化入門:線形計画から整数計画まで
Shunji Umetani
プログラミングコンテストでの動的計画法
プログラミングコンテストでの動的計画法
Takuya Akiba
様々な全域木問題
様々な全域木問題
tmaehara
計算機アーキテクチャを考慮した高能率画像処理プログラミング
計算機アーキテクチャを考慮した高能率画像処理プログラミング
Norishige Fukushima
最適化超入門
最適化超入門
Takami Sato
プログラミングコンテストでの乱択アルゴリズム
プログラミングコンテストでの乱択アルゴリズム
Takuya Akiba
いまさら聞けない!CUDA高速化入門
いまさら聞けない!CUDA高速化入門
Fixstars Corporation
Pythonによる黒魔術入門
Pythonによる黒魔術入門
大樹 小倉
中3女子でもわかる constexpr
中3女子でもわかる constexpr
Genya Murakami
What's hot
(20)
プログラミングコンテストでのデータ構造
プログラミングコンテストでのデータ構造
DQNからRainbowまで 〜深層強化学習の最新動向〜
DQNからRainbowまで 〜深層強化学習の最新動向〜
二部グラフの最小点被覆と最大安定集合と最小辺被覆の求め方
二部グラフの最小点被覆と最大安定集合と最小辺被覆の求め方
WUPC2012
WUPC2012
直交領域探索
直交領域探索
多人数不完全情報ゲームにおけるAI ~ポーカーと麻雀を例として~
多人数不完全情報ゲームにおけるAI ~ポーカーと麻雀を例として~
双対性
双対性
最小カットを使って「燃やす埋める問題」を解く
最小カットを使って「燃やす埋める問題」を解く
「日本語LaTeX」が多すぎる件について
「日本語LaTeX」が多すぎる件について
明日使えないすごいビット演算
明日使えないすごいビット演算
深層強化学習でマルチエージェント学習(前篇)
深層強化学習でマルチエージェント学習(前篇)
組合せ最適化入門:線形計画から整数計画まで
組合せ最適化入門:線形計画から整数計画まで
プログラミングコンテストでの動的計画法
プログラミングコンテストでの動的計画法
様々な全域木問題
様々な全域木問題
計算機アーキテクチャを考慮した高能率画像処理プログラミング
計算機アーキテクチャを考慮した高能率画像処理プログラミング
最適化超入門
最適化超入門
プログラミングコンテストでの乱択アルゴリズム
プログラミングコンテストでの乱択アルゴリズム
いまさら聞けない!CUDA高速化入門
いまさら聞けない!CUDA高速化入門
Pythonによる黒魔術入門
Pythonによる黒魔術入門
中3女子でもわかる constexpr
中3女子でもわかる constexpr
ぷよぷよAIの新しい探索法
1.
ぷよぷよ AI の新しい探索方法 @takapt0226
2.
自己紹介 ● Twitter: @takapt0226 –
たかぷとと読むらしい ● ぷよぷよ – ぷよぷよフィーバーWinで1万試合ぐらい? – 最近はpuyovsをたまに ● レート900台 ● 競技プログラミング – TopCoder (Algo: yellow, Marathon: red) – CODE VS4.0 (予選4位, 本戦4位) – HAL研プロコン(2012学生6位, 2013学生1位, 2014学生5位)
3.
puyoai の制約 ● AI
には 2 手しか見えない ( 操作ツモとネクス ト ) ● 思考に使える時間は 300ms
4.
既存の探索方法 ● 見えてる 2
手の置き方を全探索 – 1 手の置き方は 22 パターン 一番いい評価値 この操作をする
5.
既存の探索方法 ● 評価関数をとにかく超頑張るしかない – 定形パターンマッチング ●
GTR なら評価値をプラスするなど
6.
アイデア ● ツモが完全に見えている場合は評価関数をたい して頑張らなくても大連鎖を探索できそう ● 最大
50 手ぐらいまでを探索したい ● 実際は 2 手しか見えないのでランダムに生成し たツモを足す – 30 手先探索したい場合、見えてる 2 手 + ランダム な 28 手
7.
ツモが完全に見えている場合 ● 全探索で n
手探索する場合、計算量は O(22n ) – 高速化を頑張っても 5 手ぐらいまでしか全探索はで きない ● どうやって 50 手の探索をするか? – ビームサーチしよう! ● BFS + 枝刈り
8.
BFS ● BFS( 幅優先探索
) – 深さが小さい順で探索する
9.
BFS 初期状態
10.
BFS
11.
BFS
12.
BFS
13.
BFS の実装例 void bfs() { vector<State>
states[MAX_DEPTH + 1]; states[0].push_back(initial_state); // 初期状態 for (int depth = 0; depth < MAX_DEPTH; ++depth) { // 深さ depth の状態を列挙 for (State state : states[depth]) { // 各状態から次の状態を生成 for (State next_state : generate_next_states(state)) states[depth + 1].push_back(next_state); } } }
14.
ビームサーチ ● BFS +
枝刈り – 探索の各深さで評価値が良い上位 k 個の状態の探索 を継続 ● k のことをビーム幅と呼ぶ
15.
ビームサーチ ( ビーム幅
4) 0 n n は評価値
16.
ビームサーチ ( ビーム幅
4) 0 4 2 1 評価値が良い順に sort ここでは大きいほど良いとする
17.
ビームサーチ ( ビーム幅
4) 0 4 2 1 7 6 4 3 2 2 1
18.
ビームサーチ ( ビーム幅
4) 0 4 2 1 7 6 4 3 2 2 1 11 10 9 8 7 5 5 上位 4 つの状態は探索を継続
19.
ビームサーチ ( ビーム幅
4) 0 4 2 1 7 6 4 3 2 2 1 11 10 9 8 7 5 5 上位 4 つの状態は探索を継続
20.
ビームサーチの実装例 void beam_search() { vector<State> states[MAX_DEPTH
+ 1]; states[0].push_back(initial_state); // 初期状態 for (int depth = 0; depth < MAX_DEPTH; ++depth) { const int BEAM_WIDTH = 810; // 評価値が良い順で sort sort(states[depth].begin(), states[depth].end(), GoodEvalOrder); // 上位 BEAM_WIDTH に入らないものを削除 if (states[depth].size() > BEAM_WIDTH) states[depth].erase(states[depth].begin() + BEAM_WIDTH, states[depth].end()); // 深さ depth の状態を列挙 for (State state : states[depth]) { // 各状態から次の状態を生成 for (State next_state : generate_next_states(state)) states[depth + 1].push_back(next_state); } } } BFS に枝刈りを追加
21.
ぷよぷよ AI の評価関数 ●
フィールドを評価する ● 評価項目 – 連鎖数 ( 重要 ) – より良くするために takapt(AI) の現状で評価に入れ ているもの ● フィールドの形 (U 字になっていると良い ) ● 発火点の高さ ● test さんの資料を見て、どうぞ – http://www.geocities.co.jp/lockitjapan/puyoai/
22.
連鎖数の評価 ● フィールドの各列にある 1
色を 1,2 個落として 連鎖をシミュレーション – 1 列目に赤 1 つ : 1 連鎖 – 2 列目に赤 1 つ : 1 連鎖 – 5 列目に黄 2 つ : 3 連鎖 ● このフィールドは 3 連鎖と評価
23.
ビームサーチをぷよぷよに適用 ● 操作ツモごとにビームサーチする ● 探索中に発火した連鎖の中で最大の連鎖数の状 態を探し、その状態に遷移する
1 手目の操作を 実際にする ● takapt(AI) の現状ではビーム幅は 400
24.
ビームサーチをぷよぷよに適用 1 15 16 14 〜〜〜〜〜〜〜〜〜〜〜〜〜〜 〜〜〜〜〜〜〜〜〜〜〜〜〜〜 depth 0 1 2 18 20 n は n
連鎖を発火 最大の連鎖数 このツモ操作をする
25.
本線連鎖数の実験結果について ● 100 回独立したとこぷよ
( 対戦相手がいない ) を行い、本線連鎖数の頻度をカウント ● 50 手までに本線が発火出来なかった場合は -1 としている ● 横軸は本線連鎖数、縦軸は頻度
26.
ツモが完全に見えている場合の結果 評価関数 : 連鎖数のみと
takapt(AI) の現状 ( 連鎖 数 ,U 字 , 発火点の高さ ) -1 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 0 10 20 30 40 50 60 連鎖数のみ takapt(AI)
27.
ツモが見えていない場合 ● 見えている 2
つのツモ + ランダムに生成したツモを 使ってビームサーチ ● 何手先まで探索するか? – takapt(AI) の現状ではフィールドが埋まるツモ数 + α を基 準にしている ● (6 * 13 - フィールド上のぷよ数 ) / 2 + 4 手先まで探索している 見えてるツモ ランダムに生成したツモ
28.
見えてるツモ 2 つ
+ ランダムツモを用いた場合の結果 -1 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 0 5 10 15 20 25
29.
ランダムなツモによる問題 ● ランダムなツモで探索を行うと、たまたま神ツ モで大連鎖が出来た場合やクソツモで発火でき ず死亡する場合などがある ● モンテカルロしよう!
30.
モンテカルロ法 ● ランダムさを用いてシミュレーションを行う – 最近は囲碁でモンテカルロ法を使う方法が流行って るらしい ●
ランダムさ : 終局までプレイヤーが打つ手をランダムに 選択する ● まとめる : 何度もランダムなシミュレーションを行い、 最も勝率が高かった手を実際に打つ
31.
モンテカルロ法をぷよぷよに適用 ● 異なる複数のランダムなツモを生成し、それぞれのツモご とにビームサーチする – takapt(AI)
の現状では 5 回ビームサーチをしている ● それぞれのビームサーチの結果を考慮して、実際に操作す る手を選択
32.
実際に操作する手の選択 ● 22 パターンのそれぞれの操作に番号を付ける –
例 : 回転せずに 1 列目に置く操作を番号 0 に対応 ● この探索結果が得られたときにどうする? 各ビームサーチの探索結果 操作番号 (0~21) 最大連鎖数 1 14 1 13 4 16 5 14 1 14
33.
実際に操作する手の選択 (NG) ● 平均値
(or 中央値 ) を使い、最大のものを選択 – 操作 1: (14 + 13 + 14) / 3 = 13.66 – 操作 4: 16 – 操作 5: 14 ● 操作 4 を選択 – 神ツモでは ??? 各ビームサーチの探索結果 操作番号 (0~21) 最大連鎖数 1 14 1 13 4 16 5 14 1 14
34.
実際に操作する手の選択 (takapt(AI) の現状
) ● 異なるツモに対して、同じ操作が最大連鎖に繋 がっているからには何かしら良さがあるはず ● 和が最大のものを選択 – 操作 1: 14 + 13 + 14 = 41 – 操作 4: 16 – 操作 5: 14 ● 操作 1 を選択 各ビームサーチの探索結果 操作番号 (0~21) 最大連鎖数 1 14 1 13 4 16 5 14 1 14
35.
1, 5, 50
回ビームサーチをした場合の結果 -1 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 0 5 10 15 20 25 30 35 40 1 5 50
36.
今後の課題 ● いつ、どこを発火するか? – 現状ではとにかく連鎖数を最大化することしか考えてい ない ●
降ってくるおじゃまは考慮している – 潰し、対応、催促などの判断 ● ルールベースなアルゴリズムではなく、勝率を最大化しようと した結果、潰し、対応、催促を自然にするようなアルゴリズム にしたいと妄想中 ● 評価関数を良くする – mayah(AI), niina の評価関数を参考にしたり
Download now