ディスプレイ全体のスクリーンショット画像から「ゲーム画面」の位置を検索したい際、どうすれば高速に実行できるのか……。ということで生み出されたアルゴリズム「ステップサーチ」についての解説スライドです。

1. 画面座標検出アルゴリズム
「ステップサーチ」について
書いた人：YSR(@YSRKEN)
偉大なる原案者様：kanahiron(@kanahiron_tw)

2. 概要-1
ディスプレイ全体のスクリーンショット画像から、
次のように定義した「(ゲーム)画面」を検索したい
• 緑部分を「(ゲーム)画面」と呼ぶ
• 画面の周囲にある白色部分を「枠線」と呼ぶ
• 枠線の1ピクセル内側のことを「周囲」と呼ぶ
• 枠線と周囲の幅は1ピクセルとする
• 枠線の色(A)はどの位置でも全て同じである
• 周囲の色(B)のうち、1ピクセル以上は色Aと異なる
色を含んでいる
• 画面の縦横比と最小サイズは決まっているが、
それ以外に制約はない
(画面が拡大されている可能性を考慮)

3. 概要-2
「画面」をスクリーンショット画像から検索する探
索アルゴリズムは複数考えられる
ナイーブな手法：左上座標を仮定し、枠線を構成でき
るかを1ピクセルづつ読んで確かめる。無理なら次の
左上座標の候補を検索する→遅い
絞り込み法：枠線の左辺となりうるX座標の候補と、上辺
となりうるY座標の候補をそれぞれリストアップし、そこ
から左上座標の候補を作成して順にチェック→まだマシ
ステップサーチ：今回の提案法→速い

4. 提案法の解説 1-1
W+2ピクセル以上の幅で同じ色が連続している(＝枠線)
何箇所からサンプリングしても同じ色
※W……ゲーム画面の横幅

5. 提案法の解説 1-2
これらの点が乗っている枠線があるかも？
枠線がある可能性がある位置を推定
※W……ゲーム画面の横幅
※飛び飛びの位置にある画素で判定⇒ステップサーチ

6. 提案法の解説 1-3
画像の1行全体(幅は1ピクセル)
• 画像の1行から、等間隔(Xピクセル)に色を抽出する
• 次に、この区間のように、抽出した色が連続して
Y個以上同じ色であるものを探す
※XとYの値については次スライド
にて説明

7. 提案法の解説 1-4
 XとYの決め方：
 X→ゲーム画面の最小横幅をWとした際、X＝W/(Y+1)
 Y→認識精度を重視しても、Y=4～5程度でいい
 上記のように定めると、
抽出した色が連続してY個以上同じ色である際
その右端と左端との間が「Wより少し小さい」ぐらい
になって都合がいい
(幅Wの中に右端～左端の区間を確実に含む)
幅W

8. 提案法の解説 1-5
 前述の条件だけで(枠線の)上辺候補を決めると、上辺の必要
条件である「1ピクセル内側(周囲)に、枠線と異なる色のピク
セルが1つ以上ある」を満たせないかもしれない
 そこで、それについては別途チェックを掛けておく
上辺候補の行
周囲候補の行
こういった画像が紛れているかをチェック
し、紛れていなければ上辺候補を却下する

9. 提案法の解説 1-6
 検出した上辺の候補は、「Y座標」だけでなく「連続して同
じ色になった左端の座標」も記録しておく
 連続して同じ色がY+A個(Aは自然数)並んでいた際は、上辺の
候補が1+A個になることに注意
上辺候補1
上辺候補2
上辺候補3

10. 提案法の解説 2-1
 検出した上辺の候補について、その性質から、「1つ左の抽
出点との間に、枠線の左上座標が存在する」と推定される
上辺候補
この間に、枠線の左上座標の候補が存在する
「1つ左の抽出点」(枠線の上辺の候補と別の色でもOK)

11. 提案法の解説 2-2
 枠線の左上座標の候補について、ゲーム画面の最小縦幅をH
とすると、「左上座標～そこから縦にHだけ下がった座標」
までは同じ色になるはずなので、その条件により絞り込みを
行う。もちろん判定はステップサーチで代用してもいい
緑線：枠線の上辺の候補
赤線：枠線の左上座標の候補がある範囲
青紫線：枠線の左辺の候補となりうるか調べる範囲
白丸：枠線の左上座標の候補

12. ゲーム画面のサイズ候補
提案法の解説 3
 枠線の左上座標の候補が絞り込めたので、ゲーム画面の最小
サイズから徐々に広げながら、「枠線の下辺および右辺が存
在しえるか」を判定していく。ここでもステップサーチによ
り、判定コストを節約する
ゲーム画面の
最小サイズ
下辺候補
右
辺
候
補
※2つの画面の縦横比は同じ

13. 提案法の解説 4
枠線の候補が上辺・左辺・下辺・右辺と全て
決まったら、1ピクセルづつ全ての辺を走査
することで最終確認を行う
全てOKだった場合、ゲーム画面の左上座標お
よびゲーム画面の大きさを記録する

14. まとめ
今回の提案法により、高速にゲーム画面の位
置をスクリーンショット画像から検索するこ
とができた
ちなみに「ステップサーチ」という名称は、
動画圧縮における動き探索アルゴリズムから
名前を貰った