1. 屋内自律飛行船の追従行動に
対する行動戦略の学習
Learning of behavioral strategies in pursuit task
for Indoor Balloon Robot
複合情報学専攻 複雑系工学講座
調和系工学講座 学部４年 梅本 雅之

2. 背景
複雑系
構成要素が相互作用し，系全体の振る舞いが決定される
屋内自律飛行船 ・・・エンタテインメントに利用
複数飛行船において相互作用により，全体としてエンタテイメン
ト性のある飛行の実現が可能
行動戦略
繰り返し行動において目的達成のための行動決定方針
環境や飛行船の運動特性が大きく影響
従来の制御方法
現在(制御する時刻)の状態のみから行動を決定
戦略的行動をするのは困難
行動戦略を自律的獲得し，実行する手法が必要

3. 目的
複数の屋内自律飛行船による
行動戦略の自律的獲得
方法
追跡-逃走ゲームをシミュレータ上で構築
環境・運動特性が行動戦略の獲得に与える影響を分析

4. ゲームの定義
環境
環境
 プレイヤ 追跡者，逃走者
 空間 半径R,高さHの円柱空間内 追跡者 逃走者
 環境サーバ 相手の位置座標(X,Y,Z)を通知
 ゲーム時間 T時間
 初期距離 dinit離れている
 終了条件 捕獲orT時間経過
d t : 距離
プレイヤ 目的：利得関数を最大にする戦略の獲得 ct : 捕獲時間
追跡者 逃走者
目的 短時間で捕獲 長時間逃走
1 T d t ct 1 T d t ct
利得関数 1  
T t d init T
d T
T t init
勝利条件 捕獲に成功 T時間逃走

5. 屋内自律飛行船
94.0[cm]
Controller
T-Engine System
80.0 CPU: 216MHz
[cm] Image Control
information signal
Camera Sensor Propellers
RGB 16bit
160×144[pixel]
モータ制御 XY方向：2chずつ・Z方向：
1ch
位置計算 床面のランドマークから計算

6. 飛行船シミュレータ
概要
屋内自律飛行船をモデル化
運動方程式により飛行船の動きを計算
OpenGLにより視覚化
運動方程式 Mv  Av  B  F  

M : 質量行列 B : 浮力と重力による力
v : 加速度ベクトル F : 遠心力とコリオリ力

A : 空気抵抗  : 推力

7. 戦略の進化的獲得
戦略を反映した制御方式と戦略の学習が必要
ニューラルネットワーク 戦略を内含した制御が可能
環境の変化に柔軟に対応
パラメータの学習やINPUTの設計が必要
共進化GAによるNNの学習
共進化
相手の戦略の進化に対してより強固な戦略の学習
ＧＡ
明確な解が無い問題の最適解を探索

8. 制御方法
ニューラルネットワークによる制御
入力層：１４ 中間層：１２ 出力層：５
各
機体間の相対座標 プ
(rx,ry,rz) ロ
各機体の移動偏差 ・ ペ
・
・
・
・
ラ
(dx,dy,dz) ・
・ ・
・ の
・
壁との相対座標 ・ 出
(wx,wy,wz) 力
vij Wｊｋ
前回の出力
vij … wjk … θj … φk …
結合係数( vij , wjk )と閾値( θj , φk )を遺伝子として持つGAを考える
共進化ＧＡを用いて最適な解を探索し，ＮＮを学習させる

9. 追跡者
NNの学習方法 逃走者
T-1 世代
エリート３個体
個体集合
（１００個体）
T世代全ての個体
Ｔ世代における逃走者100個体の評価値の算出方法を説明する
逃走者１個体ずつエリート３個体と対戦させ，利得の平均を評価値とする

10. 追跡者
NNの学習方法 逃走者
T-1 世代
エリート３個体
個体集合 個体集合
（１００個体） （１００個体）
全ての個体 T世代
追跡者の場合も逃走者と同様に評価値を算出
対戦中に遺伝子は変化しない

11. 追跡者
NNの学習方法 逃走者
T-1 世代
交叉，変異 交叉，変異
T世代
評価値に従って，選択し遺伝子操作を加えて次世代の個体を生成
同様の操作を1000世代繰り返し，ＮＮのパラメータを進化させる

12. 実験
ゲーム環境が行動戦略の決定に与える影響を調べる
ゲームバランスが均衡しているほうが戦略の有効性が高まる
空間サイズによりどのような行動戦略ができるかを検討
Rを変更して十分に進化したプレイヤ同士によりゲーム
パラメータ設定
設定時間T：３００[sec]
半径:Ｒ[m]，高さ:５[m]の円柱空間内
初期距離：Ｒ[m]
XY平面上の初期位置

13. 実験結果
異なる空間サイズで同じ運動特性の2機体
空間サイズR =(5,10…50) 最高速度 v = 0.2[m/s]
捕獲回数 捕獲平均時間
100 300
80 250
捕獲平均時間
200
捕獲回数
60
150
40
100
20 50
0 0
0 5 10 15 20 25 30 35 40 45 50
空間サイズ[m]
ゲームバランスが均衡しているR=15～25[m]で
効果的な行動戦略を獲得し易いと考えられる．
獲得した行動戦略の例を次に示す．

14. 壁に追い込む戦略 黄色の機体：逃走者
白色の機体：追跡者
運動性能 同じ
空間サイズR １５[m]
２次元軌跡
（赤：追跡者，緑：逃走者）

15. 実験② p
  (  0.1,0.2 1.0)
e
空間サイズ 半径；25[m]  ：追跡者の推力
p
初期距離：25[m]
 ：逃走者の推力
e
モータ特性αと捕獲回数と平均時間のグラフ
100
90
80
モータ特性比が
捕獲平均時間(青)
70
捕獲回数(赤)
60 逃走者：追跡者＝1：0.7~0.8
50
40 にかけて追跡者と逃走者の
30
20
力バランスの均衡点があり，
10 その際に次のような
0
1 2 3 4 5 6 7 8 9 10 戦略を創発した
モータ特性比

16. 黄色の機体：逃走者
フェイント行動 白色の機体：追跡者
加速度 逃走者>追跡者
最高速 逃走者=追跡者
２次元軌跡
（赤：追跡者，緑：逃走者）

17. まとめ
 戦略を伴うゲーム環境を構築した
 相手の行動に適応した行動戦略を自律的に獲得した
 進化の過程で単純に追従するだけでなく，
フェイント行動などの行動戦略を創発した
今後の課題
実機を用いた実験
複数機体でのゲーム