1. 事前申告を取り入れた
マイノリティゲーム
北海道大学 工学部 情報工学科4年
複雑系工学講座 調和系工学研究室
神戸 芳文

2. 背景
複雑系 個々の自律的振る舞いで系全体の振る舞いが決定
株式市場 利己的な戦略を持つ個人が多数集まり，系全体が構成される
マイノリティゲーム
少数派に属した個人が利得を得るゲームであり，株式市場などを単純にモデル化したもの
買い
一斉に行動 多数派
売り
報酬
少数派

3. 目的
マイノリティゲームに関する先行研究
•StandardMGの研究(C-.Zhang 1997)
•人工市場のシンプルなモデルとしてのマイノリティゲーム
•進化的アルゴリズムは人工市場にふさわしいか[和泉 2004]
•エージェントの学習に「進化的アルゴリズム」を用いた研究
従来のMGではエージェントの行動はゲームの履歴だけで決定
現実にはうわさ，予想などの事前情報も考えて行動する
事前情報を含んだマイノリティゲームの提案
事前情報が行動に与える影響の分析
複雑系の側面をもつ株式市場をモデル化したマイノリティゲームを用いて，
事前情報が戦略の異なる複数の利己的エージェントの行動に与える影響を解析する

4. 行動決定テーブルを用いたマルチエージェントモデル
[和泉, et al., 04]
少数派だった行動
1 t-3 t-2 t-1 t
過去のゲームの履歴 A ・・・ B B A ？
各エージェントの行動でゲームをする
記憶長 m=2 の場合
報酬の獲得，行動決定テーブルの更新
t-2 t-1 t
報酬 行動決定テーブルの更新
A A P1
少数派 R 変更なし
A B P2 多数派 無し 確率α P3 ← P3
B A P3 確率1-α 変更なし
B B P4
行動決定テーブル 再びゲームをする

5. 行動決定テーブルを用いたモデルの特性
A A P1
A B P2 全エージェントが同じ履歴に基づく
B A P3 必ずテーブルの同じ行を使う
B B P4
多数派のエージェントのうち
確率αでP3の行動を反転
エージェント数
α＝0.5の場合
少数派：多数派 ＝ １：２
に収束する
少数派 多数派
このモデルを拡張することで，事前情報を考慮したマイノリティゲームを構築する

6. 事前情報を用いたモデルの拡張
事前情報を用いたマイノリティゲームの流れ
任意で 集計結果の少数派を 報酬＆行動決定
行動決定
事前申告 全エージェントに通知 テーブルの変更
申告エージェント A A P1
履歴 事前申告=行動 A B P2
・事前申告はする
B A P3
・集計結果は使用しない B B P4
履歴 行動
申告の集計結果 A A P1
情報利用エージェント
A B P2
・事前申告をしない A
B A P3
B B P4
・集計結果を使用する
履歴 + A A P5
行動 A B P6
申告の集計結果 B
B A P7
B B P8
申告エージェントと情報利用エージェントの個体数を変化させて実験を行う

7. 実験結果１
試行回数：5000
申告エージェントに対して情報利用エージェントが少な
いときは事前申告結果を使って確実に少数派に入れる
互いの平均利得が逆転
意外にも・・・ 情報利用エージェント
申告エージェントの人数が少ないと，
申告エージェントの方が高い利得を
得られている
申告エージェント
申告エージェント：1 申告エージェント：100
情報利用エージェント：１00 情報利用エージェント：１

8. 考察１
申告エージェントが少数のとき有利な理由
申告エージェント
（１０人）
行動Ａ
7人
行動Ｂ
3人
申告エージェントは過去の履歴だけから行動を決定

9. 考察１
申告エージェントが少数のとき有利な理由
申告エージェント 情報利用エージェント
（１０人） 申告エージェントの （９１人）
事前申告結果が情
報利用エージェント
行動Ａ
7人 の行動に影響 31人 少数派
行動Ｂ 60人
3人
情報利用エージェントは，１：２の割合で分かれる
全体の大部分を占める場合どちらが少数派になるかは情報利用エージェントに依存する

10. 考察１
エージェントＡが少数のとき有利な理由
申告エージェント 情報利用エージェント
（１０人） 申告エージェントの （９１人）
事前申告結果が情
報利用エージェント
行動Ａ
7人 の行動に影響 31人 少数派
行動Ｂ 60人
3人
申告エージェントは50%程度の確率で報酬を得られる

11. 事前申告・申告集計結果を用いた学習
申告エージェントと情報利用エージェントが共存した場合の
マイノリティゲームについて解析できた．
学習を用いた申告・情報利用エージェントを設計し，
その振る舞いについて実験を行う．

12. 事前申告・申告集計結果を用いた学習
事前情報を用いたマイノリティゲームの流れ
任意で 集計結果の少数派を 報酬＆行動決定
行動決定
事前申告 全エージェントに通知 テーブルの変更
利用しない場合はテーブルQ2
テーブルQ1によって 確率βで 事前情報を
利用する場合はテーブルQ3
事前申告を決定する 事前情報を利用
によって行動を決定する
状態 ｓ 行動 ａ
テーブルQ1 過去m回の履歴 事前申告
テーブルQ2 過去m回の履歴 ゲームの行動
申告集計結果＆
テーブルQ3 ゲームの行動
過去m回の履歴
3つのQテーブルと確率βを学習させる

13. Ｑテーブルとβの学習方法
行動価値関数 Q学習：利用した行動価値関数を更新
Q( st , at )  Q( st , at ) α reward ta1   max Q( st 1 , at 1 )  Q( st , at )]
[
実験設定 Q学習の学習率 α＝0.1
割引率 γ＝0.0
申告集計結果の利用率β
  0.05 if 申告集計結果を 利用して成功 or 利用しないで失敗
 
  0.05 if 申告集計結果を 利用して失敗 or 利用しないで成功
実験設定 βの初期値=1.0

14. 実験結果２
初期段階では申告集計結果を利用しない方が勝率が高く，βが減少
0.7 実験結果１では・・・
申告集計結果の利用率β
集計結果を利用した
エージェントの勝率
0.5
情報利用エージェントと
申告エージェントは負の相関だった
集計結果を利用しない
エージェントの勝率
集計結果を利用する場合としない場合の
0.3 勝率には負の相関（相関係数-0.43)がある
（実験結果１の状況が影響していると思われる）
ステップ t

15. 結論
• 行動決定テーブルによる既存のマイノリティゲームを、事前申
告を取り入れたマイノリティゲームに拡張・分析
• 事前申告の利用者が，高い利得を獲得できるとは限らない
• 申告エージェントの勝率と，情報利用エージェントの勝利には負
の相関が観察された
Ｆｕｔｕｒｅ Work
事前申告が持つ情報量や信憑性の分析