Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
Modeling  Intransitivity  in  Matchup  and  
Comparison  Data
Shuo  Chen  and  Thorsten  Joachims  (Cornell  Univ)
WSDM  2...
話の流流れ
1.  概要,貢献
2.  問題  :  Pairwise  Comparison
3.  既存⼿手法  :  Bradlley-‐‑‒Terry  model
4.  提案⼿手法  :  blade-‐‑‒chest  model...
1.  概要,貢献
•  概要
–  1対1の勝負/⽐比較において,さんすくみの関係を推定
する
–  e-‐‑‒Sports  の対戦データにおいてその傾向が顕著に現
れることを⽰示した
•  貢献
–  ⾮非推移性を持つモデルを提案したこと
2.  問題設定
•  Pairwise  Comparison
–  ⼊入⼒力力  :  ペア  <  a,  b  >
–  出⼒力力  :  どちらが好まれるか/勝つか
•  実例例
–  ⼆二⼈人のチェスプレイヤーのどちらが勝つか?
–...
3.  既存⼿手法
•  Bradlley-‐‑‒Terry  (BT)  model
–  古典的なモデル
–  仮定  :  各ユーザの強さは実数値  γ  で表現される
–  この時,  a  が  b  に勝つ確率率率は
matchup...
3.  BTモデルの性質
•  M(a,  b)  =  0  で  a  の勝率率率は50%
–  M(a,  b)  >  0  になるにつれ,  a  の勝率率率が上がる
•  M(a,  b)  =  -‐‑‒M(b,  a)
–  P...
4-‐‑‒1.  提案⼿手法  –  アイデア
•  アイデア  :  ⾮非推移性  (intransitivity)
–  定義  :  プレイヤー  a,  b,  c  について以下が成⽴立立する
•  P(a  >  b)  >  0....
4-‐‑‒1.  提案⼿手法  –  アイデア
•  例例  :  剣を使って戦う⼆二⼈人
–  プレイヤー  a  と  b  は⼆二つの部位を持っている
•  剣  (blade)
–  これでプレイヤーは攻撃する
•  胸部  (ches...
4-‐‑‒2.  提案⼿手法  –  定式化
•  d  次元ベクトル  a_̲blade  /  a_̲chest  を⽤用いて
–  blade-‐‑‒chest-‐‑‒dist-‐‑‒model
–  blade-‐‑‒chest-‐‑‒...
4-‐‑‒2.  提案⼿手法  –  推定
•  推定  :  SGDによる対数尤度度最⼤大化
–  勝敗データ集合  D  におけるプレイヤー  a/b  について  
a  が  na  回,b  が  nb  回勝利利していたとすると尤度...
5-‐‑‒1.  実験  –  ⼈人⼯工データ
•  ⼊入⼒力力  :  じゃんけん  /  5すくみゲームの勝敗データ
•  出⼒力力  :  d  =  2  で推定した  blade/chest
–  ⽮矢印の先  :  blade
– ...
5-‐‑‒2.  実験  –  実データ  (1)
1.  ⾮非推移性がオンラインゲームに存在するか?
•  Yes  (2/3  で精度度/対数尤度度[以降降評価指標]改善)
•  データ  :  Starcraft  II  (WoL,  ...
5-‐‑‒2.  実験  –  実データ  (2)
3.  格闘ゲームの相性表が再構成できるか?
•  Yes
•  データ  :  ストリートファイター4のダイヤグラム
•  ⼿手法
•  ダイヤグラム(実/⼈人⼯工)に基づいて対戦データを⽣...
5-‐‑‒2.  実験  –  実データ  (3)
4.  ランク統合データにも⾮非推移性が存在するか?
•  Yes  (弱いが)
•  ⼿手法
•  複数の順序データを  pairwise  データに
–  {マグロ>イクラ>イカ,イクラ>...
6.  まとめ
•  まとめ
–  さんすくみの関係を持つ  pairwise  comparison  のモ
デルを提案
–  実験により,明確に現れるデータとそうでないもの
が存在することを確認
•  感想
–  シンプルで⾯面⽩白い
– ...
Upcoming SlideShare
Loading in …5
×

Modeling intransitivity in matchup and comparison data (WSDM 2016)

1,429 views

Published on

Modeling intransitivity in matchup and comparison data (WSDM 2016) http://www.cs.cornell.edu/~shuochen/pubs/wsdm16_chen.pdf

Published in: Technology
  • Be the first to comment

Modeling intransitivity in matchup and comparison data (WSDM 2016)

  1. 1. Modeling  Intransitivity  in  Matchup  and   Comparison  Data Shuo  Chen  and  Thorsten  Joachims  (Cornell  Univ) WSDM  2016  勉強会,  2016/3/19 y_̲benjo
  2. 2. 話の流流れ 1.  概要,貢献 2.  問題  :  Pairwise  Comparison 3.  既存⼿手法  :  Bradlley-‐‑‒Terry  model 4.  提案⼿手法  :  blade-‐‑‒chest  model 1.  アイデア 2.  定式化,推定 5.  実験 1.  ⼈人⼯工データ 2.  実データ  :  e-‐‑‒Sports,  テニス... 6.  まとめ
  3. 3. 1.  概要,貢献 •  概要 –  1対1の勝負/⽐比較において,さんすくみの関係を推定 する –  e-‐‑‒Sports  の対戦データにおいてその傾向が顕著に現 れることを⽰示した •  貢献 –  ⾮非推移性を持つモデルを提案したこと
  4. 4. 2.  問題設定 •  Pairwise  Comparison –  ⼊入⼒力力  :  ペア  <  a,  b  > –  出⼒力力  :  どちらが好まれるか/勝つか •  実例例 –  ⼆二⼈人のチェスプレイヤーのどちらが勝つか? –  どちらの寿司ネタが好まれるか? –  応⽤用  :  XBox  Live  におけるマッチング •  強すぎる/弱すぎる相⼿手と当たっても⾯面⽩白く無い
  5. 5. 3.  既存⼿手法 •  Bradlley-‐‑‒Terry  (BT)  model –  古典的なモデル –  仮定  :  各ユーザの強さは実数値  γ  で表現される –  この時,  a  が  b  に勝つ確率率率は matchup     func)on
  6. 6. 3.  BTモデルの性質 •  M(a,  b)  =  0  で  a  の勝率率率は50% –  M(a,  b)  >  0  になるにつれ,  a  の勝率率率が上がる •  M(a,  b)  =  -‐‑‒M(b,  a) –  P(a  >  b)  =  1  –  P(b  >  a) •  推移性 –  P(a  >  b)  >  0  かつ  P(b  >  c)  >  0  なら  P(a  >  c)  >  0
  7. 7. 4-‐‑‒1.  提案⼿手法  –  アイデア •  アイデア  :  ⾮非推移性  (intransitivity) –  定義  :  プレイヤー  a,  b,  c  について以下が成⽴立立する •  P(a  >  b)  >  0.5 •  P(b  >  c)  >  0.5 •  P(c  >  a)  >  0.5 –  じゃんけんの3つの⼿手の関係 •  これを実現するため,各ユーザを多次元で表現する
  8. 8. 4-‐‑‒1.  提案⼿手法  –  アイデア •  例例  :  剣を使って戦う⼆二⼈人 –  プレイヤー  a  と  b  は⼆二つの部位を持っている •  剣  (blade) –  これでプレイヤーは攻撃する •  胸部  (chest) –  ここを攻撃されると負ける –  ⾃自分の剣が相⼿手の胸に近い⽅方が勝利利する
  9. 9. 4-‐‑‒2.  提案⼿手法  –  定式化 •  d  次元ベクトル  a_̲blade  /  a_̲chest  を⽤用いて –  blade-‐‑‒chest-‐‑‒dist-‐‑‒model –  blade-‐‑‒chest-‐‑‒inner-‐‑‒model •  d  次元のユーザ表現→戦いのスタイル
  10. 10. 4-‐‑‒2.  提案⼿手法  –  推定 •  推定  :  SGDによる対数尤度度最⼤大化 –  勝敗データ集合  D  におけるプレイヤー  a/b  について   a  が  na  回,b  が  nb  回勝利利していたとすると尤度度は 以下の式
  11. 11. 5-‐‑‒1.  実験  –  ⼈人⼯工データ •  ⼊入⼒力力  :  じゃんけん  /  5すくみゲームの勝敗データ •  出⼒力力  :  d  =  2  で推定した  blade/chest –  ⽮矢印の先  :  blade –  ⽮矢印の尾  :  chest Figure 2: The visualization of our model trained on rock-paper-scissors (left panel) and rock-paper-scissors-lizard-Spock (right panel) datasets without bias terms and d set to 2. Each player is represented by an arrow, with the head being the blade vector and the tail being the chest vector. attack range, toughness, etc. The choice of what and when to build based on scouting information from the enemy is an essential part of the strategy of Starcraft II. We collected all the match results of professional Starcraft II players from the website aligulac.com up until February 20, 2014 (the day we did the crawling). There are two phases of Starcraft II: the original game StarCraft II: Wings of Liberty (WoL), and the later released expansion StarCraft II: Heart of the Swarm (HotS), which adds more options for the players and is often considered as a different game. We treat them separately. For of WoL, we have 4, 381 players with 61, 657 games, and 2, 287 players with 28, 582 main types of strategies called rush, boom and turtle[13], with rush (early aggression) beating boom (economy first), boom beating tur- tle (pure defensive), and turtle beating rush9 . We believe that the relations between different types of general strategies that are as- sociated with the nature of the game could also give rise to the captured intransitivity in the Starcraft II data. 4.3.2 Defense of the Ancients 2 Defense of the Ancients 2 (DotA 2)10 is a multi-player online bat- tle arena (MOBA) game developed by Valve Corporation. In con- trast to Starcraft II, where each player commands a whole army, in 引用元  :  元論文  Figure  2
  12. 12. 5-‐‑‒2.  実験  –  実データ  (1) 1.  ⾮非推移性がオンラインゲームに存在するか? •  Yes  (2/3  で精度度/対数尤度度[以降降評価指標]改善) •  データ  :  Starcraft  II  (WoL,  HotS),  DotA2 •   DotA2のみ評価指標が改善せず •  理理由  :  チーム戦のため,チームの強さが重要 2.  ⾮非推移性がプロテニスに存在するか? •  No  (評価指標が改善せず) •  理理由 •  プロプレイヤーはオールラウンドな強さが求められる •  ランキングにもとづくトーナメント制が多いため
  13. 13. 5-‐‑‒2.  実験  –  実データ  (2) 3.  格闘ゲームの相性表が再構成できるか? •  Yes •  データ  :  ストリートファイター4のダイヤグラム •  ⼿手法 •  ダイヤグラム(実/⼈人⼯工)に基づいて対戦データを⽣生成, ダイヤグラムが再構成できるか –  実験の理理由 •  ⾮非推移性が現れなかったのはデータ不不⾜足のため(?)
  14. 14. 5-‐‑‒2.  実験  –  実データ  (3) 4.  ランク統合データにも⾮非推移性が存在するか? •  Yes  (弱いが) •  ⼿手法 •  複数の順序データを  pairwise  データに –  {マグロ>イクラ>イカ,イクラ>イカ>マグロ,イク ラ>マグロ>イカ}  を –  {イクラ>マグロ:2,  イクラ>イカ:3,  マグロ>イクラ: 1,  マグロ>イカ:2,  イカ>マグロ:1}  に変換
  15. 15. 6.  まとめ •  まとめ –  さんすくみの関係を持つ  pairwise  comparison  のモ デルを提案 –  実験により,明確に現れるデータとそうでないもの が存在することを確認 •  感想 –  シンプルで⾯面⽩白い –  著者,PhD後はStarcraft2の開発会社に就職 •  metric  embedding  の論論⽂文を他に書いている

×