Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Decision generalisation from game logs in no limit

362 views

Published on

Published in: Science
  • DOWNLOAD THAT BOOKS/FILE INTO AVAILABLE FORMAT - (Unlimited) ......................................................................................................................... ......................................................................................................................... Download FULL PDF EBOOK here { http://bit.ly/2m6jJ5M } ......................................................................................................................... .............. Browse by Genre Available eBooks ......................................................................................................................... accessibility Books Library allowing access to top content, including thousands of title from favorite author, plus the ability to read or download a huge selection of books for your pc or smartphone within minutes Christian, Classics, Comics, Contemporary, Cookbooks, Art, Biography, Business, Chick Lit, Children's, Manga, Memoir, Music, Science, Science Fiction, Self Help, History, Horror, Humor And Comedy, Suspense, Spirituality, Sports, Thriller, Travel, Young Adult, Crime, Ebooks, Fantasy, Fiction, Graphic Novels, Historical Fiction, Mystery, Non Fiction, Paranormal, Philosophy, Poetry, Psychology, Religion, Romance,
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here
  • Download or read that Ebooks here ... ......................................................................................................................... DOWNLOAD FULL PDF EBOOK here { http://bit.ly/2m77EgH } ......................................................................................................................... Download EPUB Ebook here { http://bit.ly/2m77EgH } ......................................................................................................................... Download Doc Ebook here { http://bit.ly/2m77EgH } ......................................................................................................................... .........................................................................................................................
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here
  • Download or read that Ebooks here ... ......................................................................................................................... DOWNLOAD FULL PDF EBOOK here { http://bit.ly/2m77EgH } ......................................................................................................................... Download EPUB Ebook here { http://bit.ly/2m77EgH } ......................................................................................................................... Download Doc Ebook here { http://bit.ly/2m77EgH } ......................................................................................................................... .........................................................................................................................
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here
  • DOWNLOAD THIS BOOKS INTO AVAILABLE FORMAT (Unlimited) ......................................................................................................................... ......................................................................................................................... Download Full PDF EBOOK here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... Download Full EPUB Ebook here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... ACCESS WEBSITE for All Ebooks ......................................................................................................................... Download Full PDF EBOOK here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... Download EPUB Ebook here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... Download doc Ebook here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... ......................................................................................................................... ......................................................................................................................... .............. Browse by Genre Available eBooks ......................................................................................................................... Art, Biography, Business, Chick Lit, Children's, Christian, Classics, Comics, Contemporary, Cookbooks, Crime, Ebooks, Fantasy, Fiction, Graphic Novels, Historical Fiction, History, Horror, Humor And Comedy, Manga, Memoir, Music, Mystery, Non Fiction, Paranormal, Philosophy, Poetry, Psychology, Religion, Romance, Science, Science Fiction, Self Help, Suspense, Spirituality, Sports, Thriller, Travel, Young Adult,
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here
  • Be the first to like this

Decision generalisation from game logs in no limit

  1. 1. Decision Generalisation from Game Logs in No Limit Texas Hold’em (2013, IJCAI) Jonathan Rubin and IanWatson 東京大学工学系研究科システム創成学専攻 大橋・鳥海研究室 梶原健吾 とりらぼ輪読会
  2. 2. 背景 • 2008年,リミット・テキサスホールデムで 人間vsポーカーAI(Polaris)⇒Polarisの勝利 • 研究対象:リミット⇒ノーリミット – ノーリミットはベット額の上限無し – AAAI or IJCAIで毎年ノーリミットのエージェント大 会が開催
  3. 3. 背景 • ノーリミットでは勝てない – リミット:取りうる行動がfold,call,raiseのみ – ノーリミット:レイズ額を指定可能⇒行動の多様性 • 本論文は2012年の大会にて5位に入賞した エージェントに用いた理論の紹介である.
  4. 4. 本エージェントの主な特徴 • Case-baseの学習 – 過去に行われたゲームから事例の抽出 • 行動の抽象化(action abstraction) – 無数に存在するベット額⇒離散的に捉える • 抽象⇔具体 の変換(translation) – 実際のベット⇒Abstract action
  5. 5. Case-baseの構築 • 過去のゲームから特徴を抽出
  6. 6. Action Abstractionの説明 • ノーリミット:レイズ額が自由 →そのままだとcase-baseが膨大 • 行動を10種類に抽象化 – フォールド – コール – 額の異なるレイズ(8種類) • ポットの1/4, 1/2, 3/4, 1, 2, 5, 10倍とオールイン
  7. 7. Translationの説明 • 実際のベットからAbstract actionへ変換 • 2種類の変換方法 – ハードトランスレーション – ソフトトランスレーション
  8. 8. ハードトランスレーション • 同じベット⇒必ず同じAbstract actionに変換 – ポットの3倍のベット⇒ポットの2倍のベットへ変換 • 相手にベット額をコントロールされ得る b:実際のベット a, c:Abstract action (a < b < c)
  9. 9. ソフトトランスレーション • 確率的にAbstract actionに変換 – ポットの3倍のベット ⇒4/7の確率でポットの2倍に変換 3/7の確率でポットの5倍に変換
  10. 10. 各Translationの用途 • Case-baseの構築時 – ハードトランスレーションを使用 – 学習用のデータ⇒操られる心配無し • 実際の対戦時 – ソフトトランスレーションを使用 – 観測する行動を確率的に変化させる
  11. 11. 状況の類似度 • 現状はcase-baseのどのcaseに近いか • Hand Strength Bucket, Stack Commitment, Betting Sequence, Board Texture,それぞれの 類似度の合計で評価
  12. 12. Hand Strength Bucketの類似度 • ハンドの強さを[1, T]で表し,その差分で類似 度を表す – f1,f2:ハンドの強さ – k:定数 – T=50
  13. 13. Stack Commitmentの類似度 • Stack Commitmentを[1, N]で表し,その差分 で類似度を表す – f1, f2: Stack Commitment – N=4
  14. 14. Betting Sequenceの類似度 • Fold, call, raiseの3種類の並びが同じもの • 8つのレイズを1,2,…,8で表し,類似度を計算 – S1,i ,S2,j:各レイズを表す自然数(1~8) – α:定数
  15. 15. Board Textureの類似度 • 説明無し
  16. 16. 行動の決定 • Case-base⇒Abstract action – (詳しい手法は説明無し…) • Abstract action⇒実際のベット – 誤差項を付け加えてベット
  17. 17. 結論 • 複雑な不完全情報ゲームにおいて扱うデータ を抽象化 ⇒過去のプレイを元にプレイすることが可能 • ポーカーのAIの大会(ACPC)にて,5位入賞
  18. 18. 感想 • トランスレーションと類似度の考え方は人狼にも 応用出来るかも? – 人狼の場合は確率的にプレイヤーを選択しても,論 理だった嘘はつけない.嘘のシナリオを確率的に選 択するとか. • プレイヤー個人の性質を無視していいのか – 初めてオールインした相手と,毎回オールインしてる 相手を同じ扱い? • 5位入賞…と言いつつ参加者11人.微妙な

×