【論文読み会】Deep Reinforcement Learning at the Edge of the Statistical Precipice

【論文読み会】Deep Reinforcement Learning at the Edge of the Statistical Precipice

• 1.
  Deep Reinforcement Learningat the Edge of the Statistical Precipice Marketing Solution Division 内田 沙穂里 2022/03/23
• 2.
  引用 ©2022 ARISE analyticsReserved. 1 特に注釈がない限り、画像は論文・PJページからの引用。 論文 • Deep Reinforcement Learning at the Edge of the Statistical Precipice PJページ • Google AI Blog • rliable
• 3.
  アジェンダ ©2022 ARISE analyticsReserved. 2 1 強化学習とは ２ 強化学習ロジック、既存評価方法の課題 4 新評価指標の提案 3 最新論文の評価結果の不確実性の検証
• 4.
  強化学習とは ©2022 ARISE analyticsReserved. ある環境内におけるエージェントが、現在の状態を観測し取るべき行動を決定する問題を扱う機械学習の一 種。(Wikiより) 3 前提条件 • 犬が行動を起こすと反応がある • 【おすわり】などの特定の行動を行った場合、 報酬を与える • 犬は、報酬が最大となるように行動するように なる 学習ステップ 1.犬は、ランダムに行動を起こす 2.特定の行動の時のみ報酬をもらえる 3.報酬が最大にもらえるように学習する 犬のしつけを行うタスク 学習ステップ Environment (犬の調教師) Agent (犬) actions rewards observations
• 5.
  強化学習ロジック、既存の評価方法 ©2022 ARISE analyticsReserved. 4 表にしてタスク間のスコアの違いを把握 スコア タスク Freeway 1回目 2回目 3回目 Score3 Score6 Alien Score1 Score4 Score7 Boxing Score2 Score5 Score8 Score9 平均値 中央値 M個のタスクをN回行い、平均値や中央値などの点推定によって判断 Game Alien Amidar Assault Asterix Bank Heist Battle Zone DER Score1 Score2 Score3 Score4 Score5 Score6 OTR Score7 Score8 Score9 Score10 Score11 Score12 SPR Score13 Score14 Score15 Score16 Score17 Score18
• 6.
  強化学習ロジック、既存評価方法の課題 ©2022 ARISE analyticsReserved. 5 スコア タスク Freeway 1回目 2回目 3回目 Score3 Score7 Alien Score1 Score5 Score8 Boxing Score2 Score6 Score9 Score10 平均値 中央値 M個のタスクをN回行い、平均値や中央値などの点推定によって判断 1. 標準偏差が省略される 2. 集約値が不明瞭 • 平均値 ⇒ 外れ値に弱い • 中央値 ⇒ スコアの半分がゼロでも影響を受けない 課題 3. どのロジックが優れているかわかりづらい 課題 既存の評価指標では評価が不確実であり適切なロジック比較ができなく誤った判断をする可能性がある 表にしてタスク間のスコアの違いを把握 Game Alien Amidar Assault Asterix Bank Heist Battle Zone DER Score1 Score2 Score3 Score4 Score5 Score6 OTR Score7 Score8 Score9 Score10 Score11 Score12 SPR Score13 Score14 Score15 Score16 Score17 Score18
• 7.
  最新論文の評価結果の不確実性の検証 ©2022 ARISE analyticsReserved. 6 最新論文で報告されている評価値の再評価を行い、発表されている値の不確実性を検証する。 使用データ Atariゲーム  26種類のゲーム  100K ステップ実行(2～3時間程度のゲームプレイ) 検証方法 • 26ゲーム×100回実行して得られた中央値の分布と、論文 で報告された回数分をランダムにピックアップして集計した点 推定の中央値(破線)をプロット • 論文報告実行回数  DER : 5回  OTR : 5回  CURL :20回  DrQ :5回  DrQ(ε) :5回  SPR :10回 使用ロジック 6種類  DER/OTR/CURL/DrQ/DrQ(ε)/SPR 実行回数 1万5600回  26ゲーム×100回×6ロジック
• 8.
  最新論文の評価の不確実性の検証 ©2022 ARISE analyticsReserved. 7 最新論文で報告されている評価値の再評価を行うと、論文で提示されているロジック優劣と一部異なる結果 となった。 • 過大評価されているロジック  CURL  SPR  DrQ • 過小評価されているロジック  DER • ロジック優劣  論文 DER ⇒ OTR  実際 OTR ⇒ DER Plot 結果 OTR （再評価値） DER （再評価値） OTR (点推定中央値) DER (点推定中央値)
• 9.
  最新論文の評価の不確実性の証明 ©2022 ARISE analyticsReserved. 8 ロジック毎、試行回数別中央値の期待値をプロットすると、少数のサンプルから得られた結果と100回実行し た場合の期待値のばらつきが大きいことが分かった。 • DERロジックでは、5回と100回実行 で中央値期待値が＋0.002変化  5回実行時の中央値期待値 0.188  100回実行時の中央値期待値 0.190 • SPRロジックでは、 5回と100回実行 で中央値期待値が＋0.03変化  5回実行時の中央値期待値 0.36  100回実効値の中央値期待値 0.39 0.360 0.390 ＋0.030 0.188 0.190 ＋0.002 Plot 結果
• 10.
  一般的な精度揺らぎの解消方法 ©2022 ARISE analyticsReserved. 9 一般的に考えられるSeedを固定する方法や、実行回数を増やして評価する方法ではアルゴリズムの優劣を 評価することが困難である。 • Seedを固定し100×2回実行した場合の各タスクの相関係数一覧(下図) • Seedを固定していたとしても、GPUなどのハードウェアのランダム性により結果が 異なり、環境を変えて学習した際の再現性が難しい。 • 2億フレームあるAtari 2600ゲームをALEシュミレーション環境で5回実行するのに 1000GPU日以上のトレーニング日数が必要 • 強化学習試行回数の推移 近年では実行回数5回以下が一般的。 複数回実行することは実行時間の観点から困難である。 Seedを固定していても結果は異なる Seedを固定しての実行 実行回数を増やしての評価
• 11.
  信頼性の高い評価のための3つの提案 ©2022 ARISE analyticsReserved. 10 1 層別ブートストラップ法によるスコアの区間推定を行い 信頼区間を報告 ２ Performance profile の図示 ３ Inter Quantile Mean を使用 課題 標準偏差が省略される 対応策 集約値が不明瞭  平均、中央値では不十分 表ではどのロジックが優れているかわかりづらい
• 12.
  1．層別ブートストラップ法を行い信頼区間を報告 ©2022 ARISE analyticsReserved. 11 各タスクのスコアをまとめた点推定を行うのではなく、層別ブートストラップを行い信頼区間を推定する。 26個のタスクを3回ずつ評価し78個のサンプルスコアが得られた場合 従来 平均値や中央値などの点推定 ① それぞれのタスクのスコアをランダムにサンプリング ② 平均値、中央値などの集約値を計算 ③ ②の値をプロット ④ ①～③を繰り返すと、サンプルの集計スコアの分布が ブートストラップ分布となりその中心付近の広がりが信頼 区間となる。 提案手法 １ 2 3 4
• 13.
  ２．Inter Quantile Meanを使用 ©2022 ARISE analytics Reserved. 12 下位25％と、上位25％を除いた残りの50％についての平均値によって計算する。 スコア全体の値を使用して、平均値または、中央値を計算 下位25％と、上位25％を除いた残りの50％についての平 均値を集計 26個のタスクを3回ずつ評価し78個のサンプルスコアが得られた場合 従来 提案手法 削除 削除
• 14.
  ２．Inter Quantile Meanを使用 ©2022 ARISE analytics Reserved. 13 IQMは中央値よりも優位に信頼区間が小さく、ロジックの優劣の比較が容易となる。  信頼区間は、層別ブートストラップ法により算出した  IQMは中央値に比べ信頼区間が小さく、ロジックの優劣が容易に判断できる 従来 提案手法
• 15.
  Inter Quantile Meanの有用性 ©2022 ARISE analytics Reserved. 14 ロジック、試行回数別の中央値期待値とIQM期待値の変化 Mean IQM  中央値を使用した場合IQMと比べ、3回の実行時と100回の実行時に得られるスコアの差が大きい  IQMは、少ない実行回数での精度評価が可能  特にDrQ(ε)で3回実行 時と、100回実行時の期 待値の差が大きい  どのロジックでも3回実行 時と、100回実行時での 期待値の差が小さい
• 16.
  IQM以外の集計値 ©2022 ARISE analyticsReserved. 15 補足 IQM以外の数値を利用することも可能。集約関数を変えることで、集計データの特徴を変えることが可能。 使用データ 下位25％のスコア 中央50％のスコア (IQM) 人間の平均スコアを上回った スコア 評価意図 困難なタスクへのパフォーマン スレベル測定 一般的なパフォーマンス測定 どの程度人間のパフォーマン スレベルを超えられるかを測 定
• 17.
  ３．Performance profile の図示 ©2022ARISE analytics Reserved. 16 従来の表にまとめてタスク間のスコアの違いを把握する方法では、ロジックの優劣を判断することが困難であっ た。新しく、Performance Profileをプロットすることを推奨する。 従来検証方法 Performance profile Game Alien Amidar Assault Asterix Bank Heist Battle Zone DER Score1 Score2 Score3 Score4 Score5 Score6 OTR Score7 Score8 Score9 Score10 Score11 Score12 SPR Score13 Score14 Score15 Score16 Score17 Score18
• 18.
  ３．Performance profile の図示 ©2022ARISE analytics Reserved. 17 正規化スコア以上の実行の割合を示すスコア分布をグラフ化する。 正規化スコア算出式 概要  すべてのタスクの施行を組み合わせたスコアの経験的な裾野 の長い分布  定性的な比較が一目でできるようになる  あるアルゴリズムの曲線が他のアルゴリズムよりも上にある場合 は、そのアルゴリズムが優れていることを意味する Plot 説明
• 19.
  評価プロトコルによるスコアの違い ©2022 ARISE analyticsReserved. 18 補足 通常は、最終訓練エピソードのスコア(Final)を用いるが、訓練中の最高スコア(CURL)や、複数回の実行に より達成された最大評価スコア(SUNRISE’s)が用いられることがある。異なったプロトコル間での精度比較は できない。 • 最大値を含む代替プロトコルを使用した場合、最終スコアを 使用した時よりもスコアが大きくなる。  平均値、中央値どちらを使用した場合でも結果は同 じ • 最大値を含む代替プロトコルで生成された結果は、最終パ フォーマンスで報告された結果と比較できない Plot 結果
• 20.
  まとめ ©2022 ARISE analyticsReserved. 19 正しい評価指標ができるようColabratoryで提案手法コードを公開中 課題 対応策 層別ブートストラップ法によるスコアの区間推定を行い信頼 区間を報告 標準偏差が省略される Inter Quantile Mean を使用 集約値が不明瞭  平均、中央値では不十分 Performance profile の図示 表であらわすとどのロジックが優れているかわかりづらい 最終のプロトコルを使用する 評価プロトコルの違い
• 21.
  Best Partner forinnovation, Best Creator for the future.