論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
normalized online learning
1. Normalized online learning
Stephane Ross, Carnegie Mellon University
Paul Mineiro, Microsoft
John Langford, Microsoft Research
(arXiv:1305.6646v1 [cs.LG] 28 May 2013)
@shima_x
12. Analysis
- Best Choice of Conditioner in Hindsight w =0として補題1の式を変形
1
◆ Aを時間的に不偏な対角行列、w1=0
A
◆ 行列Aの各対角成分で偏微分し極値の計算を行う
=0
13. Analysis
- Best Choice of Conditioner in Hindsight A
◆ 上で計算された行列Aの下でのリグレットバウンド
1/s
g s
- wi* を1/si倍し、gtiをsi倍することでキャンセルされるため
入力が正規化されていたとしてもこのリグレットバウンドは成り立つ
上記のリグレットはwi*の値に依存する。
この依存を断ち切るために最悪の場合のwi*により評価
を行う
14. Analysis
- Best Choice of Conditioner in Hindsight 2
◆ 補題2
- 最悪の場合を想定したリグレットバウンド
- Sに以下の制約を付ける
・対角行列
・行列式が最小となる行列
Appendix
を出発点として変形(詳細は論文中のAppendix
Appendix参照)
これについて解くと
16. Analysis
- Best Choice of Conditioner in Hindsight p=
◆ 例としてp=
p=∞の場合のリグレットを記載
S
- p=
p=∞での補正係数行列Sの各要素
A
◆ 行列Aの各要素の計算
◆ リグレットの計算
17. Analysis
- Best Choice of Conditioner in Hindsight p=
◆ 例としてp=
p=∞の場合のリグレットを記載
- リグレットのオーダー
18. Analysis
- Best Choice of Conditioner in Hindsight p=2
◆ 例としてp=2
p=2の場合のリグレットを記載
- リグレットのオータ゛ー
- 勾配に関して以下を置く
19. Analysis
- Best Choice of Conditioner in Hindsight p=2
◆ 例としてp=2
p=2の場合のリグレットを記載
- リグレットの計算
しかし、ここまでで記載してきた手法
T
では時刻 t
t(∈T)の全てが
わからないと解くことが出来ない
Adversary setting
1
より1以下となる
20. Analysis
- Transductive Case ◆ 現実のケースでのリグレットを記載
S
- 正規化係数行列Sと勾配を同時に計算することは困難
2
- そこで、計算を2段階に分ける
S
- 1段階目として、対角行列Sを計算
- 2段階目として、勾配の計算を行う