fwefewfw

1. 進 捗

2. 汎化誤差解析に用いられる技術
𝑠𝑢𝑝 𝑓∈𝐹(𝐿 𝑑 𝑓 − 𝐿 𝑠[𝑓])を抑えるために
・ラデマッハ複雑度
・カバリングナンバー
・局所ラデマッハ複雑度
等の技術が、確率集中不等式との組み合わせにより使われる。

3. ラデマッハ複雑度
• Definition
Rad(F) = E[𝑠𝑢𝑝 𝑓∈𝐹 𝑖=1
𝑛
ε𝑖 𝑓( 𝑥𝑖)],
ε𝑖 は1/2で1, 1/2で-1を取る確率変数, Eはεとデータx全体に対す
る期待値
・Usage
𝐸[𝑠𝑢𝑝 𝑓∈𝐹(𝐿 𝑑 𝑓 − 𝐿 𝑠[𝑓])] ≤ 2Rad(F)
という風に抑えられるため、Rad(F)を抑える方法が見つかれば
汎化誤差を抑えることができる

4. ・局所ラデマッハ複雑度
• Definition
f*を、誤差Ld[f]の最小化元とする。
𝐹δ = {f ∈ 𝐹, 𝐸[(𝑓 − 𝑓∗)2] ≤ δ} と定義する。
このとき、局所ラデマッハ複雑度はRad(𝐹δ)で定義される量のこ
とを言います。
・Usage
ロス関数や関数fがある理想的な条件を満たしていれば確率1-𝑒−𝑡
でδ∗ = Rad(𝐹δ∗)となるδ∗を用いて、Ld(f) – Ld(f*) ≤ 𝐶(δ∗ +
𝑡
𝑛
)と
なる。

5. カバリングナンバー
• Definition
関数の集合Fの任意の元をある距離|・|について有限集合Gにつ
いて、g ∈ Gで | g – f | < εとなるようなGのなかで最少の個数
を持つものを考える。この時、その個数のことをカバリングナン
バーという。実際に、カバリグナンバーを用いてラデマッハ複雑
度などを抑えることによるboundは多々見られる

6. 従来のツールの問題点

7. 考察
• 深層学習の誤差を抑える際に、supを考えるとどうしても行列
のノルムや、深層学習の深さや幅に依存する項が出てきてしま
いよいboundを得ることができない
• 最近の多くの論文が提唱するように、与えられた確率分布や
データセット等に関してのみ依存し大きな仮説空間Fには依存
しないようなものが求められる(Kenji kawaguchi et.al 2018)
• (Kenji kawaguchi et.al 2018)では、supを抑えるのではなく直
接深層学習の誤差を評価していて、それらが解析的に導出され
ている
• 今後は、そこで導かれた量がどのような場合に小さい値を取る
のかを考えていきたい