More Related Content
Viewers also liked
Viewers also liked (20)
Similar to Autoencoderは正規直交基底の夢を見るか
Similar to Autoencoderは正規直交基底の夢を見るか (20)
Autoencoderは正規直交基底の夢を見るか
- 2. • 自己紹介 • 事前学習とAutoencoder • Autoencoderによる特徴量で目的のタスクがこなせるのか？ • Autoencoderでどんな特徴量が得られるのか？ • 正規直交基底と関数の内積 • 実験と考察 • まとめ アジェンダ
- 3. 安田京太(@dasoran) • 株式会社ビズリーチ • 三重県出身 24歳 ! 略歴 ‣ ∼2015/03/31 • 東北大学物理学科に在籍。超伝導の研究をしていた。 ‣ 2015/04/01∼2015/08/31 • 株式会社ビズリーチに新卒で入社、研修 ‣ 2015/09/01∼ • 研修後、現在はインフラエンジニアとして働いている。 機械学習歴 • ディープラーニングから機械学習を勉強しはじめて3ヶ月程度 自己紹介
- 6. Autoencoderによる特徴量で目的のタスクがこなせるのか？ … … … … … … … 1層目 2層目 3層目 … … … AE後 … … … 学習時 … この層を 追加！
- 7. • AEによる特徴量とはどういうものか調べたい ! • 正規直交基底が得られないかと思いついた！ • どうも恒等変換なら関数の内積と同じように見えるしいけるかも ! ! ! ! ! ! ! • 今回は正規直交基底の一つ、フーリエ基底が得られないか試行した Autoencoderでどんな特徴量となるのか？（脱線/本題スタート） yj = Z b a f(x)gj(x)dx関数の内積 yj = bX i=a Wjixi 恒等変換の 1層の処理 (b=0のとき)
- 8. • 正規直交基底というのは長さが1で直交する基底 • ユークリッド空間のexeyで作られる基底も2次元のベクトル空間にお いては正規直交基底 • 関数に対しても内積が定義できれば、長さが1で直交するよう な関数系を考える事ができる ! ! ! ! • 基底に対する内積はその成分を抽出する意味を持つので、少な い情報で特徴を抽出するという目的にも叶う 正規直交基底と関数の内積 < gi, gi >= 1 < gi, gj >= 0(i 6= j) これ(+α)を満たせば正規直交基底になる！
- 9. 前提 • sin, cosを10個足し合わせたデータを100分割してそれぞれ入力とする ! ! • モデルは入力100, 出力10の単層パーセプトロンをAE ! ! ! ! ! 実験してみた(1) y(x) = 5X i=1 sin(2⇡i x 100 ) + cos(2⇡i x 100 ) ・ ・ ・ ・ ・ ・ 100 10 100 x1 x2 x100 y1 y2 y100
- 10. 条件 ! ! ! 結果 ! ! ! ! ! 実験結果(1) 条件1 条件2 条件3 Optimizer SGD Adam Adam epoch 100 100 50 batchsize 10 10 100 条件1 条件2 条件3 loss
- 12. 結果 ! ! ! ! ! ! ! ! ! ! ただのノイズにしか見えない…… 実験結果(1) 条件1 条件2 条件3 学習させたい層のW(適当に一つをもってきた, これがsinカーブになってほしい)
- 14. そもそも、期待するような基底を取る事はあり得るのかを検証 ! 条件 • 初期値として入力値の合成に使っているsinカーブを与える • 学習させたい層にも、AE用の層にも与える 結果 ! ! ! ! 実験してみた(2) loss 順伝播計算 学習層のW 少なくとも、この系でもフーリエ基底が一つの解にはなりうる
- 15. 方向性を与えてやったときに安定に直交基底へ向かうか ! 条件 • 初期値として入力値の合成に使っているsinカーブを与える • 学習させたい層のみに与える 結果 ! ! ! ! 実験してみた(3) loss 順伝播計算 学習層のW このケースでは安定して向かわなかった。エネルギーのような複雑な値を計算し ている訳ではなく二乗誤差を小さくすることしかしていないためと考えられる
- 16. 元々の疑問 • そもそもAEで得られた特徴量の使い方を勘違いしていた • AEが適切にデータの特徴を抽出してくれれば、それを入力として目 的の学習を行うイメージ • AEした後に層を追加するのを忘れては行けない • AEがどういう特徴を抽出するかはそれほど重要ではない まとめ
- 17. Autoencoderに関して • Autoencoderで正規直交基底の夢は幻想だった • 自分で初期値を与えてやると実現できなくもない • 仕組み上直交基底を実現できないという事はなかった • ランダムな初期値では期待した基底は得られなかった • パラメータに制約がない • ネットワークの中間出力はどんな形をしていてもいい • Autoencoderで得られる特徴は最適とは限らない • シンプルに二乗誤差を小さくするだけだし！ • エネルギーなどの意味のある量を最小にするとかそういう複雑な計算はしていない ! 最後に • 仮に何らかの方法で直交な特徴を学習させたとして、その後にどのような良い寄与があるか よくわからないのでトライしなかったですが、知っている人いらしたらお教えください まとめ