Recommended
More Related Content
What's hot
What's hot (20)
Recently uploaded
Recently uploaded (16)
PRML上巻勉強会 at 東京大学 資料 第5章5.1 〜 5.3.1
- 1. PRML 上巻勉強会 第十回 5.1 - 5.3 Beenos株式会社（予定） 技術戦略室 エンジニア 松山錬
- 3. ３章・４章の手法の問題点 ３章・４章で紹介された回帰及び分類では固定された基底関数の線形和を使っ ていた。その結果、入力空間の次元数が増えると基底関数の数は急増する 1.4の多項式フィッティングの例を参考に ! 次数をMとし(上記1.74では次数は３)入力空間の次元数をDとすると係数の数は ＿ に比例する。この例ではベキ乗（power law）の増加だが係数（基底関 数）を指数的に増やしていく必要がある場合も多い。 （p.35 1.74, p. 172を参照） これは訓練データ集合を観測する前に基底関数を固定するという仮定から生じ る次元の呪い
- 4. 訓練データに対しての適応 基底関数（の数）の急増を防ぐ為訓練データに応じて基底関数を適応する モデルを考える。 • SVM • 訓練データを中心に基底関数群を定義し、一部を訓練中に選ぶ（７章） • フィードフォワードニューラルネットワーク（当章5.1節） • 基底関数の数を事前に固定 • 基底関数をデータに適応し更新するパラメトリックなモデル • コンパクトである • 非凸最適化問題を解く事になる（反面） • 新規データを素早く処理できる
- 10. NNの基本的な構造 基底関数＝隠れユニット • 非線形関数にはシグモイ ド関数が選ばれる（tanh, logistic sigmoid) • これらの値の線形和 ＝出力ユニット • iの列 jの列 ! :出力の総数 :バイアスパラメータ 一層目と同様出力は活性化関数で変換される kの列
- 13. 万能近似器としてのNN(回帰) • フィードフォワードネットワークは非常に汎用性が高い（文献はp.230) • ２層NNで十分な数の隠れユニットがあればコンパクトな定義域におい てどんな連続関数でも任意の精度で近似できる。 • しかし重要なのは、適切なパラメータ値をどのように見つけるかである。 NN（２層、隠れユニット３個）の近似能力を示す例 青：データ点 赤：訓練されたNNの出力 破線：３個の隠れユニットの出力 f(x) = x^2 f(x) = sin(x) f(x) = |x| f(x) = H(x) step
- 23. ネットワーク訓練（K個の２クラス分類） 各活性化関数がロジスティックシグモイドであるK個の出力を持つNN を用いる。 • 入力が与えられた時の目標値の条件付き分布 ! ! ! 対応する尤度関数の負である誤差関数 ! ! ! は で表す ! Simard et al.(2003)がクラス分類問題では二乗和より交差エントロピー 誤差関数の方が訓練が早く、NNの汎化能力が高まることを見出し た。
- 29. パラメータ最適化 しかし を満たす解または勾配 が非常に小さくなる点は複数存在する。 これは誤差関数がパラメータの持つ依存性 に高い非線形性がある為。 ! 勾配がゼロになる点のことを停留点とよび 以下３種類に分けられる 極小点 (minima) 極大点 (maxima) 鞍点 (saddle point) ! 既に5.1.1でM個の隠れユニットを持つ２層NNの場合重み空間に置 ける各点は 個の等価な点の群の一つである事を示した。
- 36. 勾配情報の利用 後で逆伝播の手順で使われるが、勾配情報を利用する事によって極 小点を見つけるスピードは劇的に向上する。 ! 勾配情報を利用しない場合! bとHを合わせてW(W+3)/2個の独立な要素が含まれる Hは対象行列なので(W^2 - W)/2 + W + W = W(W+3)/2 ! 関数評価はO(W^2) ! それぞれの評価においてO(W)ステップが必要 ! 極小値を見つける為の計算量はO(W^3) !
- 39. 勾配降下最適化 (5.27)の重み更新量を負の勾配の方向に以下のようなステップで小さな 変位を選ぶ ! ! は学習率バラメータ • 新しい重みベクトルに付いての勾配の再評価を繰り返す ! • ここでは反復ステップに置いて全ての訓練集合の処理で を評価 する。このテクニックをバッチ訓練と呼ぶ。 ! • 各ステップで誤差関数の減少率が最大の方向に重みベクトルが動か される。勾配降下法(gradient descent method)や再急降下法 (steepest descent method)とも知られている。 ! • 直感的に合理的に見えるが、性能が悪い(Bishop and Nabney 2008)
- 40. 他の最適化法 勾配降下法とは異なる共役勾配法や準ニュートン方など重みベクトル が局所的極小点あるいは大域的最小点に到達してない限り反復毎に常 に誤差関数が減少する性質を持つ頑健かつ早いアルゴリズムもある。 ! 大規模なデータ集合を扱う場合勾配降下のオンライン版が実用上便利。 独立に得られた観測値に対する誤差関数を各データ点で評価し、その 和をとる ! ! 逐次的勾配降下法(sequential gradient descent)や確率的勾配降下法 (stochastic gradient descent)とも知られ、重みベクトルの更新を１回 毎に１つデータ点に基づいて作成する。 !
- 42. 誤差逆伝播 フィードフォワードNNについて、誤差関数E(w)の勾配を効率良く評価 するテクニック ! 誤差逆伝播(error backpropagation)による順向き、逆向きスキーム ! NN訓練の過程で各ステップ(逆向き)は２つのステージに分けられる。 1. 誤差関数の重みに関する微分の評価 2. 微分を用いて重みの調整量が計算される ! ステップ１では様々な誤差関数や微分の評価を用いる事が可能 ! 同様ステップ２の重み調整で様々な最適化スキームを組み合わせるこ とができる。
- 50. 誤差関数微分の評価 誤差逆伝播 ! ! ! 3.(5.56)を用いて を逆伝播させ、ネットワークの全ての隠れユニッ トの を得る! ! ! ! ! 4. (5.53)を用いて必要な微分を評価する
- 52. ご清聴ありがとうございました!