SlideShare a Scribd company logo
1 of 50
パターン認識と機械学習
第5章 ニューラルネットワーク




D2 大上 雅史
                  PRML輪講 2012/4/25
目次
第5章 ニューラルネットワーク
    5.1     フィードフォワードネットワーク関数
    5.2     ネットワーク訓練
    5.3     誤差逆伝播




                        http://www2.edu.ipa.go.jp/gz/a-cg/a-800/a-810/a-811.jpg

4/25/2012
ニューラルネットワーク
    脳機能に見られる特性をシミュレーションによって
    表現することを目指した数学モデル




            http://www.lab.kochi-tech.ac.jp/future/1110/okasaka/neural.htm



4/25/2012
線形モデルの復讐復習
    例:多項式曲線フィッティング




4/25/2012
線形モデルの復習
    一般形



    •   Áj(x) :基底関数
    •   Á0(x) = 1, w0はバイアス項


    多項式曲線フィッティングでは




4/25/2012
回帰問題とクラス分類問題
    回帰問題



    クラス分類問題




    •   f( )を非線形活性化関数という
    •   f( )の例:


4/25/2012
ニューラルネットワークの線形モデル
    線形和の重み係数wを訓練する
    基本的なニューラルネットワーク




4/25/2012
基本的なニューラルネットワーク
    入力変数(x1,…, xD)の線形和(活性)をつくる



    •   (1) は1層目          iの列   jの列   kの列
    •   wji : 重みパラメータ
    •   wj0 : バイアスパラメータ
    •   aj : 活性
    非線形活性化関数にとおす

    •   hは微分可能であるとする
4/25/2012
基本的なニューラルネットワーク
    計算したzの線形和(出力ユニット活性)を求める



    適当な活性化関数にとおす      iの列   jの列   kの列
    •   だいたいシグモイド関数




4/25/2012
基本的なニューラルネットワーク
    まとめ



    x0=1 として,




4/25/2012
複雑なネットワーク                    ≠複雑ネットワーク


    複雑なネットワークで,一般的な写像を表せる
    •   フィードフォワード構造(有向閉路がない)に限る




        K: kへの接続を持つ全てのユニット




4/25/2012
ネットワーク訓練
    ネットワークパラメータwを決める
    •   決め方→二乗和誤差の最小化
    定式化
    •   入力ベクトル
    •   目標ベクトル
    •   誤差関数




4/25/2012
ネットワーク訓練
    ネットワーク出力の確率的解釈が大事
    回帰問題として,実数値目標変数tを考える
    •   tは平均がxに依存するガウス分布に従う




    •   尤度関数




4/25/2012
復習:ガウス分布




i.i.d.データ   に対する対数尤度




4/25/2012
ネットワーク訓練
    誤差関数(負の対数尤度)




    •   ニューラルネットワークの研究では尤度最大化より
        誤差関数最小化の方が常套手段
    •   誤差関数を最小化して最尤推定解を求める
        (尤度最大化と等価である)


4/25/2012
ネットワーク訓練
    wを求める→E(w)の最小化



    •   y(xn,w)の非線形性により正確には局所解
    wMLが求まったらbは誤差関数最小化で求められる




    •                    をbで微分して0と置く

4/25/2012
ネットワーク訓練
    目標変数が複数(K個)の場合(t→t)
    •   条件付き確率が独立,ノイズの分散が共通であると仮定



    •   wML:尤度最大化→二乗和誤差関数の最小化
    証明




4/25/2012
ネットワーク訓練
    •   bは誤差関数最小化によって求められる




        • K は目標変数の数




4/25/2012
ネットワーク訓練
    2クラス分類問題の場合
    •   t=1がクラスC1,t=0がクラスC2
    •   ロジスティックシグモイド関数を活性化関数とする
    •   目標の条件付き分布(ベルヌーイ分布)




    •   誤差関数(負の対数尤度)



                          交差エントロピー誤差関数
4/25/2012
ネットワーク訓練
    K個の異なる2クラス分類問題の場合
    •   活性化関数・・・ロジスティックシグモイド関数
    •   K個の出力を持つネットワーク




    •   誤差関数(負の対数尤度)



                       交差エントロピー誤差関数

4/25/2012
ネットワーク訓練
    標準的なKクラス分類問題の場合
    •   1-of-K符号化法で表されるとする
    •   ネットワーク出力は
    •   誤差関数(負の対数尤度)




    •   出力ユニットの活性化関数はソフトマックス関数




4/25/2012
ネットワーク訓練
    まとめ
                 活性化関数           誤差関数

        回帰問題       線形             二乗和

    (独立な多数の)
               ロジスティックシグモイド     交差エントロピー
    2クラス分類問題

   多クラス分類問題      ソフトマックス      多クラス交差エントロピー

               ロジスティックシグモイド
    2クラス分類問題                    交差エントロピー
                 or ソフトマックス


4/25/2012
パラメータ最適化
    E(w)の最小化問題




4/25/2012
局所二次近似
    重み空間内の点 の周りでのE(w)の二次近似



    •         : 勾配

    •                : ヘッセ行列


        の近くでの勾配の局所近似(二次近似式の微分)



4/25/2012
局所二次近似
    極小点w*の周りで考えるとb=0


    (ヘッセ行列の)固有値問題
    •   固有方程式
    •   ヘッセ行列は実対称行列
        →固有ベクトルuは完全正規直交系を成す(p.318 付録C)


    •       を固有ベクトルの線形結合で表す


4/25/2012
局所二次近似
    以上を用いて誤差関数を書き換える




4/25/2012
行列の正定値性
    行列Aが正定値である⇔
    行列Aが正定値である⇔Aの全ての固有値が正
     証明




4/25/2012
誤差関数の等高線
    固有空間上の誤差関数の等高線は楕円となる




4/25/2012
誤差関数の等高線
    固有空間上の誤差関数の等高線は楕円となる
       証明




4/25/2012
局所二次近似
    ヘッセ行列Hの    での値が正定値
     ⇔  は極小点である

    証明⇒




   証明⇐




4/25/2012
勾配情報の利用
    誤差曲面はbとHで決定される

    •   bの独立なパラメータ数・・・W個 (Wはwの次元)
    •   Hの独立なパラメータ数・・・W(W+1)/2個

    •   極小点を求めるために必要な点の数 O(W2)
    •   極小点の評価に必要なステップ数 O(W)

            の評価でW個の情報が得られる
    •   勾配情報を用いれば

4/25/2012
勾配降下最適化(最急/勾配降下法)
    勾配降下法による重み最適化


    •   h :学習率パラメータ
    全データによる訓練→バッチ訓練
    •   勾配降下法より良い方法がある
        • 共役勾配法
        • 準ニュートン法
    1個ずつデータを使う訓練→オンライン訓練
    •   大規模データのときに便利


4/25/2012
確率的勾配降下法(オンライン版勾配降下法)
    確率的勾配降下法の誤差関数



    •       :各データ点についての誤差
    確率的勾配降下法の更新式


    •   hのスケジューリングが重要
    •   大域的最適解が得られるかも
        • Eの停留点は必ずしもEiの停留点ではないから


4/25/2012
バックプロパゲーション
    誤差逆伝播法(バックプロパゲーション)                  ×伝搬 ○伝播
                                         ×でんぱん ○でんぱ
    •   誤差関数の勾配を効率良く評価する方法

        wikipediaより
        1. ネットワークの出力と与えられたサンプルの最適解を比較する.
           各出力ユニットについて誤差を計算する.
        2. 個々のユニットの期待される出力値と重み,
           要求された出力と実際の出力の差(誤差)を計算する.
        3. 各ユニットの重みを誤差が小さくなるよう調整する.
        4. より大きな重みで接続された前層のユニットに誤差の責任があると決める.
        5. そのユニットのさらに前層のユニットついて同様の処理を行う

             バックプロパゲーション
             伝言ゲームにおいて,最後の人から逆方向に「元々はどういう言葉だったの?」
             と伝言することで誤りを修正するアルゴリズム.(朱鷺の社より)

4/25/2012
誤差関数微分の評価
    単純な線形モデルで考える
    •   出力ykが入力変数xiの線形和

    •   誤差関数              ※


    入力パターンnの誤差関数の重みに関する勾配



    •   接続i-jの出力側の誤差信号と入力側の変数の積の形


4/25/2012
誤差関数の偏微分の計算
    計算(添字に注意,(n)に意味はないが補足的に)




4/25/2012
バックプロパゲーション
    一般のフィードフォワードネットワークの場合
    •   ユニットの出力



    •   微分する(添字nを省略)



                          :誤差
    •   正準連結関数を活性化関数に用いた出力ユニットでは


4/25/2012
復習:正準連結関数
    一般化線形モデル


    •       :活性化関数
    •       :連結関数

    正準連結関数
    • 条件付き確率分布を指数型分布族から選ぶ
    • 活性化関数を正準連結関数から選ぶ
    →誤差関数の微分が誤差(yn-tn)と特徴ベクトルjの積になる


4/25/2012
バックプロパゲーション
    隠れユニットの誤差



    逆伝播公式




4/25/2012
バックプロパゲーション
    まとめ(誤差逆伝播)
    1. 入力ベクトルxnを入れ,全てのユニットの出力を求める
                             (順伝播)

    2. 全ての出力ユニットの誤差 dk を評価する

    3.      dk を逆伝播させて全ての隠れユニットの誤差 dj を得る


    4. 必要な微分を評価する



4/25/2012
バックプロパゲーション
    補足
    •    バッチ手法の場合
        →全体の誤差関数の微分は全てのパターンの総和




    •    ユニットごとに活性化関数が違う場合
        →特に変わらない
         (ユニットごとのhを用いて計算すれば良い)



4/25/2012
バックプロパゲーションの計算例
    逆伝播手続きの単純な例
    •   2層ネットワーク
    •   誤差関数:二乗和誤差関数



    •   出力ユニットの活性化関数:線形

    •   隠れユニットの活性化関数:シグモイド型




4/25/2012
tanh関数の性質
    定義

    微分




4/25/2012
バックプロパゲーションの計算例
1. 全てのユニットの出力を求める




2. 出力ユニットのdkを計算する




4/25/2012
バックプロパゲーションの計算例
3. dk を逆伝播させて隠れユニットの誤差 dj を求める



4. 誤差関数の微分を得る




4/25/2012
バックプロパゲーションの効率
    順伝播の計算量・・・
    •         の計算量

    •   結合が非常に疎である場合を除くと 重み数≫ユニット数
    •   逆伝播も同様




4/25/2012
誤差関数の数値微分
    数値微分(有限幅差分)の利用
    •   前進差分(前方差分)



    •   中央差分(中心差分)
        • 誤差項が小さくなるが,前進差分の倍くらいの計算量が必要



    数値微分は計算量が
    •   逆伝播公式の結果の正当性を数値微分で確認する,など


4/25/2012
数値微分の誤差の評価
    前進差分
    •   誤差の評価




    中央差分
    •   誤差の評価




4/25/2012
バックプロパゲーションの応用
    ヤコビ行列の評価を逆伝播で計算する



    モジュール型パターン認識システムを考える
    •   誤差関数の微分



                  ヤコビ行列




4/25/2012
ヤコビ行列のバックプロパゲーション
    ヤコビ行列の要素を変形


    微分を計算


    出力ユニット
    •   シグモイド活性化関数

    •   ソフトマックス関数

4/25/2012

More Related Content

What's hot

PRML輪読#3
PRML輪読#3PRML輪読#3
PRML輪読#3matsuolab
 
PRML上巻勉強会 at 東京大学 資料 第5章5.1 〜 5.3.1
PRML上巻勉強会 at 東京大学 資料 第5章5.1 〜 5.3.1PRML上巻勉強会 at 東京大学 資料 第5章5.1 〜 5.3.1
PRML上巻勉強会 at 東京大学 資料 第5章5.1 〜 5.3.1Len Matsuyama
 
2014.02.20_5章ニューラルネットワーク
2014.02.20_5章ニューラルネットワーク2014.02.20_5章ニューラルネットワーク
2014.02.20_5章ニューラルネットワークTakeshi Sakaki
 
PRML第6章「カーネル法」
PRML第6章「カーネル法」PRML第6章「カーネル法」
PRML第6章「カーネル法」Keisuke Sugawara
 
Prml3.5 エビデンス近似〜
Prml3.5 エビデンス近似〜Prml3.5 エビデンス近似〜
Prml3.5 エビデンス近似〜Yuki Matsubara
 
[PRML] パターン認識と機械学習(第3章:線形回帰モデル)
[PRML] パターン認識と機械学習(第3章:線形回帰モデル)[PRML] パターン認識と機械学習(第3章:線形回帰モデル)
[PRML] パターン認識と機械学習(第3章:線形回帰モデル)Ryosuke Sasaki
 
PRML 5.2.1-5.3.3 ニューラルネットワークの学習 (誤差逆伝播) / Training Neural Networks (Backpropa...
PRML 5.2.1-5.3.3 ニューラルネットワークの学習 (誤差逆伝播) / Training Neural Networks (Backpropa...PRML 5.2.1-5.3.3 ニューラルネットワークの学習 (誤差逆伝播) / Training Neural Networks (Backpropa...
PRML 5.2.1-5.3.3 ニューラルネットワークの学習 (誤差逆伝播) / Training Neural Networks (Backpropa...Akihiro Nitta
 
PRML輪読#2
PRML輪読#2PRML輪読#2
PRML輪読#2matsuolab
 
PRMLの線形回帰モデル(線形基底関数モデル)
PRMLの線形回帰モデル(線形基底関数モデル)PRMLの線形回帰モデル(線形基底関数モデル)
PRMLの線形回帰モデル(線形基底関数モデル)Yasunori Ozaki
 
PRML輪読#6
PRML輪読#6PRML輪読#6
PRML輪読#6matsuolab
 
PRML読書会#4資料+補足
PRML読書会#4資料+補足PRML読書会#4資料+補足
PRML読書会#4資料+補足Hiromasa Ohashi
 
PRML上巻勉強会 at 東京大学 資料 第1章前半
PRML上巻勉強会 at 東京大学 資料 第1章前半PRML上巻勉強会 at 東京大学 資料 第1章前半
PRML上巻勉強会 at 東京大学 資料 第1章前半Ohsawa Goodfellow
 
PRML輪読#7
PRML輪読#7PRML輪読#7
PRML輪読#7matsuolab
 
PRML輪読#14
PRML輪読#14PRML輪読#14
PRML輪読#14matsuolab
 
PRML 3.5.2, 3.5.3, 3.6
PRML 3.5.2, 3.5.3, 3.6PRML 3.5.2, 3.5.3, 3.6
PRML 3.5.2, 3.5.3, 3.6Kohei Tomita
 
パターン認識と機械学習(PRML)第2章 確率分布 2.3 ガウス分布
パターン認識と機械学習(PRML)第2章 確率分布 2.3 ガウス分布パターン認識と機械学習(PRML)第2章 確率分布 2.3 ガウス分布
パターン認識と機械学習(PRML)第2章 確率分布 2.3 ガウス分布Nagayoshi Yamashita
 

What's hot (20)

W8PRML5.1-5.3
W8PRML5.1-5.3W8PRML5.1-5.3
W8PRML5.1-5.3
 
PRML chapter5
PRML chapter5PRML chapter5
PRML chapter5
 
PRML輪読#3
PRML輪読#3PRML輪読#3
PRML輪読#3
 
PRML上巻勉強会 at 東京大学 資料 第5章5.1 〜 5.3.1
PRML上巻勉強会 at 東京大学 資料 第5章5.1 〜 5.3.1PRML上巻勉強会 at 東京大学 資料 第5章5.1 〜 5.3.1
PRML上巻勉強会 at 東京大学 資料 第5章5.1 〜 5.3.1
 
2014.02.20_5章ニューラルネットワーク
2014.02.20_5章ニューラルネットワーク2014.02.20_5章ニューラルネットワーク
2014.02.20_5章ニューラルネットワーク
 
PRML第6章「カーネル法」
PRML第6章「カーネル法」PRML第6章「カーネル法」
PRML第6章「カーネル法」
 
Prml3.5 エビデンス近似〜
Prml3.5 エビデンス近似〜Prml3.5 エビデンス近似〜
Prml3.5 エビデンス近似〜
 
[PRML] パターン認識と機械学習(第3章:線形回帰モデル)
[PRML] パターン認識と機械学習(第3章:線形回帰モデル)[PRML] パターン認識と機械学習(第3章:線形回帰モデル)
[PRML] パターン認識と機械学習(第3章:線形回帰モデル)
 
PRML 5.2.1-5.3.3 ニューラルネットワークの学習 (誤差逆伝播) / Training Neural Networks (Backpropa...
PRML 5.2.1-5.3.3 ニューラルネットワークの学習 (誤差逆伝播) / Training Neural Networks (Backpropa...PRML 5.2.1-5.3.3 ニューラルネットワークの学習 (誤差逆伝播) / Training Neural Networks (Backpropa...
PRML 5.2.1-5.3.3 ニューラルネットワークの学習 (誤差逆伝播) / Training Neural Networks (Backpropa...
 
PRML輪読#2
PRML輪読#2PRML輪読#2
PRML輪読#2
 
PRML第3章_3.3-3.4
PRML第3章_3.3-3.4PRML第3章_3.3-3.4
PRML第3章_3.3-3.4
 
PRMLの線形回帰モデル(線形基底関数モデル)
PRMLの線形回帰モデル(線形基底関数モデル)PRMLの線形回帰モデル(線形基底関数モデル)
PRMLの線形回帰モデル(線形基底関数モデル)
 
PRML輪読#6
PRML輪読#6PRML輪読#6
PRML輪読#6
 
PRML読書会#4資料+補足
PRML読書会#4資料+補足PRML読書会#4資料+補足
PRML読書会#4資料+補足
 
PRML上巻勉強会 at 東京大学 資料 第1章前半
PRML上巻勉強会 at 東京大学 資料 第1章前半PRML上巻勉強会 at 東京大学 資料 第1章前半
PRML上巻勉強会 at 東京大学 資料 第1章前半
 
Prml 1.3~1.6 ver3
Prml 1.3~1.6 ver3Prml 1.3~1.6 ver3
Prml 1.3~1.6 ver3
 
PRML輪読#7
PRML輪読#7PRML輪読#7
PRML輪読#7
 
PRML輪読#14
PRML輪読#14PRML輪読#14
PRML輪読#14
 
PRML 3.5.2, 3.5.3, 3.6
PRML 3.5.2, 3.5.3, 3.6PRML 3.5.2, 3.5.3, 3.6
PRML 3.5.2, 3.5.3, 3.6
 
パターン認識と機械学習(PRML)第2章 確率分布 2.3 ガウス分布
パターン認識と機械学習(PRML)第2章 確率分布 2.3 ガウス分布パターン認識と機械学習(PRML)第2章 確率分布 2.3 ガウス分布
パターン認識と機械学習(PRML)第2章 確率分布 2.3 ガウス分布
 

Viewers also liked

機械学習におけるオンライン確率的最適化の理論
機械学習におけるオンライン確率的最適化の理論機械学習におけるオンライン確率的最適化の理論
機械学習におけるオンライン確率的最適化の理論Taiji Suzuki
 
顕著性マップの推定手法
顕著性マップの推定手法顕著性マップの推定手法
顕著性マップの推定手法Takao Yamanaka
 
日本最大の即レスサービス「アンサー」を支える Amazon DynamoDB
日本最大の即レスサービス「アンサー」を支える Amazon DynamoDB日本最大の即レスサービス「アンサー」を支える Amazon DynamoDB
日本最大の即レスサービス「アンサー」を支える Amazon DynamoDBMasahiro Akita
 
高速な物体候補領域提案手法 (Fast Object Proposal Methods)
高速な物体候補領域提案手法 (Fast Object Proposal Methods)高速な物体候補領域提案手法 (Fast Object Proposal Methods)
高速な物体候補領域提案手法 (Fast Object Proposal Methods)Takao Yamanaka
 
いまさら聞けない機械学習の評価指標
いまさら聞けない機械学習の評価指標いまさら聞けない機械学習の評価指標
いまさら聞けない機械学習の評価指標圭輔 大曽根
 
SSD: Single Shot MultiBox Detector (ECCV2016)
SSD: Single Shot MultiBox Detector (ECCV2016)SSD: Single Shot MultiBox Detector (ECCV2016)
SSD: Single Shot MultiBox Detector (ECCV2016)Takanori Ogata
 

Viewers also liked (6)

機械学習におけるオンライン確率的最適化の理論
機械学習におけるオンライン確率的最適化の理論機械学習におけるオンライン確率的最適化の理論
機械学習におけるオンライン確率的最適化の理論
 
顕著性マップの推定手法
顕著性マップの推定手法顕著性マップの推定手法
顕著性マップの推定手法
 
日本最大の即レスサービス「アンサー」を支える Amazon DynamoDB
日本最大の即レスサービス「アンサー」を支える Amazon DynamoDB日本最大の即レスサービス「アンサー」を支える Amazon DynamoDB
日本最大の即レスサービス「アンサー」を支える Amazon DynamoDB
 
高速な物体候補領域提案手法 (Fast Object Proposal Methods)
高速な物体候補領域提案手法 (Fast Object Proposal Methods)高速な物体候補領域提案手法 (Fast Object Proposal Methods)
高速な物体候補領域提案手法 (Fast Object Proposal Methods)
 
いまさら聞けない機械学習の評価指標
いまさら聞けない機械学習の評価指標いまさら聞けない機械学習の評価指標
いまさら聞けない機械学習の評価指標
 
SSD: Single Shot MultiBox Detector (ECCV2016)
SSD: Single Shot MultiBox Detector (ECCV2016)SSD: Single Shot MultiBox Detector (ECCV2016)
SSD: Single Shot MultiBox Detector (ECCV2016)
 

Similar to PRML Chapter 5

PRML復々習レーン#7 前回までのあらすじ
PRML復々習レーン#7 前回までのあらすじPRML復々習レーン#7 前回までのあらすじ
PRML復々習レーン#7 前回までのあらすじsleepy_yoshi
 
Prml5 6
Prml5 6Prml5 6
Prml5 6K5_sem
 
PRML Chapter 5 (5.0-5.4)
PRML Chapter 5 (5.0-5.4)PRML Chapter 5 (5.0-5.4)
PRML Chapter 5 (5.0-5.4)Shogo Nakamura
 
Prml Reading Group 10 8.3
Prml Reading Group 10 8.3Prml Reading Group 10 8.3
Prml Reading Group 10 8.3正志 坪坂
 
文献紹介:Learning Video Stabilization Using Optical Flow
文献紹介:Learning Video Stabilization Using Optical Flow文献紹介:Learning Video Stabilization Using Optical Flow
文献紹介:Learning Video Stabilization Using Optical FlowToru Tamaki
 
【学会発表】LDAにおけるベイズ汎化誤差の厳密な漸近形【IBIS2020】
【学会発表】LDAにおけるベイズ汎化誤差の厳密な漸近形【IBIS2020】【学会発表】LDAにおけるベイズ汎化誤差の厳密な漸近形【IBIS2020】
【学会発表】LDAにおけるベイズ汎化誤差の厳密な漸近形【IBIS2020】Naoki Hayashi
 
【招待講演】パラメータ制約付き行列分解のベイズ汎化誤差解析【StatsML若手シンポ2020】
【招待講演】パラメータ制約付き行列分解のベイズ汎化誤差解析【StatsML若手シンポ2020】【招待講演】パラメータ制約付き行列分解のベイズ汎化誤差解析【StatsML若手シンポ2020】
【招待講演】パラメータ制約付き行列分解のベイズ汎化誤差解析【StatsML若手シンポ2020】Naoki Hayashi
 
CMSI計算科学技術特論B(5) アプリケーションの性能最適化の実例2
CMSI計算科学技術特論B(5) アプリケーションの性能最適化の実例2CMSI計算科学技術特論B(5) アプリケーションの性能最適化の実例2
CMSI計算科学技術特論B(5) アプリケーションの性能最適化の実例2Computational Materials Science Initiative
 
第14回 配信講義 計算科学技術特論B(2022)
第14回 配信講義 計算科学技術特論B(2022)第14回 配信講義 計算科学技術特論B(2022)
第14回 配信講義 計算科学技術特論B(2022)RCCSRENKEI
 
JSAI 2021 4G2-GS-2k-05 斉次応答性活性化関数 Yamatani Activation と 単一画像超解像への応用
JSAI 2021 4G2-GS-2k-05 斉次応答性活性化関数 Yamatani Activation と 単一画像超解像への応用JSAI 2021 4G2-GS-2k-05 斉次応答性活性化関数 Yamatani Activation と 単一画像超解像への応用
JSAI 2021 4G2-GS-2k-05 斉次応答性活性化関数 Yamatani Activation と 単一画像超解像への応用Takuma Yoshimura
 
[DL輪読会]GQNと関連研究,世界モデルとの関係について
[DL輪読会]GQNと関連研究,世界モデルとの関係について[DL輪読会]GQNと関連研究,世界モデルとの関係について
[DL輪読会]GQNと関連研究,世界モデルとの関係についてDeep Learning JP
 
(文献紹介)深層学習による動被写体ロバストなカメラの動き推定
(文献紹介)深層学習による動被写体ロバストなカメラの動き推定(文献紹介)深層学習による動被写体ロバストなカメラの動き推定
(文献紹介)深層学習による動被写体ロバストなカメラの動き推定Morpho, Inc.
 
Tokyo r12 - R言語による回帰分析入門
Tokyo r12 - R言語による回帰分析入門Tokyo r12 - R言語による回帰分析入門
Tokyo r12 - R言語による回帰分析入門Yohei Sato
 
Deep learning実装の基礎と実践
Deep learning実装の基礎と実践Deep learning実装の基礎と実践
Deep learning実装の基礎と実践Seiya Tokui
 
誤差逆伝播法の計算(ディープラーニング)
誤差逆伝播法の計算(ディープラーニング)誤差逆伝播法の計算(ディープラーニング)
誤差逆伝播法の計算(ディープラーニング)t dev
 

Similar to PRML Chapter 5 (20)

PRML復々習レーン#7 前回までのあらすじ
PRML復々習レーン#7 前回までのあらすじPRML復々習レーン#7 前回までのあらすじ
PRML復々習レーン#7 前回までのあらすじ
 
Prml5 6
Prml5 6Prml5 6
Prml5 6
 
PRML5
PRML5PRML5
PRML5
 
PRML Chapter 5 (5.0-5.4)
PRML Chapter 5 (5.0-5.4)PRML Chapter 5 (5.0-5.4)
PRML Chapter 5 (5.0-5.4)
 
PRML_from5.1to5.3.1
PRML_from5.1to5.3.1PRML_from5.1to5.3.1
PRML_from5.1to5.3.1
 
PRML Chapter 14
PRML Chapter 14PRML Chapter 14
PRML Chapter 14
 
Prml Reading Group 10 8.3
Prml Reading Group 10 8.3Prml Reading Group 10 8.3
Prml Reading Group 10 8.3
 
文献紹介:Learning Video Stabilization Using Optical Flow
文献紹介:Learning Video Stabilization Using Optical Flow文献紹介:Learning Video Stabilization Using Optical Flow
文献紹介:Learning Video Stabilization Using Optical Flow
 
【学会発表】LDAにおけるベイズ汎化誤差の厳密な漸近形【IBIS2020】
【学会発表】LDAにおけるベイズ汎化誤差の厳密な漸近形【IBIS2020】【学会発表】LDAにおけるベイズ汎化誤差の厳密な漸近形【IBIS2020】
【学会発表】LDAにおけるベイズ汎化誤差の厳密な漸近形【IBIS2020】
 
【招待講演】パラメータ制約付き行列分解のベイズ汎化誤差解析【StatsML若手シンポ2020】
【招待講演】パラメータ制約付き行列分解のベイズ汎化誤差解析【StatsML若手シンポ2020】【招待講演】パラメータ制約付き行列分解のベイズ汎化誤差解析【StatsML若手シンポ2020】
【招待講演】パラメータ制約付き行列分解のベイズ汎化誤差解析【StatsML若手シンポ2020】
 
CMSI計算科学技術特論B(5) アプリケーションの性能最適化の実例2
CMSI計算科学技術特論B(5) アプリケーションの性能最適化の実例2CMSI計算科学技術特論B(5) アプリケーションの性能最適化の実例2
CMSI計算科学技術特論B(5) アプリケーションの性能最適化の実例2
 
第14回 配信講義 計算科学技術特論B(2022)
第14回 配信講義 計算科学技術特論B(2022)第14回 配信講義 計算科学技術特論B(2022)
第14回 配信講義 計算科学技術特論B(2022)
 
JSAI 2021 4G2-GS-2k-05 斉次応答性活性化関数 Yamatani Activation と 単一画像超解像への応用
JSAI 2021 4G2-GS-2k-05 斉次応答性活性化関数 Yamatani Activation と 単一画像超解像への応用JSAI 2021 4G2-GS-2k-05 斉次応答性活性化関数 Yamatani Activation と 単一画像超解像への応用
JSAI 2021 4G2-GS-2k-05 斉次応答性活性化関数 Yamatani Activation と 単一画像超解像への応用
 
[DL輪読会]GQNと関連研究,世界モデルとの関係について
[DL輪読会]GQNと関連研究,世界モデルとの関係について[DL輪読会]GQNと関連研究,世界モデルとの関係について
[DL輪読会]GQNと関連研究,世界モデルとの関係について
 
(文献紹介)深層学習による動被写体ロバストなカメラの動き推定
(文献紹介)深層学習による動被写体ロバストなカメラの動き推定(文献紹介)深層学習による動被写体ロバストなカメラの動き推定
(文献紹介)深層学習による動被写体ロバストなカメラの動き推定
 
Tokyo r12 - R言語による回帰分析入門
Tokyo r12 - R言語による回帰分析入門Tokyo r12 - R言語による回帰分析入門
Tokyo r12 - R言語による回帰分析入門
 
レポート1
レポート1レポート1
レポート1
 
Deep learning実装の基礎と実践
Deep learning実装の基礎と実践Deep learning実装の基礎と実践
Deep learning実装の基礎と実践
 
誤差逆伝播法の計算(ディープラーニング)
誤差逆伝播法の計算(ディープラーニング)誤差逆伝播法の計算(ディープラーニング)
誤差逆伝播法の計算(ディープラーニング)
 
Sakashita
SakashitaSakashita
Sakashita
 

More from Masahito Ohue

学振特別研究員になるために~2024年度申請版
 学振特別研究員になるために~2024年度申請版 学振特別研究員になるために~2024年度申請版
学振特別研究員になるために~2024年度申請版Masahito Ohue
 
学振特別研究員になるために~2023年度申請版
学振特別研究員になるために~2023年度申請版学振特別研究員になるために~2023年度申請版
学振特別研究員になるために~2023年度申請版Masahito Ohue
 
学振特別研究員になるために~2022年度申請版
学振特別研究員になるために~2022年度申請版学振特別研究員になるために~2022年度申請版
学振特別研究員になるために~2022年度申請版Masahito Ohue
 
第43回分子生物学会年会フォーラム2F-11「インシリコ創薬を支える最先端情報科学」から抜粋したAlphaFold2の話
第43回分子生物学会年会フォーラム2F-11「インシリコ創薬を支える最先端情報科学」から抜粋したAlphaFold2の話第43回分子生物学会年会フォーラム2F-11「インシリコ創薬を支える最先端情報科学」から抜粋したAlphaFold2の話
第43回分子生物学会年会フォーラム2F-11「インシリコ創薬を支える最先端情報科学」から抜粋したAlphaFold2の話Masahito Ohue
 
Learning-to-rank for ligand-based virtual screening
Learning-to-rank for ligand-based virtual screeningLearning-to-rank for ligand-based virtual screening
Learning-to-rank for ligand-based virtual screeningMasahito Ohue
 
Parallelized pipeline for whole genome shotgun metagenomics with GHOSTZ-GPU a...
Parallelized pipeline for whole genome shotgun metagenomics with GHOSTZ-GPU a...Parallelized pipeline for whole genome shotgun metagenomics with GHOSTZ-GPU a...
Parallelized pipeline for whole genome shotgun metagenomics with GHOSTZ-GPU a...Masahito Ohue
 
Molecular Activity Prediction Using Graph Convolutional Deep Neural Network C...
Molecular Activity Prediction Using Graph Convolutional Deep Neural Network C...Molecular Activity Prediction Using Graph Convolutional Deep Neural Network C...
Molecular Activity Prediction Using Graph Convolutional Deep Neural Network C...Masahito Ohue
 
学振特別研究員になるために~2020年度申請版
学振特別研究員になるために~2020年度申請版学振特別研究員になるために~2020年度申請版
学振特別研究員になるために~2020年度申請版Masahito Ohue
 
出会い系タンパク質を探す旅
出会い系タンパク質を探す旅出会い系タンパク質を探す旅
出会い系タンパク質を探す旅Masahito Ohue
 
学振特別研究員になるために~2019年度申請版
学振特別研究員になるために~2019年度申請版学振特別研究員になるために~2019年度申請版
学振特別研究員になるために~2019年度申請版Masahito Ohue
 
Link Mining for Kernel-based Compound-Protein Interaction Predictions Using a...
Link Mining for Kernel-based Compound-Protein Interaction Predictions Using a...Link Mining for Kernel-based Compound-Protein Interaction Predictions Using a...
Link Mining for Kernel-based Compound-Protein Interaction Predictions Using a...Masahito Ohue
 
目バーチャルスクリーニング
目バーチャルスクリーニング目バーチャルスクリーニング
目バーチャルスクリーニングMasahito Ohue
 
Microsoft Azure上でのタンパク質間相互作用予測システムの並列計算と性能評価
Microsoft Azure上でのタンパク質間相互作用予測システムの並列計算と性能評価Microsoft Azure上でのタンパク質間相互作用予測システムの並列計算と性能評価
Microsoft Azure上でのタンパク質間相互作用予測システムの並列計算と性能評価Masahito Ohue
 
学振特別研究員になるために~2018年度申請版
学振特別研究員になるために~2018年度申請版学振特別研究員になるために~2018年度申請版
学振特別研究員になるために~2018年度申請版Masahito Ohue
 
計算で明らかにするタンパク質の出会いとネットワーク(FIT2016 助教が吼えるセッション)
計算で明らかにするタンパク質の出会いとネットワーク(FIT2016 助教が吼えるセッション)計算で明らかにするタンパク質の出会いとネットワーク(FIT2016 助教が吼えるセッション)
計算で明らかにするタンパク質の出会いとネットワーク(FIT2016 助教が吼えるセッション)Masahito Ohue
 
Finding correct protein–protein docking models using ProQDock (ISMB2016読み会, 大上)
Finding correct protein–protein docking models using ProQDock (ISMB2016読み会, 大上)Finding correct protein–protein docking models using ProQDock (ISMB2016読み会, 大上)
Finding correct protein–protein docking models using ProQDock (ISMB2016読み会, 大上)Masahito Ohue
 
学振特別研究員になるために~知っておくべき10のTips~[平成29年度申請版]
学振特別研究員になるために~知っておくべき10のTips~[平成29年度申請版]学振特別研究員になるために~知っておくべき10のTips~[平成29年度申請版]
学振特別研究員になるために~知っておくべき10のTips~[平成29年度申請版]Masahito Ohue
 
ISMB/ECCB2015読み会:大上
ISMB/ECCB2015読み会:大上ISMB/ECCB2015読み会:大上
ISMB/ECCB2015読み会:大上Masahito Ohue
 
学振特別研究員になるために~知っておくべき10のTips~[平成28年度申請版]
学振特別研究員になるために~知っておくべき10のTips~[平成28年度申請版]学振特別研究員になるために~知っておくべき10のTips~[平成28年度申請版]
学振特別研究員になるために~知っておくべき10のTips~[平成28年度申請版]Masahito Ohue
 
IIBMP2014 Lightning Talk - MEGADOCK 4.0
IIBMP2014 Lightning Talk - MEGADOCK 4.0IIBMP2014 Lightning Talk - MEGADOCK 4.0
IIBMP2014 Lightning Talk - MEGADOCK 4.0Masahito Ohue
 

More from Masahito Ohue (20)

学振特別研究員になるために~2024年度申請版
 学振特別研究員になるために~2024年度申請版 学振特別研究員になるために~2024年度申請版
学振特別研究員になるために~2024年度申請版
 
学振特別研究員になるために~2023年度申請版
学振特別研究員になるために~2023年度申請版学振特別研究員になるために~2023年度申請版
学振特別研究員になるために~2023年度申請版
 
学振特別研究員になるために~2022年度申請版
学振特別研究員になるために~2022年度申請版学振特別研究員になるために~2022年度申請版
学振特別研究員になるために~2022年度申請版
 
第43回分子生物学会年会フォーラム2F-11「インシリコ創薬を支える最先端情報科学」から抜粋したAlphaFold2の話
第43回分子生物学会年会フォーラム2F-11「インシリコ創薬を支える最先端情報科学」から抜粋したAlphaFold2の話第43回分子生物学会年会フォーラム2F-11「インシリコ創薬を支える最先端情報科学」から抜粋したAlphaFold2の話
第43回分子生物学会年会フォーラム2F-11「インシリコ創薬を支える最先端情報科学」から抜粋したAlphaFold2の話
 
Learning-to-rank for ligand-based virtual screening
Learning-to-rank for ligand-based virtual screeningLearning-to-rank for ligand-based virtual screening
Learning-to-rank for ligand-based virtual screening
 
Parallelized pipeline for whole genome shotgun metagenomics with GHOSTZ-GPU a...
Parallelized pipeline for whole genome shotgun metagenomics with GHOSTZ-GPU a...Parallelized pipeline for whole genome shotgun metagenomics with GHOSTZ-GPU a...
Parallelized pipeline for whole genome shotgun metagenomics with GHOSTZ-GPU a...
 
Molecular Activity Prediction Using Graph Convolutional Deep Neural Network C...
Molecular Activity Prediction Using Graph Convolutional Deep Neural Network C...Molecular Activity Prediction Using Graph Convolutional Deep Neural Network C...
Molecular Activity Prediction Using Graph Convolutional Deep Neural Network C...
 
学振特別研究員になるために~2020年度申請版
学振特別研究員になるために~2020年度申請版学振特別研究員になるために~2020年度申請版
学振特別研究員になるために~2020年度申請版
 
出会い系タンパク質を探す旅
出会い系タンパク質を探す旅出会い系タンパク質を探す旅
出会い系タンパク質を探す旅
 
学振特別研究員になるために~2019年度申請版
学振特別研究員になるために~2019年度申請版学振特別研究員になるために~2019年度申請版
学振特別研究員になるために~2019年度申請版
 
Link Mining for Kernel-based Compound-Protein Interaction Predictions Using a...
Link Mining for Kernel-based Compound-Protein Interaction Predictions Using a...Link Mining for Kernel-based Compound-Protein Interaction Predictions Using a...
Link Mining for Kernel-based Compound-Protein Interaction Predictions Using a...
 
目バーチャルスクリーニング
目バーチャルスクリーニング目バーチャルスクリーニング
目バーチャルスクリーニング
 
Microsoft Azure上でのタンパク質間相互作用予測システムの並列計算と性能評価
Microsoft Azure上でのタンパク質間相互作用予測システムの並列計算と性能評価Microsoft Azure上でのタンパク質間相互作用予測システムの並列計算と性能評価
Microsoft Azure上でのタンパク質間相互作用予測システムの並列計算と性能評価
 
学振特別研究員になるために~2018年度申請版
学振特別研究員になるために~2018年度申請版学振特別研究員になるために~2018年度申請版
学振特別研究員になるために~2018年度申請版
 
計算で明らかにするタンパク質の出会いとネットワーク(FIT2016 助教が吼えるセッション)
計算で明らかにするタンパク質の出会いとネットワーク(FIT2016 助教が吼えるセッション)計算で明らかにするタンパク質の出会いとネットワーク(FIT2016 助教が吼えるセッション)
計算で明らかにするタンパク質の出会いとネットワーク(FIT2016 助教が吼えるセッション)
 
Finding correct protein–protein docking models using ProQDock (ISMB2016読み会, 大上)
Finding correct protein–protein docking models using ProQDock (ISMB2016読み会, 大上)Finding correct protein–protein docking models using ProQDock (ISMB2016読み会, 大上)
Finding correct protein–protein docking models using ProQDock (ISMB2016読み会, 大上)
 
学振特別研究員になるために~知っておくべき10のTips~[平成29年度申請版]
学振特別研究員になるために~知っておくべき10のTips~[平成29年度申請版]学振特別研究員になるために~知っておくべき10のTips~[平成29年度申請版]
学振特別研究員になるために~知っておくべき10のTips~[平成29年度申請版]
 
ISMB/ECCB2015読み会:大上
ISMB/ECCB2015読み会:大上ISMB/ECCB2015読み会:大上
ISMB/ECCB2015読み会:大上
 
学振特別研究員になるために~知っておくべき10のTips~[平成28年度申請版]
学振特別研究員になるために~知っておくべき10のTips~[平成28年度申請版]学振特別研究員になるために~知っておくべき10のTips~[平成28年度申請版]
学振特別研究員になるために~知っておくべき10のTips~[平成28年度申請版]
 
IIBMP2014 Lightning Talk - MEGADOCK 4.0
IIBMP2014 Lightning Talk - MEGADOCK 4.0IIBMP2014 Lightning Talk - MEGADOCK 4.0
IIBMP2014 Lightning Talk - MEGADOCK 4.0
 

PRML Chapter 5

  • 2. 目次 第5章 ニューラルネットワーク 5.1 フィードフォワードネットワーク関数 5.2 ネットワーク訓練 5.3 誤差逆伝播 http://www2.edu.ipa.go.jp/gz/a-cg/a-800/a-810/a-811.jpg 4/25/2012
  • 3. ニューラルネットワーク 脳機能に見られる特性をシミュレーションによって 表現することを目指した数学モデル http://www.lab.kochi-tech.ac.jp/future/1110/okasaka/neural.htm 4/25/2012
  • 4. 線形モデルの復讐復習 例:多項式曲線フィッティング 4/25/2012
  • 5. 線形モデルの復習 一般形 • Áj(x) :基底関数 • Á0(x) = 1, w0はバイアス項 多項式曲線フィッティングでは 4/25/2012
  • 6. 回帰問題とクラス分類問題 回帰問題 クラス分類問題 • f( )を非線形活性化関数という • f( )の例: 4/25/2012
  • 7. ニューラルネットワークの線形モデル 線形和の重み係数wを訓練する 基本的なニューラルネットワーク 4/25/2012
  • 8. 基本的なニューラルネットワーク 入力変数(x1,…, xD)の線形和(活性)をつくる • (1) は1層目 iの列 jの列 kの列 • wji : 重みパラメータ • wj0 : バイアスパラメータ • aj : 活性 非線形活性化関数にとおす • hは微分可能であるとする 4/25/2012
  • 9. 基本的なニューラルネットワーク 計算したzの線形和(出力ユニット活性)を求める 適当な活性化関数にとおす iの列 jの列 kの列 • だいたいシグモイド関数 4/25/2012
  • 10. 基本的なニューラルネットワーク まとめ x0=1 として, 4/25/2012
  • 11. 複雑なネットワーク ≠複雑ネットワーク 複雑なネットワークで,一般的な写像を表せる • フィードフォワード構造(有向閉路がない)に限る K: kへの接続を持つ全てのユニット 4/25/2012
  • 12. ネットワーク訓練 ネットワークパラメータwを決める • 決め方→二乗和誤差の最小化 定式化 • 入力ベクトル • 目標ベクトル • 誤差関数 4/25/2012
  • 13. ネットワーク訓練 ネットワーク出力の確率的解釈が大事 回帰問題として,実数値目標変数tを考える • tは平均がxに依存するガウス分布に従う • 尤度関数 4/25/2012
  • 14. 復習:ガウス分布 i.i.d.データ に対する対数尤度 4/25/2012
  • 15. ネットワーク訓練 誤差関数(負の対数尤度) • ニューラルネットワークの研究では尤度最大化より 誤差関数最小化の方が常套手段 • 誤差関数を最小化して最尤推定解を求める (尤度最大化と等価である) 4/25/2012
  • 16. ネットワーク訓練 wを求める→E(w)の最小化 • y(xn,w)の非線形性により正確には局所解 wMLが求まったらbは誤差関数最小化で求められる • をbで微分して0と置く 4/25/2012
  • 17. ネットワーク訓練 目標変数が複数(K個)の場合(t→t) • 条件付き確率が独立,ノイズの分散が共通であると仮定 • wML:尤度最大化→二乗和誤差関数の最小化 証明 4/25/2012
  • 18. ネットワーク訓練 • bは誤差関数最小化によって求められる • K は目標変数の数 4/25/2012
  • 19. ネットワーク訓練 2クラス分類問題の場合 • t=1がクラスC1,t=0がクラスC2 • ロジスティックシグモイド関数を活性化関数とする • 目標の条件付き分布(ベルヌーイ分布) • 誤差関数(負の対数尤度) 交差エントロピー誤差関数 4/25/2012
  • 20. ネットワーク訓練 K個の異なる2クラス分類問題の場合 • 活性化関数・・・ロジスティックシグモイド関数 • K個の出力を持つネットワーク • 誤差関数(負の対数尤度) 交差エントロピー誤差関数 4/25/2012
  • 21. ネットワーク訓練 標準的なKクラス分類問題の場合 • 1-of-K符号化法で表されるとする • ネットワーク出力は • 誤差関数(負の対数尤度) • 出力ユニットの活性化関数はソフトマックス関数 4/25/2012
  • 22. ネットワーク訓練 まとめ 活性化関数 誤差関数 回帰問題 線形 二乗和 (独立な多数の) ロジスティックシグモイド 交差エントロピー 2クラス分類問題 多クラス分類問題 ソフトマックス 多クラス交差エントロピー ロジスティックシグモイド 2クラス分類問題 交差エントロピー or ソフトマックス 4/25/2012
  • 23. パラメータ最適化 E(w)の最小化問題 4/25/2012
  • 24. 局所二次近似 重み空間内の点 の周りでのE(w)の二次近似 • : 勾配 • : ヘッセ行列 の近くでの勾配の局所近似(二次近似式の微分) 4/25/2012
  • 25. 局所二次近似 極小点w*の周りで考えるとb=0 (ヘッセ行列の)固有値問題 • 固有方程式 • ヘッセ行列は実対称行列 →固有ベクトルuは完全正規直交系を成す(p.318 付録C) • を固有ベクトルの線形結合で表す 4/25/2012
  • 26. 局所二次近似 以上を用いて誤差関数を書き換える 4/25/2012
  • 27. 行列の正定値性 行列Aが正定値である⇔ 行列Aが正定値である⇔Aの全ての固有値が正 証明 4/25/2012
  • 28. 誤差関数の等高線 固有空間上の誤差関数の等高線は楕円となる 4/25/2012
  • 29. 誤差関数の等高線 固有空間上の誤差関数の等高線は楕円となる 証明 4/25/2012
  • 30. 局所二次近似 ヘッセ行列Hの での値が正定値 ⇔ は極小点である 証明⇒ 証明⇐ 4/25/2012
  • 31. 勾配情報の利用 誤差曲面はbとHで決定される • bの独立なパラメータ数・・・W個 (Wはwの次元) • Hの独立なパラメータ数・・・W(W+1)/2個 • 極小点を求めるために必要な点の数 O(W2) • 極小点の評価に必要なステップ数 O(W) の評価でW個の情報が得られる • 勾配情報を用いれば 4/25/2012
  • 32. 勾配降下最適化(最急/勾配降下法) 勾配降下法による重み最適化 • h :学習率パラメータ 全データによる訓練→バッチ訓練 • 勾配降下法より良い方法がある • 共役勾配法 • 準ニュートン法 1個ずつデータを使う訓練→オンライン訓練 • 大規模データのときに便利 4/25/2012
  • 33. 確率的勾配降下法(オンライン版勾配降下法) 確率的勾配降下法の誤差関数 • :各データ点についての誤差 確率的勾配降下法の更新式 • hのスケジューリングが重要 • 大域的最適解が得られるかも • Eの停留点は必ずしもEiの停留点ではないから 4/25/2012
  • 34. バックプロパゲーション 誤差逆伝播法(バックプロパゲーション) ×伝搬 ○伝播 ×でんぱん ○でんぱ • 誤差関数の勾配を効率良く評価する方法 wikipediaより 1. ネットワークの出力と与えられたサンプルの最適解を比較する. 各出力ユニットについて誤差を計算する. 2. 個々のユニットの期待される出力値と重み, 要求された出力と実際の出力の差(誤差)を計算する. 3. 各ユニットの重みを誤差が小さくなるよう調整する. 4. より大きな重みで接続された前層のユニットに誤差の責任があると決める. 5. そのユニットのさらに前層のユニットついて同様の処理を行う バックプロパゲーション 伝言ゲームにおいて,最後の人から逆方向に「元々はどういう言葉だったの?」 と伝言することで誤りを修正するアルゴリズム.(朱鷺の社より) 4/25/2012
  • 35. 誤差関数微分の評価 単純な線形モデルで考える • 出力ykが入力変数xiの線形和 • 誤差関数 ※ 入力パターンnの誤差関数の重みに関する勾配 • 接続i-jの出力側の誤差信号と入力側の変数の積の形 4/25/2012
  • 36. 誤差関数の偏微分の計算 計算(添字に注意,(n)に意味はないが補足的に) 4/25/2012
  • 37. バックプロパゲーション 一般のフィードフォワードネットワークの場合 • ユニットの出力 • 微分する(添字nを省略) :誤差 • 正準連結関数を活性化関数に用いた出力ユニットでは 4/25/2012
  • 38. 復習:正準連結関数 一般化線形モデル • :活性化関数 • :連結関数 正準連結関数 • 条件付き確率分布を指数型分布族から選ぶ • 活性化関数を正準連結関数から選ぶ →誤差関数の微分が誤差(yn-tn)と特徴ベクトルjの積になる 4/25/2012
  • 39. バックプロパゲーション 隠れユニットの誤差 逆伝播公式 4/25/2012
  • 40. バックプロパゲーション まとめ(誤差逆伝播) 1. 入力ベクトルxnを入れ,全てのユニットの出力を求める (順伝播) 2. 全ての出力ユニットの誤差 dk を評価する 3. dk を逆伝播させて全ての隠れユニットの誤差 dj を得る 4. 必要な微分を評価する 4/25/2012
  • 41. バックプロパゲーション 補足 • バッチ手法の場合 →全体の誤差関数の微分は全てのパターンの総和 • ユニットごとに活性化関数が違う場合 →特に変わらない (ユニットごとのhを用いて計算すれば良い) 4/25/2012
  • 42. バックプロパゲーションの計算例 逆伝播手続きの単純な例 • 2層ネットワーク • 誤差関数:二乗和誤差関数 • 出力ユニットの活性化関数:線形 • 隠れユニットの活性化関数:シグモイド型 4/25/2012
  • 43. tanh関数の性質 定義 微分 4/25/2012
  • 46. バックプロパゲーションの効率 順伝播の計算量・・・ • の計算量 • 結合が非常に疎である場合を除くと 重み数≫ユニット数 • 逆伝播も同様 4/25/2012
  • 47. 誤差関数の数値微分 数値微分(有限幅差分)の利用 • 前進差分(前方差分) • 中央差分(中心差分) • 誤差項が小さくなるが,前進差分の倍くらいの計算量が必要 数値微分は計算量が • 逆伝播公式の結果の正当性を数値微分で確認する,など 4/25/2012
  • 48. 数値微分の誤差の評価 前進差分 • 誤差の評価 中央差分 • 誤差の評価 4/25/2012
  • 49. バックプロパゲーションの応用 ヤコビ行列の評価を逆伝播で計算する モジュール型パターン認識システムを考える • 誤差関数の微分 ヤコビ行列 4/25/2012
  • 50. ヤコビ行列のバックプロパゲーション ヤコビ行列の要素を変形 微分を計算 出力ユニット • シグモイド活性化関数 • ソフトマックス関数 4/25/2012