6章ニューラルネットワークの利用
•
0 likes•411 views
輪講の発表資料です。教科書は自然言語処理概論です。発表者ノートを見ながらじゃないと内容がわからないスライドになっています。noteを見ながら読み進めてください。
Recommended
More Related Content
Featured
Featured (20)
6章ニューラルネットワークの利用
Editor's Notes
- ニューラルネットワークの利用と題しまして、野本が発表させていただきます。
- 今回の発表の流れです。まずニューラルネットの概要について説明し、その後自然言語処理におけるニューラルネットの利用例を2つ紹介します。そのあと、皆さんの元気が残っていたら軽く演習問題をやりたいなと思っています。 今回の内容、ニューラルネットをあまり知らない人にとってはとっても重たい内容になっています。少しでもわからなくなったら内容の確認とかでも構いませんので、どんどん止めてください。 <送り>ではまず、ニューラルネットワークの基礎についてやっていきます。
- いきなりですが、これがニューラルネットワークです。この場合だと3次元のベクトルを入力したらなんからの3次元のベクトルが出てくるという代物になります。 この○一個一個を[ニューロン]とか、[細胞]と言います。<アニメ送り> この塊を[層]と呼びます。入力部分を入力層<送り>、出力部分を出力層<送り>といい、その間は<送り>隠れ層や中間層と呼ばれます。 中間層はいくつあっても構いません。また、各層の細胞数は自由に決めることができますが、隠れ層の細胞数は揃えるのが基本らしいです。
- ニューロンは何か入力が入ってくると、それを次の層のニューロンへ<送り>重みをつけて送り出します。 例えば、このニューロンの重みが
- このニューロンの重みが10と-5で、3が入力だった時、
- 次の層は3に10と-5の重みがかけられて30と-15になります。
- 一つのニューロンへ複数の入力があるときは、それを足し合わせ一定のバイアスを加えます。<アニメ送り> また、ニューロン内でその数字に何かしらの関数による演算を行って次への出力とする場合もあります。この関数を活性化関数と言います。例えば活性化関数がこれを0.1倍するものの場合<アニメ>、3.3が次の層への出力となります。
- 活性化関数は自由に決めることができ、一般的にはシグモイド関数が用いられます<送り>これを使うと、出力を0から1の間に収めることができるからです。<送り> ここまででニューラルネットの動きは大体わかりましたでしょうか？ ニューラルネットの構造で私たちが決められるのは中間層の数、各層の細胞数(入出力層の細胞数は問題設定から決まってしまうので、厳密には中間層の細胞数)と、各層の活性化関数です。ただ、これらを決めただけでは、入力から正しい出力を得ることができません。そのためには<ページ送り>正しい重みを見つけてやる必要があります。これを見つける作業を学習と言います。
- 正しい重みを見つけてやる必要があります。これを見つける作業を学習と言います。学習ではニューラルネットの出力と、<送り>正解との誤差を用い、これが小さくなるように(、正しい重みに近づくように)各重みを更新します。 ただ、出力層付近の重みの更新は問題ないのですが、出力層から遠い、入力層付近では手がかりとなる誤差から遠いため、重みの更新の計算がべらぼうにややこしくなります。それを解決するのが誤差逆伝搬法です。
- 詳しい説明は割愛しますが、誤差逆伝搬法では<送り>誤差を元に新たな数字列<送り>δを作り、それを<送り>出力層から入力層へと伝播させていきます。重みの更新は、
- 出力層から<送り>入力層の一個前まで伝播させていきます。
- 入力層の一個前まで伝播させていきます。重みの更新は、
- 重みの更新は、<送り>例えばここの重みについてみると、準伝播の時のニューロンの<送り>出力と、<送り>デルタの値によって簡単に計算できます。
- つまり、<送り>準伝播、<送り>逆伝播、<送り>重みの更新のサイクルを何回も繰り返すことで学習を進めていきます。
- 教科書にはありませんが、NNの学習の進め方をまとめました。 大きく分けて準備、学習、検証の3ステップです。 準備フェーズでは学習データを用意し、それを学習用、検証用、評価用に分けます。 学習フェーズでは訓練データを使って先ほどの準伝播、逆伝播、重みの更新を繰り返します。この時、訓練データの誤差と検証データの誤差をエポックごとに記録しておきます。エポックとは、訓練データを一回総なめすることです。検証データで重みの更新をしないように注意しましょう。 検証フェーズでは、学習時に記録しておいた訓練誤差と検証誤差を元に過学習を起こし始めているところを見つけ、その直前のモデルを最終的なモデルとし、これに評価データを入力して誤差などを評価します。過学習については次のスライドで説明します。<送り>
- 訓練誤差と検証誤差をグラフに書くとこのような形になります。学習の最初の方は訓練誤差と検証誤差がともに小さくなっていき、あるところから検証誤差だけが大きくっていきます。これが<送り>過学習です。訓練誤差が小さいのに検証誤差が大きいのが特徴です。過学習はモデルが訓練データに寄りすぎ、そのほかのデータへの当てはめつまり汎化性能が悪くなることで起こります。 ということで、検証誤差がもっとも小さい<送り>このあたりのモデルが一番良い性能を持っていると言えます。 この過学習を抑える方法にドロップアウトというものがあります。学習時にランダムにいくつかのニューロンをないものとして扱うというものです。これは、多数の異なるNNの結果を平均しているのと同じような状況になるため、過学習を抑える効果があるらしいです。 (アンサンブル学習: 個々に学習したモデルの出力結果の平均を取って結果とすると汎化性能が向上する。ランダムフォレストなどはこの一例。なぜ有効なのかは証明されていない) ここまででニューラルネットワーク概論が終わりです。質問ありませんか？
- これは完全に余談ですが、ニューラルネットワークは行列で表現できます。各層の値をベクトル、層から層への重みを行列としてかきます。大体どの参考書でもこの表記が使われていますので、知っておいてください。
- 次に、自然言語処理におけるニューラルネットの利用例を説明していきます。まずはワードエンベッディングから。
- ワードエンベッディングとは、語をベクトルで表現することです。これの特徴としまして、意味の演算ができるというものがあります。
- ワードエンベッディングは次のような仮定に基づきベクトルを計算します。<仮定読み上げ> 4.2.2で紹介されていたベクトルの算出方法は、自己相互情報量に基づくものであり、これは文脈語を数えることで得られます。 ワードエンベッディングの学習にはskip-gramモデルとCBoW(シーボウ)モデルの2種類あり、ここでは<送り>skip-gramについて説明します。
- skip-gramモデルでは、このような目的関数の最大化を目指します。<送り>
- 目的関数全体の意味は、単語wtから前後c単語の文脈語を予測し、それをコーパス中の全単語について行うことです。単語w_tが入ってきたときの文脈語の予測確率を計算機で扱える形に定義する必要があります。そのために、全ての単語に関して単語ベクトルvと単語予測ベクトルuを定義します。 これを用いてpは<ページ送り>
- このように定義することにします。 Wはコーパス中の全語彙で、その全てに関してこの演算をして足し合わせますよーっていみになります。
- expの中身は、wtの単語ベクトルと該当の単語予測ベクトルとの内積です。 ちなみにこういう、それぞれのexpの和分の対象のexpという形の関数をソフトマックスと呼びます。
- この定義のポイントは、各単語が予測元と予測先の2つのベクトルを持つということです。これにより、よく共起する<送り>りんごと<送り>食べるが<送り>近いベクトルを持つの<送り>ではなく、
- 同じ食べるを予測語とするりんごとみかんが<送り>近いベクトルを持つことになります。
- 実際には分母の計算コストがべらぼうに高いので、学習時にはランダムにK単語取ってきてそのK個の単語に関して<分母を差しながら>これを計算します。このK単語を疑似負例と言います。
- ここまでをまとめると、こうなります。この目的関数の最大化を目指します。ただし、pはこのように定義されます。 目的関数を最大化したいなら(上のpを差しながら)これを大きくすればよく、したがって<送り>これを大きくしつつ、<送り>これを小さくすればよいことがわかります。ここでお待ちかね、NNの出番です。
- このようなモデルを考えます。結合は略してますが、全部繋がってます。大きくする小さくするを扱いやすくするために、シグモイド関数をかけて、これを1に、これを0に近づける形にします。
- 例えばwtがりんごの場合入力のベクトルはこうします。
- すると、隠れ層の値にはりんごから各ニューロンへの重みがそのまま反映されることになります。これが<送り>りんごベクトルに相当します。
- そして隠れ層から出力層への重みを単語予測ベクトル(u)と見立てると、出力層の各ニューロンの値は、りんごベクトルとその単語予測ベクトルとの内積になります。そして、出力層の活性化関数としてシグモイド関数を適用すれば、
- そして、出力層の活性化関数としてシグモイド関数を適用すれば、
- 正例1, 負例0, そのほかはNoneとした正解ラベルに近づくように、このネットワークを学習することができます。
- このようにして得られたりんごベクトルとcos類似度の高い語はこうなったそうです。カタカナのりんごがもっとも近く、そのあとは果物が続いています。
- ここまでをフルスクラッチで実装してみました。それに100本ノックのコーパスである吾輩は猫であるを喰わせた結果がこれになります。<送り>いくつか単語を入れて近い9件を出してみました。<送り>gitにコードを上げておくので参考にしてください。今回は誤差逆伝播もコードに書きたかったのでフルスクラッチですが、世の中にはChainerやTensorflowといったNN学習用の便利なモジュールがありますので、研究でNNを組み立てる時はそれを使うようにしてください。 ここまでで、WEについては終了です。ここまでで質問はありますか？ 次はRNNについて説明していきます。これが今日ラストのトピックですので皆さん頑張ってください。
- ここまでをフルスクラッチで実装してみました。それに100本ノックのコーパスである吾輩は猫であるを喰わせた結果がこれになります。<送り>いくつか単語を入れて近い9件を出してみました。<送り>gitにコードを上げておくので参考にしてください。今回は誤差逆伝播もコードに書きたかったのでフルスクラッチですが、世の中にはChainerやTensorflowといったNN学習用の便利なモジュールがありますので、研究でNNを組み立てる時はそれを使うようにしてください。 ここまでで、WEについては終了です。ここまでで質問はありますか？ 次はRNNについて説明していきます。これが今日ラストのトピックですので皆さん頑張ってください。
- リカレントニューラルネットワークは、隠れ層の値を次の入力に引き継ぎます。これにより、時系列データの解析ができるようになります。 自然言語処理では、言語モデル学習や系列ラベリングなどに用いられます。
- 言語モデルは、<送り>n-gramなどが代表的であり、RNNを使うとn-gramよりも賢い言語モデルを学習することができます。 系列ラベリングとは<送り>品詞タグ付けに代表されるような問題です。
- RNNの構造を図説します。 リカレントNNは中間層の値を<送り>次のステップでの入力にします。
- 次の入力が来たら、こうなって、こうなります。 <黙ってアニメーションを送る> <アニメーション後>こうすることで、中間層にこれまで入力された情報を保持することができ、過去の入力を加味した解析ができるようになります。<送り>
- 次に学習について見ていきます。 このままでは重みの更新をどうすればいいのかわかりにくいので、これを90度回転させます。<送り> 一応前のステップでの入出力も書いておきます。<送り> 次の状態をその横に<送り>
- またその次の状態をその横に書きます。以降では結合を全部書くのはしんどいので、1本の矢印で表すことにします。<アニメ送り> こうすると、RNNは順伝播型のNNとして記述できます。 ということで、誤差逆伝播法を適用できるようになりました。 つまり、RNNの学習では、一定ステップごとに区切って、それをこのように展開し、誤差逆伝播により重みを更新します。 ただし、区切るステップが大きくなりすぎると、それだけ中間層が多くなり、誤差が入力層付近にまで反映されず学習ができなくなる勾配消失問題にぶつかります。RNNが保持できる情報はせいぜい前10単語までです。もっと前の単語も加味したい場合は、RNNを進化させたLSTMというNNを使います。
- RNNで言語モデルを学習すると、次のような利点があります。 一つには、n-gramのnを決定しなくてよい。言語モデルの代表格として、n-gramがありますが、bi-gramにするのか、トライgramにするのか、もっと多い5gramにするのかは、恣意的に決定する必要があります。これを決定しなくてよくなるというのは利点です。 二つには、単語を汎化したモデルを作れる、というのがあります。<送り>[大阪]が入力されたときに[行く]がくると予測するのと、[京都]が入力されたときに[行く]を予測するのが、従来は独立に計算されていました。なので、大阪から, 行く、京都から, 行く、を予測できても、<送り>愛媛の場合は予測できない、というようなことが起こっていました。RNNを使うと<送り>[大阪]も[京都]も[愛媛]も、地名であると考えることができるようになるため、<送り>[行く]を予測しやすくなります。このように、[大阪], [京都]といった単語を、[地名]という括りに汎化することができるようになります。 以上でRNNの説明は終わります。