Deep learning実装の基礎と実践

1. ⽇日本神経回路路学会セミナー Deep Learningが拓拓く世界 Deep Learning 実装の基礎と実践 2014/08/26 京都⼤大学東京オフィス株式会社Preferred Networks 得居誠也

2. ⾃自⼰己紹介 l 得居誠也 (Seiya Tokui) l Preferred Networks リサーチャー l Jubatus のアルゴリズム開発 – Jubatus: NTTとPFIで共同開発しているオープンソースの分散リアルタイム機械学習基盤 http://jubat.us/ l 現在は映像解析とディープラーニングの研究開発に従事 2

3. ニューラルネットの基礎、実装、実験について話します l ニューラルネットの道具 – 全体の構成、⾏行行列列による表現、損失関数、誤差逆伝播、SGD l 主要な実装 – Pylearn2, Torch7, Caffe, Cuda-‐‑‒convnet2 l フレームワークの基本的な設計 – テンソルデータ、レイヤー、ネット、最適化ルーチン – アーキテクチャの記述⽅方法（宣⾔言的、スクリプティング） l 実験の進め⽅方 – データの前処理理、アーキテクチャの設計、パラメータの初期値、正則化、学習率率率の初期値と調節、モーメンタム – 評価の⽅方法、プロット、パラメータの可視化 – 中断・レジューム、パラメータの差し替え 3

4. ニューラルネットの道具

5. Deep Learningいろいろ Neural Network: 右図のような計算グラフで表される⾮非線形関数 Convolutional NN: 画像や⾳音声などの構造を反映したNNの⼀一種 Deep Belief Network(左), Deep Boltzmann Machine(右): 多層のグラフィカルモデル（確率率率モデル） ※今⽇日は触れません “Deep” の定義は⽂文脈により様々。普通は3層以上で深いと⾔言われる 5

6. Feed-‐‑‒Forward Neural Network （結合）重み x ⼊入⼒力力層隠れ層隠れ層出⼒力力層1 wj1 x2 wj2 x3 wj3 x4 wj4 ユニット活性 hj = f(wj1x1 + · · · + wj4x4 + bj) 活性化関数バイアス項 = f(wj x + bj) 重みとバイアス項を調節して、望みの予測を得られるようにするのが学習の⽬目標

7. Feed-‐‑‒Forward Neural Network（⾏行行列列で書く）各層をベクトルで表して以下のように書くことが多い h = f(Wx+ b) 下図のように3層の場合だと y = f3(W3f2(W2f1(W1x + b1) + b2) + b3) W1 W2 W3 x h1 h2 y

8. 最適化としての学習 l モデルの出⼒力力（予測）と正解とがよく⼀一致するほど⼩小さくなるような値（損失 loss）を考える l 各教師データごとの損失の平均を⽬目的関数とするのが⼀一般的 L(W) = 1 N XN i=1 `(y(xi;W), yi) l 学習＝⽬目的関数の最⼩小化 ` y(x;W) (xi, yi)i=1,...,N W l 損失関数：エントロピー誤差（分類）や⼆二乗誤差（回帰） 8 損失関数モデルの予測各教師データ予測器の重み minimize （パラメータ） W L(W) `(y, yi) = ky − y1k2 （⼆二乗誤差）

9. 最適化⼿手法：勾配降降下法⽬目的関数の勾配 gradient の⽅方向に向かって重みを動かしていく（次式の更更新を繰り返す） W W − ⌘rL(W) 学習率率率勾配ベクトル 9 L の等⾼高線極⼩小点

10. 確率率率的勾配降降下法 Stochastic Gradient Descent (SGD) l 教師データ全部を⾒見見ず、⼀一部（ミニバッチ）だけを⾒見見て勾配を計算する（：ミニバッチ） l 最初にデータセットをランダムシャッフルして、前から個ずつミニバッチとして取り出して更更新するのが⼀一般的 – データの順序に偏りがある場合、シャッフルしないと性能が⼤大きく落落ちる – 理理論論的には毎回ランダムにミニバッチを選ぶのが収束の速さという意味で良良いが、ランダムアクセスが増えるので実際には遅くなることが多い 10 B |B| W W − ⌘ |B| X i2B r`(y(xi;W), yi)

11. モーメンタム法 l SGD は勾配のブレが⼤大きいとなかなか収束しない l ブレを低減するために、勾配の移動平均（モーメンタム）を使う 11 h h + μ 1 |B| Xn i2B r`(y(xi;W), yi), モーメンタムモーメンタム係数 W W − ⌘h. W(t) r` W(t