Recommended
Recommended
More Related Content
What's hot
What's hot (18)
Similar to 畳み込みについて
Similar to 畳み込みについて (20)
Recently uploaded
Recently uploaded (20)
畳み込みについて
- 1. 画像の分類 -CNN- 明治大学大学院 先端数理科学研究科 ネットワークデザイン専攻 櫻井研究室 M1 金澤滉典
- 3. 目次 1. CNNの歴史・着想 2. CNNの構成 1. 補足: 畳込みとは 2. 1次元離散畳込み 3. 2次元離散畳込み 4. プーリング 3. CNNの実装 1. チャンネル 2. ドロップアウト 3. 損失関数 2 / 39
- 4. 1. CNNの歴史: 画像の特徴を取るために 3 / 39
- 5. AI≒MLは特徴量を対象とする学問 Encoder 生データ Age: 10 Man XXX: YYY Age: 25 Man XXX: ZZZ Age: 21 Woman XXX: VVV C A B 特徴量ベクトル A C B SVM 特徴量をこねくり回す NN 変換器 推論器 4 / 39
- 6. 画像の特徴量はどう取るべきか 変換器 画像 特徴量ベクトル ？ NNなど 推論器 ？ そういえば：パーセプトロンはニューロンの数理モデル → 物体を見る時の脳の原理をモデル化してみては？ Hubelの実験 (1959) というものがあった 5 / 39
- 7. 視覚野を数理モデル化:Hubelの実験から 異なる図形パターンを見せる 猫の脳: 視覚野 1. 猫の視覚野に電極 を差す 2. 猫に異なる画像を 見せる 3. 画像ごとに異なる 場所が反応するこ とを発見 画像の各部位に反応するニューラルネットワークを設計すればい 6 / 39
- 8. まとめ:CNNの歴史 • 生データを特徴量に変換することから始まる • Hubelの実験をヒントに数理モデルへ • 画像の部位ごとに反応・重み付けするように MLの本質 CNNの着想 7 / 39
- 9. 2. CNNの構成:畳込み・プーリング 8 / 39
- 10. CNNを用いた画像分類器:全体図 入力画像 畳込み層 サブサンプリング層 （プーリング層） ※何層か繰り返し SVM FC 全層結合や機械学習モデル 特徴量ベクトル 猫: 0.06 犬: 0.02 人: 0.92 分類 9 / 39
- 12. CNNを用いた画像分類器:畳込みの役割 入力画像 畳込み層 サブサンプリング層 （プーリング層） 微視的特徴を抽出 ※何層か繰り返し SVM FC 全層結合や機械学習モデル 特徴量ベクトル 猫: 0.06 犬: 0.02 人: 0.92 分類 11/ 39
- 13. 補足:制御工学における(連続)畳込み演算 元々の畳込み・・・制御工学の分野で利用 システム（系） 入力 𝑥 = 𝑓(𝑡) ？ システムの応答 𝑦 = 𝑥 ∗ 𝑔 ＜古典制御の例＞ • バネに重りがついた系を 引っ張って放す • 倒立振子を瞬間的に叩い て揺らす などの応答を調べる学問 システムの伝達関数 𝑔 入力xを系に与えると、特性gに応じた応答yが遅延を伴って出力 この遅延を考慮したのが畳込み演算 12/ 39
- 14. 補足:イメージをグラフで考える 畳込みの定義式: 𝑦 = 𝑓 ∗ 𝑔 = −∞ 𝜏 𝑓 𝑡 𝑔 𝜏 − 𝑡 𝑑𝑡 全過去における微小時間dt ごとの 入力f(t) の値が あるタイミングτ に与える 影響度は、伝達関数g との積で示す τが未来にいくほどg(τ-t)の引数が大きくなるような設計 過去〜τまで積分すれば 状態がわかる 13/ 39
- 15. (離散)畳込みとは 連続な畳込みの定義式: 𝑦 = 𝑓 ∗ 𝑔 = −∞ 𝜏 𝑓 𝑡 𝑔 𝜏 − 𝑡 𝑑𝑡 離散的畳込みの定義式: 𝒚 = 𝒙 ∗ 𝒘 𝒚 𝑖 = 𝑘=−∞ ∞ 𝒙 𝑖 − 𝑘 𝒘 𝑘 𝒙: 入力ベクトル 𝒘: フィルタベクトル 1次元での実例から理解していく 14/ 39
- 16. 畳込み:無限長入力での実?例 有限の世界で考える必要がある ... 1 9 0 3 4 6 0 9 8 3 5 2 6 7 1 1 3 0 6 0 10 2 ... ← -∞ ∞ → 入力ベクトル: x ＊ ... ... 18 ... ... ... ... ... 19 ... 12 ... ... ... ＊ ... 1 2 3 ... ... ... 1 2 3 ... 1 2 3 ... ＊ フィルタ: w フィルタを一定数（ストライド） ずらしながら畳込んでいく 15/ 39
- 17. 畳込み:有限長入力での考察から定義式の修正 入力𝒙: 要素数 = 𝑛, フィルタ𝒘: 要素数 = 𝑚 (𝑚 ≤ 𝑛)とすると、 1. 入力𝒙のindex[−∞: −1]、 [𝑛: ∞]は0埋め（ゼロパディング） 2. 一方で、出力も無限大になるため範囲を絞りたい 3. つまり、パディングする領域を限定すればいい プログラム上の配列インデックスに注意！！ 有限なパディング数𝑝を考慮した入力𝒙𝑝のサイズは𝑛 + 2𝑝 よって、離散畳込み計算の実際の式は次の通り 𝒚 𝑖 = 𝑘=0 𝑚−1 𝒙𝑝 𝑖 + 𝑚 − 𝑘 𝒘 𝑘 • 𝒙, 𝒘のインデックス参照 方向が異なっている • 正確にはフィルタを回転 （転置ではない）させる 必要あり 16/ 39
- 18. 具体例:パディング=0,ストライド=2 1 3 4 2 2 4 3 1 4 2 1 0 7 5 9 3 入力ベクトル: x フィルタ: w 回転後フィルタ: wr 4 2 1 0 7 5 9 3 2 4 3 1 4 2 1 0 7 5 9 3 2 4 3 1 4 2 1 0 7 5 9 3 2 4 3 1 𝒚 0 = 4 × 2 + 2 × 4 + 1 × 3 + 0 × 1 = 19𝒚 1 = 1 × 2 + 0 × 4 + 7 × 3 + 5 × 1 = 28𝒚 2 = 7 × 2 + 5 × 4 + 9 × 3 + 3 × 1 = 64 𝒚 = [19, 28, 64] 17/ 39
- 19. 出力を考慮したパラメータ決定 入力ベクトルのサイズ𝑛、フィルターサイズ𝑚、 パディング数𝑝、ストライド𝑠のとき、 𝒚 = 𝒙 ∗ 𝒘の結果として得られる出力サイズ𝑜は以下の通り 𝑜 = 𝑛 + 2𝑝 − 𝑚 𝑠 + 1 𝑥 = 𝑓𝑙𝑜𝑜𝑟 𝑥 : 床関数 出力サイズについての詳説はこちら 床関数: 実数xに対しx以下の最大整数を返す 18/ 39
- 20. 最適なパディングの選び方 パディング数の差で生じる意図しないバイアスの一例 入力𝒙: 要素数 = 5, フィルタ𝒘: 要素数 = 3 , ストライド = 1とすると、 • 𝑝 = 0の時、 𝒙 0 , 𝒙 1 , 𝒙[2]では、出力計算時の非計算回数が異なる • 𝑝 = 2の時、 𝒙 0 , 𝒙 1 , 𝒙[2]の非計算回数は3回で統一 パディングの3つの主なモード Same パディング • 出力次元数と入力次元数が同 じになるように𝑝を計算 • CNNでは最も利用される • 次元圧縮はpoolingで実行 Full パディング • 𝑝 = 𝑚 − 1 • 出力次元数 ＞ 入力次元数 • 境界情報が残りやすいため信 号処理分野で利用 Valid パディング • 𝑝 = 0 • 出力次元数 ＜ 入力次元数 • 過度な情報削減に注意 19/ 39
- 22. 2次元(離散)畳込みに拡張 入力ベクトル𝑿𝑛1×𝑛2 , フィルタ行列𝑾𝑚1×𝑚2 (𝑚1 ≤ 𝑛1, 𝑚2 ≤ 𝑛2)として 2次元畳込み演算𝐘 = 𝑿 ∗ 𝑾の計算式は 𝒀 𝑖, 𝑗 = 𝑘1=−∞ ∞ 𝑘2=−∞ ∞ 𝑿 𝑖 − 𝑘1, 𝑗 − 𝑘2 𝑾[𝑘1, 𝑘2] 𝒚 𝑖 = 𝑘=−∞ ∞ 𝒙 𝑖 − 𝑘 𝒘 𝑘 1次元畳込みの定義式: 1次元におけるパディング、フィルタの回転、ストライドなどは全て適用できる 2次元があれば3次元もあるよ 21/ 39
- 23. 2次元(離散)畳込みに拡張:実例で見る ＜左図例の条件＞ • 入力行列: 𝑿3×3 • カーネル行列: 𝑾3×3 • パディング: 𝑝 = (1, 1) • パディング後入力: 𝑿5×5 𝑝𝑎𝑑𝑑𝑒𝑑 • ストライド: 𝑠 = (2, 2) 0.5 1 0.5 0.1 0.4 0.3 0.4 0.7 0.5 𝑾𝑟 22/ 39
- 26. CNNを用いた画像分類器:プーリングの役割 入力画像 畳込み層 サブサンプリング層 （プーリング層） ※何層か繰り返し SVM FC 全層結合や機械学習モデル 特徴量ベクトル 猫: 0.06 犬: 0.02 人: 0.92 分類 局地ごと統合し圧縮 25/ 39
- 27. エリアごとの代表値選定:Max or Mean 基本的にプーリング範囲は重ならない（重なる場合の論文はこちら） プーリング層を使わないCNNもある（代わりにストライドs=2など） ＜プーリングの利点＞ 1. プーリング(特にMax)は範囲内 の値の微小変化にロバスト 2. 特徴量が結果的に圧縮される ことで、計算効率の上昇と過 学習の抑制 26/ 39
- 28. まとめ:CNNの構成（conv/pooling） • 入力の微小部分ごとにフィルタを掛けていく • 各パラメータで出力サイズを調節できる • 畳込み結果を範囲ごと最大・平均化抽出 • 局所ごとに特徴量を圧縮＝ノイズに強い 畳込み層 プーリング層 27/ 39
- 30. 復習を兼ねて:多層パーセプトロンと比較 𝐙 = 𝑿 ∗ 𝑾 + 𝑏 𝒛 = 𝒙𝒘 + 𝒃 ノード結合の意味合いが変わってくるイメージ 29/ 39
- 31. 入力channelの話 • 画像は[縦, 横, 色チャンネル（RGBなど）]が一般的 → チャンネルごと畳込んで合計すればいい → 活性化後の最終出力を特徴量マップと言う（複数あるのが普通） • 複数chのカーネルテンソルは4次元（[𝑤, ℎ, 𝐶𝑖𝑛, 𝐶𝑜𝑢𝑡]） • w, h: 幅と高さ（カーネルサイズ） • Cin: 入力チャンネル数 • Cout: 出力特徴マップ数 8bitカラー（0~255の範囲で色の強さが表現）の画像ならuint8型で開こう カーネルについては具体例で見た方が絶対にわかりやすい 30/ 39
- 32. 入力channelの話 • 左図のカーネルとバイアスのパ ラメータ数の合計は 𝑚1 × 𝑚2 × 3 × 5 + 5 • sameパディングと仮定すればテ ンソルサイズはin(𝑛1 × 𝑛2) = out • 上記条件下における全層結合で のパラメータ数は 𝑛1 × 𝑛2 × 3 𝑛1 × 𝑛2 × 5 = 𝑛1 × 𝑛2 2 × 3 × 5 • 𝑚1 < 𝑛1かつ𝑚2 < 𝑛2なら？ ＜パラメータ数について＞ ノードの疎結合とパラメータ共有の恩恵はここ↑に 31/ 39
- 34. 過学習を防ごう:データ or モデル • データの扱いを変えていく • 水増し • 交差検証 • モデルに制約を加える • Ln正規化 • ドロップアウト → 結果としてアンサンブルと似たようなことになっている 33/ 39
- 35. ドロップアウトとアンサンブル • 訓練時 イテレーションごとにランダムなノード接続が切れる → 切れた状態のモデルで学習する • 推論時 全部繋がった状態で（活性化尺度を調節しながら）順伝搬 • ミニバッチごとにランダムなノー ド接続が消える → 1iter前とは違うモデル • 異モデル間で重みwは共有している → 一種の正規化と言える • 推論時には全ノードを利用する → 異なる全モデルの平均を利用 していることになる 擬似的な大量モデルのアンサンブル になっていると言える ＜アンサンブルとの関係＞ 34/ 39
- 36. 分類問題の定義から見る損失関数 損失関数の選び方 • 問題の種類: 二値分類・多項分類 • 出力の種類: ロジット・確率分布 正解ラベルはどうつける派？ • one-hot-encoding: 𝑦 = [0, 0, 1, 0] • 整数ラベル(keras「疎な表現」): 𝑦 = 2 交差エントロピーの定義式: 𝐻 𝒑, 𝒒 = − 𝑖 𝒑 𝑖 ln(𝒒[𝑖]) p: 正解ラベルベクトル, q: 推論結果ベクトル 35/ 39
- 39. まとめ:CNNの実装にて気にすること • 入力画像の色数 • 特徴マップの枚数に関係 channel ドロップアウト での正規化 38/ 39 誤差関数 • イテレータごと別のモデルを訓練するような擬似的 アンサンブル学習 • 分類タスクと出力形態（ロジット・確率）から選択 • 出力正規化時の関数に注意したい
- 40. 参考文献 • 畳込み積分とは？(定義、イメージ、意味など)｜Qiita https://qiita.com/Seiji_Tanaka/items/1b8c7bed7bdffd3c688f • 15分で分かる畳み込み積分｜ようつべ先生 https://www.youtube.com/watch?v=7ZMz8DFldNc • 誤差逆伝播法における行列計算まとめ｜Qiita https://qiita.com/haltaro/items/7639208417a751ad9bab • 交差エントロピー誤差をわかりやすく解説してみる｜Qiita https://qiita.com/kenta1984/items/59a9ef1788e6934fd962 39/ 39
Editor's Notes
- np.concatenate: 配列の結合 np,convolve: デフォでstrideが1
- 実装する際の具体的手法や注意点、パラメータ数、過学習の抑制、誤差関数について簡単に
- +5は特徴マップ一枚につき1バイアスあるので、5枚のマップで+5