Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Kervolutional neural networks

491 views

Published on

京都大学鹿島先生に、【京都開催】CVPR2019読み会、にて登壇いただいた資料

Published in: Data & Analytics
  • Be the first to comment

  • Be the first to like this

Kervolutional neural networks

  1. 1. 1 Kyoto University KYOTO UNIVERSITY DEPARTMENT OF INTELLIGENCE SCIENCE AND TECHNOLOGY CVPR2019読み会 「カーネル畳み込みニューラルネットによる 畳み込み操作の非線形化」 Kervolutional Neural Networks Cheng Wang, Jianfei Yang, Lihoa Xie, Junsong Yuan 読み手:Hisashi Kashima (KU) https://bit.ly/2ZdCHGy
  2. 2. 2 Kyoto University  背景:畳み込みニューラルネットワーク(CNN)はその高性能 からあらゆる領域で用いられている – 畳み込み操作は線形  貢献:CNN+カーネル=カーネル畳み込み操作 (Kervolution) – 畳み込み操作をカーネル関数で非線形化する – これで畳み込みを置き換えると性能が上がった – 他に非線形性のないネットワークでも、これひとつでかなりいく 論文の概要: 畳み込み操作をカーネル関数で非線形化した
  3. 3. 3 Kyoto University  畳み込み操作:𝐟 𝐱 = 𝐱 ⊕ 𝐰 – 𝐱:入力ベクトル; 𝐰:パラメータベクトル  出力𝐟 𝐱 の𝑑次元めは𝑓𝑖 𝐱 = 𝐱(𝑖), 𝐰 – 𝐱の次元をずらしてパラメータとの内積をとる – これは線形関数 畳み込み操作: 畳み込み操作は線形関数 𝑥1 𝑥2 𝑥3 𝑥4 𝑥5 𝐱 出力の 2次元めは 𝑓1 𝐱 𝑓2 𝐱 𝑓3 𝐱 𝑓4 𝐱 𝑓5 𝐱 𝐟(𝐱)畳み込み操作 𝑥4 𝑥5 𝑥1 𝑥2 𝑥3 𝐱(2) 𝐰 𝑤1 𝑤2 𝑤3 𝑤4 𝑤5 〈 , 〉= 入力ベクトル𝐱 を2次元ずらし たやつと… パラメータ𝐰 との内積
  4. 4. 4 Kyoto University  𝐟 𝐱 = 𝐱 ⊕ 𝐰 の𝑑次元めは 𝑓𝑖 𝐱 = 𝐱(𝑖), 𝐰 (線形関数)  これを 非線形化する: 𝐠 𝐱 = 𝐱 ⊗ 𝐰 – (シフトした)入力𝐱(𝑖)を高次元空間に飛ばす 𝚽 𝐱(𝑖) – パラメータ𝐰も同様に飛ばす 𝚽 𝐰 – 飛んだ先で両者の内積をとる 𝑔𝑖 𝐱 = 𝚽 𝐱(𝑖) , 𝚽 𝐰 【提案手法】 カーネル畳み込み: 畳み込み操作の内積部分を非線形化 𝚽で決まる 𝐱(𝑖) 𝐰 𝚽 𝐱(𝑖) 𝚽 𝐰 もとの空間 𝚽で決まる高次元空間 𝚽 一般化
  5. 5. 5 Kyoto University  内積 𝑔𝑖 𝐱 = 𝚽 𝐱(𝑖) , 𝚽 𝐰 をカーネル関数で置き換える: 𝑔𝑖 𝐱 = 𝚽 𝐱(𝑖) , 𝚽 𝐰 = 𝜅(𝐱(𝑖), 𝐰)  カーネル関数のバリエーション: – 多項式カーネル:𝜅 𝐱 𝑖 , 𝐰 = 𝐱 𝑖 , 𝐰 + 𝐶 𝑑 • 𝑑個までの特徴量の組み合わせを考慮できる – ガウシアンカーネル: 𝜅 𝐱 𝑖 , 𝐰 = exp −𝛾 𝐱(𝑖) − 𝐰 – あと、カーネルではないが単に距離 𝐱(𝑖) − 𝐰 なども利用 カーネル関数: 高次元空間での内積を効率的なカーネル関数で置き換え
  6. 6. 6 Kyoto University  LeNet-5の2つの畳み込み層をカー畳層で置き換えてみる – データセット:MNIST  カーネル畳み込み層を使ったほうが収束が早い 注目すべき実験結果①: カーネル畳み込みを用いると収束が早い
  7. 7. 7 Kyoto University  画像認識(CIFER-10/100, ImageNet)で検証  定番ネットワーク(GoogLeNet, ResNet, DenseNet)の1層目を カーネル畳み込み層で置き換えると性能向上 注目すべき実験結果②: 畳み込み層の置き換えで性能アップ⇈
  8. 8. 8 Kyoto University  CNNにおいて、モデルに非線形性をもたらす部分を除く – ReLU を 恒等写像(線形)に – 最大プーリング を 平均値プーリング(線形)に ⇒ MNISTで 98.0% → 92.2% と大幅悪化  そこに、非線形要素としてカー畳をいれると、これだけで 99.11% – 2つの畳み込み層をカーネル畳み込み層にする  NNに入れる非線形性はこれで十分である可能性も 注目すべき実験結果③: カーネル畳み込みが入れる非線形はかなり強力
  9. 9. 9 Kyoto University  CNNにおける畳み込み操作を、カーネル化することで、収束が早 く、精度が向上した  考察:この論文での「カーネル化」は従来のカーネル化よりも ちょっと弱い – 通常のカーネル法では𝚽で行った先での任意の線形関数(が 元の食空間では非線形にみえる)を考えるが、この論文では とれる関数に制約がかかる • 本来の形:𝑔𝑖 𝐱 = 𝚽 𝐱(𝑖) , 𝐰 • この論文:𝑔𝑖 𝐱 = 𝚽 𝐱(𝑖) , 𝚽 𝐰 (自由度低い) 論文の概要: 畳み込み操作をカーネル関数で非線形化したらよかった

×