Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

JOI夏季セミナー

4,605 views

Published on

この後ちゃんとdogs vs cats 8割出せました。

Published in: Lifestyle
  • Dating direct: ❤❤❤ http://bit.ly/2F7hN3u ❤❤❤
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here
  • Dating for everyone is here: ♥♥♥ http://bit.ly/2F7hN3u ♥♥♥
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here
  • Download or read that Ebooks here ... ......................................................................................................................... DOWNLOAD FULL PDF EBOOK here { http://bit.ly/2m6jJ5M } ......................................................................................................................... Download EPUB Ebook here { http://bit.ly/2m6jJ5M } ......................................................................................................................... Download Doc Ebook here { http://bit.ly/2m6jJ5M } ......................................................................................................................... .........................................................................................................................
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here
  • Download or read that Ebooks here ... ......................................................................................................................... DOWNLOAD FULL PDF EBOOK here { http://bit.ly/2m6jJ5M } ......................................................................................................................... Download EPUB Ebook here { http://bit.ly/2m6jJ5M } ......................................................................................................................... Download Doc Ebook here { http://bit.ly/2m6jJ5M } ......................................................................................................................... .........................................................................................................................
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here
  • DOWNLOAD THIS BOOKS INTO AVAILABLE FORMAT (Unlimited) ......................................................................................................................... ......................................................................................................................... Download Full PDF EBOOK here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... Download Full EPUB Ebook here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... ACCESS WEBSITE for All Ebooks ......................................................................................................................... Download Full PDF EBOOK here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... Download EPUB Ebook here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... Download doc Ebook here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... ......................................................................................................................... ......................................................................................................................... .............. Browse by Genre Available eBooks ......................................................................................................................... Art, Biography, Business, Chick Lit, Children's, Christian, Classics, Comics, Contemporary, Cookbooks, Crime, Ebooks, Fantasy, Fiction, Graphic Novels, Historical Fiction, History, Horror, Humor And Comedy, Manga, Memoir, Music, Mystery, Non Fiction, Paranormal, Philosophy, Poetry, Psychology, Religion, Romance, Science, Science Fiction, Self Help, Suspense, Spirituality, Sports, Thriller, Travel, Young Adult,
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here

JOI夏季セミナー

  1. 1. 畳み込みニューラルネット @kyuridenamida
  2. 2. 寝てないので日本語を話していなければ言ってください。
  3. 3. CNN(畳み込みニューラルネット)とは ● 脳の視覚野をヒントに作られたNNの一種 – 視覚系における受容野をモデル化している ● 単純型細胞と複雑型細胞 受容野 単純型細胞 複雑型細胞
  4. 4. CNN(畳み込みニューラルネット)とは ● 脳の視覚野をヒントに作られたNNの一種 – 視覚系における受容野をモデル化している ● 単純型細胞と複雑型細胞 受容野 単純型細胞 複雑型細胞
  5. 5. CNN(畳み込みニューラルネット)とは ● 脳の視覚野をヒントに作られたNNの一種 – 視覚系における受容野をモデル化している ● 単純型細胞と複雑型細胞 受容野 単純型細胞 複雑型細胞
  6. 6. CNN(畳み込みニューラルネット)とは ● 脳の視覚野をヒントに作られたNNの一種 – 視覚系における受容野をモデル化している ● 単純型細胞と複雑型細胞 単純型細胞は特定の傾きの線に反応
  7. 7. CNN(畳み込みニューラルネット)とは ● 脳の視覚野をヒントに作られたNNの一種 – 視覚系における受容野をモデル化している ● 単純型細胞と複雑型細胞 単純型細胞は特定の傾きの線に反応
  8. 8. CNN(畳み込みニューラルネット)とは ● 脳の視覚野をヒントに作られたNNの一種 – 視覚系における受容野をモデル化している ● 単純型細胞と複雑型細胞 複雑型細胞は単純型の全てに反応
  9. 9. CNN(畳み込みニューラルネット)とは ● 脳の視覚野をヒントに作られたNNの一種 – 視覚系における受容野をモデル化している ● 単純型細胞と複雑型細胞 ● 結果的には
  10. 10. CNN(畳み込みニューラルネット)とは ● 脳の視覚野をヒントに作られたNNの一種 – 視覚系における受容野をモデル化している ● 単純型細胞と複雑型細胞 ● 結果的には – 特定の傾きの線に反応することができる – しかも多少の位置のズレに対応できる – 嬉しい
  11. 11. ● 用途 CNN(畳み込みニューラルネット)とは
  12. 12. ● 用途 – 画像とか絵の処理に強い ● 視覚のモデルだから多少はね? CNN(畳み込みニューラルネット)とは
  13. 13. ● 用途 – 画像とか絵の処理に強い ● 視覚のモデルだから多少はね? – 物体カテゴリ認識 CNN(畳み込みニューラルネット)とは
  14. 14. ● 用途 – 画像とか絵の処理に強い ● 視覚のモデルだから多少はね? – 物体カテゴリ認識 CNN(畳み込みニューラルネット)とは 入力
  15. 15. ● 用途 – 画像とか絵の処理に強い ● 視覚のモデルだから多少はね? – 物体カテゴリ認識 CNN(畳み込みニューラルネット)とは 入力 kyuridenamidaですね(確信) 出力
  16. 16. ● 用途 – 画像とか絵の処理に強い ● 視覚のモデルだから多少はね? – 物体カテゴリ認識 CNN(畳み込みニューラルネット)とは 入力
  17. 17. ● 用途 – 画像とか絵の処理に強い ● 視覚のモデルだから多少はね? – 物体カテゴリ認識 CNN(畳み込みニューラルネット)とは 入力 出力 これもkyuridenamida
  18. 18. ● 用途 – 画像とか絵の処理に強い ● 視覚のモデルだから多少はね? – 物体カテゴリ認識 CNN(畳み込みニューラルネット)とは 入力
  19. 19. ● 用途 – 画像とか絵の処理に強い ● 視覚のモデルだから多少はね? – 物体カテゴリ認識 CNN(畳み込みニューラルネット)とは 入力 出力 これはパンケーキ!w
  20. 20. ● 用途 – 画像とか絵の処理に強い ● 視覚のモデルだから多少はね? – 物体カテゴリ認識 ● 画像がズレていても違っても認識する ● 普通の方法では辛いので強みが出る CNN(畳み込みニューラルネット)とは
  21. 21. ● 応用例 – 手書き文字認識 ● 一般的なNNでも可能 – Deep Dream – 囲碁 ● AIに使われたらしい CNN(畳み込みニューラルネット)とは 拾ったおじさん
  22. 22. 具体的な構成
  23. 23. 具体的な構成 ● まず画像の画素1つ1つをニューロンとして考える – 画像はchannel × height × widthで3次元 – 以降 ● ニューロンの入力を ● ニューロンの出力を と表記する(k番目のchannelの(i,j)画素)
  24. 24. 具体的な構成 ● 4つの層を使う – Convolution Layer – Pooling Layer – Local Contrast Normalization Layer – (Fully Connected Layer)
  25. 25. Convolution Layer
  26. 26. ● 受容野と単純型細胞を表現した層 – “特定のパターン”にのみ反応するようにする – Convolution(畳み込み)と呼ばれる操作を行う – 画像を切り抜いてそこだけ見るイメージ ● マスク処理みたいな Convolution Layer ⊕ =
  27. 27. Convolution Layer ● 再掲
  28. 28. ● 畳み込みの式 – フィルタという小さい画像を考える – フィルタの幅を全てH × Hとする – フィルタの(i, j)の位置の画素を と置く – この時畳み込みとは Convolution Layer (実際にはchannelの次元分増えます)
  29. 29. ● 順伝搬 – 畳み込みの定義式より (ただしfは活性化関数、bはバイアス) Convolution Layer
  30. 30. ● 逆伝搬 – 重み共有というのをしていてちょっと困る ● 重さwをM×K×H×H個しか定義しない – 本にはちょっと良くわからない方法が書いてあった ● 多分単純な逆伝搬のように考えてしまって良い ● 文献によって記述が異なるように見える ● チューターと揉めた Convolution Layer
  31. 31. Pooling Layer
  32. 32. ● 単純型細胞と複雑型細胞を表現した層 – 位置のズレをごまかすイメージ – Poolingという処理をする – 順伝搬の式は で与えられる(Pは1~∞の適当な定数) – Lp poolingという一般的な式 Pooling Layer
  33. 33. ● P = 1の時 Pooling Layer
  34. 34. ● P = 1の時 – 式は – カーネル(フィルタ)内の平均を取っていますね – 特別にaverage poolingという名前がついている Pooling Layer
  35. 35. ● P = ∞の時 Pooling Layer
  36. 36. ● P = ∞の時 – 式は – カーネル(フィルタ)内の最大を取っていますね – 特別にmax poolingという名前が付いている Pooling Layer
  37. 37. Pooling Layer 出展: http://vaaaaaanquish.hatenablog.com/entry/2015/01/26/060622
  38. 38. Pooling Layer ● 再掲
  39. 39. Local Contrast Normalization Layer
  40. 40. ● 画像の正規化を行う層 – 具体的にはコントラストのばらつきを無くす – オプション的な扱いでたまに挟んでみるとよい(?) ● 実装していないのでよく分かっていない.. – 減算正規化と除算正規化がある Local Contrast Normalization Layer
  41. 41. 実装
  42. 42. ● 目標: kaggleのDogs vs. Catsにsubmit – 学習して犬と猫を区別するコンテスト ● C++で1からCNNを実装することにした – 真面目にやり始めたのは昨日 – 昨日の夜からjoisino_チューターを巻き込んだ ● sorry_joisino_ – LCN層以外を“一応”実装しました 実装
  43. 43. 実装
  44. 44. 実装 死ぬかと思った
  45. 45. 評価
  46. 46. ● バグりすぎィ! – ある程度マシには書いたつもりだけどコード汚い – テストがしづらい ● 逆伝搬出来てるかとか調べづらい – パラメータと実装どっちが悪いのかすら判別つかず – MNISTとかで確認しながらやればよかった(反省) 評価
  47. 47. 進捗
  48. 48. ● 皆さんの発表中無限にバグを潰してました(謝罪) 進捗
  49. 49. ● 皆さんの発表中無限にバグを潰してました(謝罪) – ちゃんと聞いていました 進捗
  50. 50. ● 皆さんの発表中無限にバグを潰してました(謝罪) – ちゃんと聞いていました – 1. FullyConnectedLayerはバグってないっしょw 進捗
  51. 51. ● 皆さんの発表中無限にバグを潰してました(謝罪) – ちゃんと聞いていました – 1. FullyConnectedLayerはバグってないっしょw ● MNISTのデータを突っ込んでみようぜ!!! 進捗
  52. 52. 進捗
  53. 53. 進捗
  54. 54. 進捗
  55. 55. 進捗
  56. 56. ● 正規化関数を変えたら普通に出来た – ニューラルネットワークはクソ 進捗
  57. 57. ● 2. CNNも出来たっぽい – パラメータ探索ゲーはクソ – LCNを追加したらちょっとは変わるかも? 進捗
  58. 58. ● 3. 最新の情報 進捗
  59. 59. まとめ クソ
  60. 60. 御静聴ありがとうございました

×