Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Caffeの特徴と最近の動向 -CNN、そしてRNNへ-

2,213 views

Published on

OSSユーザーのための勉強会 < OSS X Users Meeting > #18 AI / Deep Learning

Published in: Technology
  • Be the first to comment

Caffeの特徴と最近の動向 -CNN、そしてRNNへ-

  1. 1. Caffeの特徴と最近の動向 - CNN、そしてRNNへ - 2017/03/21 1
  2. 2. ・株式会社イーグル CTO ・先端IT活用推進コンソーシアム     クラウドテクノロジー活用部会 サブリーダー https://www.facebook.com/yasuyuki.sugai よろしくお願いしまーす ※この資料の内容は、 個人の見解です 自己紹介 菅井 康之 http://www.slideshare.net/yasuyukisugai/deep-learningcaffe ←Caffeを利用したハンズオン勉強会を 過去に開催(細かいことはこっちで。。) 今日は私の特徴量だけでも覚えて帰ってもらえればと。。。 2
  3. 3. 3
  4. 4. 4
  5. 5. 5
  6. 6. 6
  7. 7. Σ 7
  8. 8. x1 x2 Σ φ w1 w2 y 入力信号 入力信号への重み(係数) 0を超えた場合に出力(発火) b 閾値の役割(発火のしやすさ)を果たす 例)閾値を0.5にする場合、予め-0.5を 用意しておくことで0を超えにくくする (bに設定した数値の分、発火しやすくする) 8
  9. 9. x1 x2 Σ φ w1=0.5 w2=0.5 y b=-0.7 x1 x2 y 1 1 1 1 0 0 0 1 0 0 0 0 9
  10. 10. x1 x2 Σ φ w1=0.5 w2=0.5 y b=-0.2 x1 x2 y 1 1 1 1 0 1 0 1 1 0 0 0 10
  11. 11. x1 x2 Σ φ w1=-0.5 w2=-0.5 y b=0.7 x1 x2 y 1 1 0 1 0 1 0 1 1 0 0 1 11
  12. 12. x1 x2 Σ φ w1 w2 y b 12
  13. 13. x1 x2 Σ φ w1 w2 y b Σ φ Σ φw3 b w4 w5 w6 b 13
  14. 14. x1 x2 Σ φ w1=0.5 y b=-0.7 Σ φ Σ φ b=-0.7 w5=0.5 w6=0.5 x1 x2 y 1 1 0 1 0 1 0 1 1 0 0 0 w2=-0.5 w3=0.5 w2=-0.5 OR NAND AND b=0.7 14
  15. 15. y 良く見るグラフ 15
  16. 16. x1 x2 Σ φ w1 w2 y b Σ φ Σ φw3 b w4 w5 w6 b 活性化関数 
 16
  17. 17. relu <- function(x) sapply(x, function(z) max(0,z)) ggplot(data=data.frame(x=c(-6,6))) + stat_function(fun=step) + xlim(-6,6) step<-function(x){ifelse(x>0,1,0)} ggplot(data=data.frame(x=c(-6,6))) + stat_function(fun=step) + xlim(-6,6) 図を作るのに使ったRのコードを サンプルで掲載 sigmoid <- function(t){ 1/(1+exp(-t)) } ggplot(data=data.frame(x=c(-6,6))) + stat_function(fun=step) + xlim(-6,6) 17
  18. 18. 18
  19. 19. x1 x2 Σ φ w1 w2 y b Σ φ Σ φw3 b w4 w5 w6 b 19
  20. 20. 20
  21. 21. 21
  22. 22. 時間がないのでここから 22
  23. 23. 23
  24. 24. http://www.slideshare.net/yasuyukisugai/io-t-deeplearning 学習モデルを作成するために GPUインスタンスをスポットで 一時的に利用 画像が蓄積されてきたらまた スポットを立ち上げて 学習のサイクルを回す 24
  25. 25. 25
  26. 26. https://github.com/microsoft/caffe http://caffe.berkeleyvision.org/install_apt.html http://caffe.berkeleyvision.org/install_osx.html https://github.com/sh1r0/caffe-android-lib https://github.com/BVLC/caffe/tree/opencl 26
  27. 27. 27
  28. 28. https://github.com/BVLC/caffe/pulse/monthly 少し落ち着いてきたかな? 28
  29. 29. 29
  30. 30. GoogLeNet: ILSVRC14 winner https://github.com/BVLC/caffe/wiki/Model-Zoo ”Caffe offers the model definitions optimization settings pre-trained weights so you can start right away.” 30
  31. 31. 31
  32. 32. http://caffe.berkeleyvision.org/ https://github.com/BVLC/caffe/ 32 いろんなところに
 点在しちゃってる・・・ 所々更新されないのは ご愛嬌。。。
  33. 33. https://docs.google.com/presentation/d/1UeKXVgRvvxg9OUdh_UiC5G71UMscNPlvArsWER41PsU/edit#slide=id.p 個人的にはこれが一番 纏まっててわかりやすいかと 33
  34. 34. http://demo.caffe.berkeleyvision.org/ 34
  35. 35. http://places.csail.mit.edu/ 35
  36. 36. 36
  37. 37. 
 
 
 時間が限られているので、主にConvolution層とPooling層だけ説明します 37
  38. 38. 38 0.1 0.2 0.7 Convolution ReLU Pooling : : : : : : : : : : : : : : : : : : Convolution ReLU Pooling Full-Connected softmax
  39. 39. -1 -1 -1 -1 -1 -1 -1 1 -1 -1 -1 -1 -1 1 -1 -1 -1 -1 -1 1 1 1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 1 -1 -1 1 -1 -1 -1 1 -1 1 -1 -1 -1 -1 -1 -1 1 -1 1 -1 1 -1 1 1 0.1 0.45 0.45 0.45 -0.33 0.45 0.33 0.33 0.1 0.45 0.33 0.1 -0.1 0.1 0.33 x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x フィルタを1つずつ スライドして スコア算出 左上は全て一致して いるため、1となる 省略省略 39
  40. 40. 白いところが負数から 0に変化 1 0.1 0.45 0.45 0.45 -0.33 0.45 0.33 0.33 0.1 0.45 0.33 0.1 -0.1 0.1 0.33 x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x 1 0.1 0.45 0.45 0.45 0 0.45 0.33 0.33 0.1 0.45 0.33 0.1 0 0.1 0.33 x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x 40
  41. 41. x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x : 4x4を2x2に分割 分割した領域ごとに 最大値を算出し、 情報圧縮 省略省略 1 0.45 0.33 0.45 x x x x x x x x : 1 0.1 0.45 0.45 0.45 0 0.45 0.33 0.33 0.1 0.45 0.33 0.1 0 0.1 0.33 41
  42. 42. 
 42
  43. 43. 
 43
  44. 44. 44
  45. 45. • • • • • • • • • • 今日は細かい話は割愛します 45
  46. 46. 46
  47. 47. https://docs.google.com/presentation/d/1UeKXVgRvvxg9OUdh_UiC5G71UMscNPlvArsWER41PsU/edit#slide=id.g129385c8da_651_127 47
  48. 48. https://docs.google.com/presentation/d/1UeKXVgRvvxg9OUdh_UiC5G71UMscNPlvArsWER41PsU/edit#slide=id.g129385c8da_651_138 48
  49. 49. https://docs.google.com/presentation/d/1UeKXVgRvvxg9OUdh_UiC5G71UMscNPlvArsWER41PsU/edit#slide=id.g129385c8da_651_150 49
  50. 50. https://docs.google.com/presentation/d/1UeKXVgRvvxg9OUdh_UiC5G71UMscNPlvArsWER41PsU/edit#slide=id.g129385c8da_651_158 50
  51. 51. 51
  52. 52. • • • • • • 
 • • 
 52
  53. 53. • • • • 
 • 
 53
  54. 54. https://docs.google.com/presentation/d/1UeKXVgRvvxg9OUdh_UiC5G71UMscNPlvArsWER41PsU/edit#slide=id.g129385c8da_651_0 54
  55. 55. • • • • • 
 55 http://host.robots.ox.ac.uk/pascal/VOC/voc2012/
  56. 56. https://docs.google.com/presentation/d/1UeKXVgRvvxg9OUdh_UiC5G71UMscNPlvArsWER41PsU/edit#slide=id.g129385c8da_651_10 56
  57. 57. 57
  58. 58. • • 
 • 
 
 
 • • 
 58
  59. 59. https://github.com/BVLC/caffe/pull/3948 59
  60. 60. • 
 • • • • • • • • • 60
  61. 61. http://tutorial.caffe.berkeleyvision.org/caffe-cvpr15-sequences.pdf 61
  62. 62. http://tutorial.caffe.berkeleyvision.org/caffe-cvpr15-sequences.pdf 62
  63. 63. http://tutorial.caffe.berkeleyvision.org/caffe-cvpr15-sequences.pdf 63
  64. 64. http://tutorial.caffe.berkeleyvision.org/caffe-cvpr15-sequences.pdf • 64
  65. 65. • • • http://youtu.be/w2iV8gt5cd4 http://youtu.be/9VH8bn7ikbw http://jeffdonahue.com/lrcn/ 65
  66. 66. http://mscoco.org/ • • • • 66 やはりデータの入手がいつまでも課題に。。。
  67. 67. https://github.com/BVLC/caffe/pull/2033 本家に取り込まれるのに 時間がかかっただけで、 実装自体は前からあります。。。 そこまで新しい話ではないけど、 RNNがまた盛り上がってきてるし CNNとRNNを組み合わせるのは 大きな可能性を秘めているので、 取り上げてみました 67
  68. 68. おわり。 68

×