Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
Hideki Tanaka TokyoWebmining
ディープラーニング徹底活用
ー 画像認識編 ー
x
1
2
10
3
[Tweet]
4
@atelierhide
?@atelierhide =
5
= Lens Designer@atelierhide
6
7
= Photographer@atelierhide
8
9
10
= Organizer@atelierhide
11
12
http://pydatatokyo.connpass.com
@PyDataTokyo Organizers
@iktakahiro @punkphysicist @atelierhide
13
= Researcher@atelierhide
14
15
http://marproject.org
衛星画像をパターン認識すれば、
人知の及ばない宇宙人や文明の痕跡
を探せるのではないか?
これは計算機科学の大いなる挑戦だ!
16
17
18
19
20
21
22
Wikipediaに載ってます!
[Wikipedia]
23
宇宙のお土産!
24
研究成果は学会で発表!
[EC2014]
さて、本日のお題は…
25
x ディープラーニング画像認識
26
このトークで議論したい
たったひとつのこと
1
27
ディープラーニングで
どんなアイデアが実現出来るか?
28
アジェンダ
1. 画像認識って何?
2. ディープラーニングって何?
3. ディープラーニングを徹底活用!
29
30
1. 画像認識って何?
31
Dog or Cat?
Kaggleをご存知ですか?
32
33
= データ分析コンペKaggle
34
[Kaggle]
[Kaggle]
36
どうやって認識する?
37
画像から特徴量を抽出
機械学習
38
局所特徴量抽出
SIFT
SURF
ベクトル量子化
Bag of Visual Words (BoVW)
39
Bag of Visual Words (BoVW)
[BoVW]
参考文献
「セクシー女優で学ぶ画像分類入門」
@tkm2261さん x TokyoWebmining#26
40
Training set
Test set
: 25,000 images
: 12,500 images
41
[Kaggle]
42
60%
Accuracy
with Bag of Visual Words
43
上位のKagglerは…
44
>95%
Accuracy
with Deep Learning
45
98.5%!?
[Kaggle]
46
2. ディープラーニングって何?
多層ニューラルネットワーク
input output
hidden × n
47
Convolutional Neural Networks (CNNs)
画像認識の精度を飛躍的に向上したモデルで
特徴量抽出から分類までまとめて行う
[SuperVision]
Input Convolutional Layers Fully...
49
ImageNet Large Scale Visual Recognition Challenge 2012
Method
SuperVision
SuperVision
ISI
Team Name
Error
(5 guesses)
7...
ディープラーニングの利用は
一部の研究者に限られている?
50
No
51
世界一のモデルが無償で使えます!
52
このトークで言いたい
たったひとつのこと
1
53
54
学習済モデルを徹底活用しよう!
Core
Language
Binding
Theano/Pylearn2
cuda-convnet
OverFeat
DeCAF
Caffe
Python
C++
Lua
Python
C++
-
Python
Python
-
Python...
56
[Model Zoo]
57
Obj.
Tabby Cat
Tiger Cat
Egyptian Cat
Red Fox
Lynx
Scores
0.31
0.21
0.13
0.13
0.07
[Notebook]
58
3. ディープラーニングを徹底活用!
59
3. ディープラーニングを徹底活用!
学習済モデル
学習済モデルをどうやって活用するか?
60
61
学習済モデル活用のアイデア
① 特徴量抽出器として使う
② ファインチューニングをする
③ 物体検出に使う
62
学習済モデル活用事例 其の壱
学習済モデル活用のアイデア
① 特徴量抽出器として使う
② ファインチューニングをする
③ 物体検出に使う
63
64
[Kaggle]
65
[Caffe]
1. 学習済モデルを用いて、入力画像の特徴量を抽出
2. この特徴量を用いて、機械学習(SVM etc.)で分類
画像入力(犬&猫) 特徴量抽出
パラメータはそのまま
66 [SuperVision]
[Kaggle]
96%
Accuracy
with Pre-trained Models
68
69
[Kaggle]
70
学習済モデル活用事例 其の弐
学習済モデル活用のアイデア
① 特徴量抽出器として使う
② ファインチューニングをする
③ 物体検出に使う
71
ところで…
72
73
人工知能は人間の仕事を奪うのか?
74
すでにミュージシャンの発掘に
人工知能が使われているらしい…
それならば…
75
76
アイドルの発掘はどうか?
やってみよう!
77
人口知能によるアイドルグループ
78
その名も…
79
JKC48
80
JKC48(じんこうちのう48)
81
JKC48の作り方
82
1. アイドルの顔画像を集める
2. アイドル以外の顔画像を集める
3. 学習済モデルで特徴量を抽出する
4. 機械学習で認識器を作る
5. 認識器でメンバーをスカウトする
83
Demo
84
85
学習済モデル活用事例 其の参
学習済モデル活用のアイデア
① 特徴量抽出器として使う
② ファインチューニングをする
③ 物体検出に使う
86
1. 出力層を入力画像に合わせて変更 (分類数変更)
2. 学習済モデルのパラメータを最適化
 → ファインチューニング
画像入力 (分類数n) n分類に変更
パラメータ最適化
87 [SuperVision]
表情認識への応用を検討中
Angry, Disgust, Fear, Happy, Sad, Surprise, Neutral
88
[Fer]
夏にアート作品として発表予定!
89
90
学習済モデル活用事例 其の四
学習済モデル活用のアイデア
① 特徴量抽出器として使う
② ファインチューニングをする
③ 物体検出に使う
91
92
@punkphysicist@punkphysicist @atelierhide
x
93
Research Project for PyData NYC 2014
94
95
@punkphysicist@punkphysicist
=
白ヤギコーポレーション
Copyright 2015 Shiroyagi Corporation. All rights reserved.
カメリオ
「あなた色に染まるキュレーションアプリ」
96
Copyright 2015 Shiroyagi Corporation. All rights reserved.
サムネイル画像
97
Copyright 2015 Shiroyagi Corporation. All rights reserved.
画像のどこが一番面白いか?
98
真ん中?
Photos: [Kamelio1] [Kamelio2]
Copyright 2015 Shiroyagi Corporation. All rights reserved.
ディープラーニングを用いたアプローチ
0 1 2 3 4
Image in
Region
Detec.
Object
Reco...
Copyright 2015 Shiroyagi Corporation. All rights reserved.
1 面白そうな領域の検出
Selective Searchによる領域検出
100
[Selective Search] [RC...
Copyright 2015 Shiroyagi Corporation. All rights reserved.
ディープラーニングによる画像認識2
0 domestic cat 1.03649377823
1 domestic cat 0...
Copyright 2015 Shiroyagi Corporation. All rights reserved.
0 person 0.126184225082
1 person 0.0311727523804
2 person -0.07...
Copyright 2015 Shiroyagi Corporation. All rights reserved.
面白さのヒートマップ3
103
Copyright 2015 Shiroyagi Corporation. All rights reserved.
画像切り抜き4
104
105
まとめ
106
ディープラーニングを使って
面白いアイデアを実現しよう!
One More Thing…
107
108
http://marproject.org
学習済モデル活用のアイデア
① 特徴量抽出器として使う
② ファインチューニングをする
③ 物体検出に使う
109
110
[EC2014]
111
ディープラーニングの顔検出器による惑星探索
誤認識率低下&より人間の顔に近い構造物の発見
112
Sliding Window + 学習済モデルによる火星探索
113
African Greyの化石を発見!
114
Microsoft Azure for Research Award
を受賞しました!
115
Microsoftより1年間の計算資源貸与!
32 small compute instances
10 TB of storage
1 billion storage transactions
10 shared websites/1...
116
調査は現在も進行中…
117
ありがとうございました!
118
References
[Tweet] https://twitter.com/hamadakoichi/status/555711959916503041
[Wikipedia] http://en.wikipedia.org/wiki...
119
References
[Caffe] http://dl.caffe.berkeleyvision.org/caffe-presentation.pdf
[SuperVision] A. Krizhevsky, I. Sutskever...
Upcoming SlideShare
Loading in …5
×

ディープラーニング徹底活用 -画像認識編-

19,378 views

Published on

"Deep Learning for Image Recognition" at TokyoWebmining 42nd
http://www.eventbrite.com/e/42-web-tokyowebmining-42nd--tickets-15325824955

Keywords
Machine Learning, Object Recognition, Face Recognition, Artificial Intelligence (AI)
ディープラーニング, 深層学習, 機械学習, 画像認識, 物体認識, 顔認識, 人工知能

Published in: Technology
  • Be the first to comment

ディープラーニング徹底活用 -画像認識編-

  1. 1. Hideki Tanaka TokyoWebmining ディープラーニング徹底活用 ー 画像認識編 ー x 1
  2. 2. 2 10
  3. 3. 3 [Tweet]
  4. 4. 4 @atelierhide
  5. 5. ?@atelierhide = 5
  6. 6. = Lens Designer@atelierhide 6
  7. 7. 7
  8. 8. = Photographer@atelierhide 8
  9. 9. 9
  10. 10. 10
  11. 11. = Organizer@atelierhide 11
  12. 12. 12 http://pydatatokyo.connpass.com
  13. 13. @PyDataTokyo Organizers @iktakahiro @punkphysicist @atelierhide 13
  14. 14. = Researcher@atelierhide 14
  15. 15. 15 http://marproject.org
  16. 16. 衛星画像をパターン認識すれば、 人知の及ばない宇宙人や文明の痕跡 を探せるのではないか? これは計算機科学の大いなる挑戦だ! 16
  17. 17. 17
  18. 18. 18
  19. 19. 19
  20. 20. 20
  21. 21. 21
  22. 22. 22 Wikipediaに載ってます! [Wikipedia]
  23. 23. 23 宇宙のお土産!
  24. 24. 24 研究成果は学会で発表! [EC2014]
  25. 25. さて、本日のお題は… 25
  26. 26. x ディープラーニング画像認識 26
  27. 27. このトークで議論したい たったひとつのこと 1 27
  28. 28. ディープラーニングで どんなアイデアが実現出来るか? 28
  29. 29. アジェンダ 1. 画像認識って何? 2. ディープラーニングって何? 3. ディープラーニングを徹底活用! 29
  30. 30. 30 1. 画像認識って何?
  31. 31. 31 Dog or Cat?
  32. 32. Kaggleをご存知ですか? 32
  33. 33. 33 = データ分析コンペKaggle
  34. 34. 34 [Kaggle]
  35. 35. [Kaggle]
  36. 36. 36 どうやって認識する?
  37. 37. 37 画像から特徴量を抽出 機械学習
  38. 38. 38 局所特徴量抽出 SIFT SURF ベクトル量子化 Bag of Visual Words (BoVW)
  39. 39. 39 Bag of Visual Words (BoVW) [BoVW]
  40. 40. 参考文献 「セクシー女優で学ぶ画像分類入門」 @tkm2261さん x TokyoWebmining#26 40
  41. 41. Training set Test set : 25,000 images : 12,500 images 41 [Kaggle]
  42. 42. 42 60% Accuracy with Bag of Visual Words
  43. 43. 43 上位のKagglerは…
  44. 44. 44 >95% Accuracy with Deep Learning
  45. 45. 45 98.5%!? [Kaggle]
  46. 46. 46 2. ディープラーニングって何?
  47. 47. 多層ニューラルネットワーク input output hidden × n 47
  48. 48. Convolutional Neural Networks (CNNs) 画像認識の精度を飛躍的に向上したモデルで 特徴量抽出から分類までまとめて行う [SuperVision] Input Convolutional Layers Fully Connected Output 48
  49. 49. 49 ImageNet Large Scale Visual Recognition Challenge 2012 Method SuperVision SuperVision ISI Team Name Error (5 guesses) 7 CNNs 5 CNNs Fisher Vectors 15.3% 16.4% 26.2% 画像の1000分類タスクでSuperVisionがCNNsで圧勝
  50. 50. ディープラーニングの利用は 一部の研究者に限られている? 50
  51. 51. No 51
  52. 52. 世界一のモデルが無償で使えます! 52
  53. 53. このトークで言いたい たったひとつのこと 1 53
  54. 54. 54 学習済モデルを徹底活用しよう!
  55. 55. Core Language Binding Theano/Pylearn2 cuda-convnet OverFeat DeCAF Caffe Python C++ Lua Python C++ - Python Python - Python Pre-trained Models Framework × × ○ ○ ○ Deep Learning Frameworks 55
  56. 56. 56 [Model Zoo]
  57. 57. 57 Obj. Tabby Cat Tiger Cat Egyptian Cat Red Fox Lynx Scores 0.31 0.21 0.13 0.13 0.07 [Notebook]
  58. 58. 58 3. ディープラーニングを徹底活用!
  59. 59. 59 3. ディープラーニングを徹底活用! 学習済モデル
  60. 60. 学習済モデルをどうやって活用するか? 60
  61. 61. 61 学習済モデル活用のアイデア ① 特徴量抽出器として使う ② ファインチューニングをする ③ 物体検出に使う
  62. 62. 62 学習済モデル活用事例 其の壱
  63. 63. 学習済モデル活用のアイデア ① 特徴量抽出器として使う ② ファインチューニングをする ③ 物体検出に使う 63
  64. 64. 64 [Kaggle]
  65. 65. 65 [Caffe]
  66. 66. 1. 学習済モデルを用いて、入力画像の特徴量を抽出 2. この特徴量を用いて、機械学習(SVM etc.)で分類 画像入力(犬&猫) 特徴量抽出 パラメータはそのまま 66 [SuperVision]
  67. 67. [Kaggle]
  68. 68. 96% Accuracy with Pre-trained Models 68
  69. 69. 69 [Kaggle]
  70. 70. 70 学習済モデル活用事例 其の弐
  71. 71. 学習済モデル活用のアイデア ① 特徴量抽出器として使う ② ファインチューニングをする ③ 物体検出に使う 71
  72. 72. ところで… 72
  73. 73. 73 人工知能は人間の仕事を奪うのか?
  74. 74. 74 すでにミュージシャンの発掘に 人工知能が使われているらしい…
  75. 75. それならば… 75
  76. 76. 76 アイドルの発掘はどうか?
  77. 77. やってみよう! 77
  78. 78. 人口知能によるアイドルグループ 78
  79. 79. その名も… 79
  80. 80. JKC48 80
  81. 81. JKC48(じんこうちのう48) 81
  82. 82. JKC48の作り方 82
  83. 83. 1. アイドルの顔画像を集める 2. アイドル以外の顔画像を集める 3. 学習済モデルで特徴量を抽出する 4. 機械学習で認識器を作る 5. 認識器でメンバーをスカウトする 83
  84. 84. Demo 84
  85. 85. 85 学習済モデル活用事例 其の参
  86. 86. 学習済モデル活用のアイデア ① 特徴量抽出器として使う ② ファインチューニングをする ③ 物体検出に使う 86
  87. 87. 1. 出力層を入力画像に合わせて変更 (分類数変更) 2. 学習済モデルのパラメータを最適化  → ファインチューニング 画像入力 (分類数n) n分類に変更 パラメータ最適化 87 [SuperVision]
  88. 88. 表情認識への応用を検討中 Angry, Disgust, Fear, Happy, Sad, Surprise, Neutral 88 [Fer]
  89. 89. 夏にアート作品として発表予定! 89
  90. 90. 90 学習済モデル活用事例 其の四
  91. 91. 学習済モデル活用のアイデア ① 特徴量抽出器として使う ② ファインチューニングをする ③ 物体検出に使う 91
  92. 92. 92 @punkphysicist@punkphysicist @atelierhide x
  93. 93. 93 Research Project for PyData NYC 2014
  94. 94. 94
  95. 95. 95 @punkphysicist@punkphysicist = 白ヤギコーポレーション
  96. 96. Copyright 2015 Shiroyagi Corporation. All rights reserved. カメリオ 「あなた色に染まるキュレーションアプリ」 96
  97. 97. Copyright 2015 Shiroyagi Corporation. All rights reserved. サムネイル画像 97
  98. 98. Copyright 2015 Shiroyagi Corporation. All rights reserved. 画像のどこが一番面白いか? 98 真ん中? Photos: [Kamelio1] [Kamelio2]
  99. 99. Copyright 2015 Shiroyagi Corporation. All rights reserved. ディープラーニングを用いたアプローチ 0 1 2 3 4 Image in Region Detec. Object Recog. Scoring Cropping 99
  100. 100. Copyright 2015 Shiroyagi Corporation. All rights reserved. 1 面白そうな領域の検出 Selective Searchによる領域検出 100 [Selective Search] [RCNN]
  101. 101. Copyright 2015 Shiroyagi Corporation. All rights reserved. ディープラーニングによる画像認識2 0 domestic cat 1.03649377823 1 domestic cat 0.0617411136627 2 domestic cat -0.097744345665 3 domestic cat -0.738470971584 4 chair -0.988844156265 5 skunk -0.999914288521 6 tv or monitor -1.00460898876 7 rubber eraser -1.01068615913 8 chair -1.04896986485 9 rubber eraser -1.09035253525 10 band aid -1.09691572189 Obj Score 101
  102. 102. Copyright 2015 Shiroyagi Corporation. All rights reserved. 0 person 0.126184225082 1 person 0.0311727523804 2 person -0.0777613520622 3 neck brace -0.39757412672 4 person -0.415030777454 5 drum -0.421649754047 6 neck brace -0.481261610985 7 tie -0.649109125137 8 neck brace -0.719438135624 9 face powder -0.789100408554 10 face powder -0.838757038116 2 Obj Score ディープラーニングによる画像認識 102
  103. 103. Copyright 2015 Shiroyagi Corporation. All rights reserved. 面白さのヒートマップ3 103
  104. 104. Copyright 2015 Shiroyagi Corporation. All rights reserved. 画像切り抜き4 104
  105. 105. 105 まとめ
  106. 106. 106 ディープラーニングを使って 面白いアイデアを実現しよう!
  107. 107. One More Thing… 107
  108. 108. 108 http://marproject.org
  109. 109. 学習済モデル活用のアイデア ① 特徴量抽出器として使う ② ファインチューニングをする ③ 物体検出に使う 109
  110. 110. 110 [EC2014]
  111. 111. 111 ディープラーニングの顔検出器による惑星探索 誤認識率低下&より人間の顔に近い構造物の発見
  112. 112. 112 Sliding Window + 学習済モデルによる火星探索
  113. 113. 113 African Greyの化石を発見!
  114. 114. 114 Microsoft Azure for Research Award を受賞しました!
  115. 115. 115 Microsoftより1年間の計算資源貸与! 32 small compute instances 10 TB of storage 1 billion storage transactions 10 shared websites/10 shared mobile services 100 million service bus messages 100 GB SQL database 2 TBs network egress/month The estimated total market value: $40,000
  116. 116. 116 調査は現在も進行中…
  117. 117. 117 ありがとうございました!
  118. 118. 118 References [Tweet] https://twitter.com/hamadakoichi/status/555711959916503041 [Wikipedia] http://en.wikipedia.org/wiki/Face_on_Moon_South_Pole [EC2014] https://ipsj.ixsq.nii.ac.jp/ej/? action=repository_uri&item_id=102962&file_id=1&file_no=1 [Kaggle] https://www.kaggle.com/c/dogs-vs-cats [BoVW] https://gilscvblog.wordpress.com/2013/08/23/bag-of-words-models-for- visual-categorization/ [セクシー女優] http://www.slideshare.net/tkm2261/tokyowebmining26-3 [Model Zoo] http://caffe.berkeleyvision.org/model_zoo.html [Notebook] http://nbviewer.ipython.org/github/BVLC/caffe/blob/master/examples/ filter_visualization.ipynb
  119. 119. 119 References [Caffe] http://dl.caffe.berkeleyvision.org/caffe-presentation.pdf [SuperVision] A. Krizhevsky, I. Sutskever, and G. Hinton. Imagenet classification with deep convolutional neural networks. NIPS, 2012. [Fer] https://www.kaggle.com/c/challenges-in-representation-learning-facial- expression-recognition-challenge [Kamelio1] http://netgeek.biz/archives/25449 [Kamelio2] http://seiyuusokuhou.blog106.fc2.com/blog-entry-10356.html [Selective Search] Jasper R. R. Uijlings, Koen E. A. van de Sande, Theo Gevers, Arnold W. M. Smeulders. Selective Search for Object Recognition. IJCV, 2013. [R-CNN] R. Girshick, J. Donahue, T. Darrell, and J. Malik. Rich feature hierarchies for accurate object detection and semantic segmentation. CVPR, 2014.

×