ディープラーニング徹底活用－画像認識編－

Hideki Tanaka TokyoWebmining
ディープラーニング徹底活用
ー画像認識編ー
x
1

12
http://pydatatokyo.connpass.com

@PyDataTokyo Organizers
@iktakahiro @punkphysicist @atelierhide
13

衛星画像をパターン認識すれば、
人知の及ばない宇宙人や文明の痕跡
を探せるのではないか？
これは計算機科学の大いなる挑戦だ！
16

22
Wikipediaに載ってます！
[Wikipedia]

24
研究成果は学会で発表！
[EC2014]

さて、本日のお題は…
25

x ディープラーニング画像認識
26

このトークで議論したい
たったひとつのこと
1
27

ディープラーニングで
どんなアイデアが実現出来るか？
28

アジェンダ
1. 画像認識って何？
2. ディープラーニングって何？
3. ディープラーニングを徹底活用！
29

30
1. 画像認識って何？

Kaggleをご存知ですか？
32

33
= データ分析コンペKaggle

36
どうやって認識する？

37
画像から特徴量を抽出
機械学習

38
局所特徴量抽出
SIFT
SURF
ベクトル量子化
Bag of Visual Words (BoVW)

39
Bag of Visual Words (BoVW)
[BoVW]

参考文献
「セクシー女優で学ぶ画像分類入門」
@tkm2261さん x TokyoWebmining#26
40

Training set
Test set
: 25,000 images
: 12,500 images
41
[Kaggle]

42
60%
Accuracy
with Bag of Visual Words

44
>95%
Accuracy
with Deep Learning

46
2. ディープラーニングって何?

多層ニューラルネットワーク
input output
hidden × n
47

Convolutional Neural Networks (CNNs)
画像認識の精度を飛躍的に向上したモデルで
特徴量抽出から分類までまとめて行う
[SuperVision]
Input Convolutional Layers Fully
Connected
Output
48

49
ImageNet Large Scale Visual Recognition Challenge 2012
Method
SuperVision
SuperVision
ISI
Team Name
Error
(5 guesses)
7 CNNs
5 CNNs
Fisher Vectors
15.3%
16.4%
26.2%
画像の1000分類タスクでSuperVisionがCNNsで圧勝

ディープラーニングの利用は
一部の研究者に限られている？
50

世界一のモデルが無償で使えます！
52

このトークで言いたい
たったひとつのこと
1
53

54
学習済モデルを徹底活用しよう！

Core
Language
Binding
Theano/Pylearn2
cuda-convnet
OverFeat
DeCAF
Caffe
Python
C++
Lua
Python
C++
-
Python
Python
-
Python
Pre-trained
Models
Framework
×
×
○
○
○
Deep Learning Frameworks
55

57
Obj.
Tabby Cat
Tiger Cat
Egyptian Cat
Red Fox
Lynx
Scores
0.31
0.21
0.13
0.13
0.07
[Notebook]

58

59
学習済モデル

学習済モデルをどうやって活用するか？
60

61
学習済モデル活用のアイデア
① 特徴量抽出器として使う
② ファインチューニングをする
③ 物体検出に使う

62
学習済モデル活用事例其の壱

63

1. 学習済モデルを用いて、入力画像の特徴量を抽出
2. この特徴量を用いて、機械学習(SVM etc.)で分類
画像入力(犬&猫) 特徴量抽出
パラメータはそのまま
66 [SuperVision]

96%
Accuracy
with Pre-trained Models
68

70
学習済モデル活用事例其の弐

71

73
人工知能は人間の仕事を奪うのか？

74
すでにミュージシャンの発掘に
人工知能が使われているらしい…

76
アイドルの発掘はどうか？

人口知能によるアイドルグループ
78

JKC48（じんこうちのう48）
81

1. アイドルの顔画像を集める
2. アイドル以外の顔画像を集める
3. 学習済モデルで特徴量を抽出する
4. 機械学習で認識器を作る
5. 認識器でメンバーをスカウトする
83

85
学習済モデル活用事例其の参

86

1. 出力層を入力画像に合わせて変更 (分類数変更)
2. 学習済モデルのパラメータを最適化
→ ファインチューニング
画像入力 (分類数n) n分類に変更
パラメータ最適化
87 [SuperVision]

表情認識への応用を検討中
Angry, Disgust, Fear, Happy, Sad, Surprise, Neutral
88
[Fer]

夏にアート作品として発表予定！
89

90
学習済モデル活用事例其の四

91

92
@punkphysicist@punkphysicist @atelierhide
x

93
Research Project for PyData NYC 2014

95
@punkphysicist@punkphysicist
=
白ヤギコーポレーション

サムネイル画像
97

画像のどこが一番面白いか？
98
真ん中？
Photos: [Kamelio1] [Kamelio2]

ディープラーニングを用いたアプローチ
0 1 2 3 4
Image in
Region
Detec.
Object
Recog.
Scoring Cropping
99

1 面白そうな領域の検出
Selective Searchによる領域検出
100
[Selective Search] [RCNN]

ディープラーニングによる画像認識2
0 domestic cat 1.03649377823
1 domestic cat 0.0617411136627
2 domestic cat -0.097744345665
3 domestic cat -0.738470971584
4 chair -0.988844156265
5 skunk -0.999914288521
6 tv or monitor -1.00460898876
7 rubber eraser -1.01068615913
8 chair -1.04896986485
9 rubber eraser -1.09035253525
10 band aid -1.09691572189
Obj Score
101

0 person 0.126184225082
1 person 0.0311727523804
2 person -0.0777613520622
3 neck brace -0.39757412672
4 person -0.415030777454
5 drum -0.421649754047
6 neck brace -0.481261610985
7 tie -0.649109125137
8 neck brace -0.719438135624
9 face powder -0.789100408554
10 face powder -0.838757038116
2
Obj Score
ディープラーニングによる画像認識
102

面白さのヒートマップ3
103

画像切り抜き4
104

106
ディープラーニングを使って
面白いアイデアを実現しよう！

109

111
ディープラーニングの顔検出器による惑星探索
誤認識率低下＆より人間の顔に近い構造物の発見

112
Sliding Window + 学習済モデルによる火星探索

113
African Greyの化石を発見！

114
Microsoft Azure for Research Award
を受賞しました！

115
Microsoftより1年間の計算資源貸与！
32 small compute instances
10 TB of storage
1 billion storage transactions
10 shared websites/10 shared mobile services
100 million service bus messages
100 GB SQL database
2 TBs network egress/month
The estimated total market value: $40,000

116
調査は現在も進行中…

117
ありがとうございました！

118
References
[Tweet] https://twitter.com/hamadakoichi/status/555711959916503041
[Wikipedia] http://en.wikipedia.org/wiki/Face_on_Moon_South_Pole
[EC2014] https://ipsj.ixsq.nii.ac.jp/ej/?
action=repository_uri&item_id=102962&file_id=1&file_no=1
[Kaggle] https://www.kaggle.com/c/dogs-vs-cats
[BoVW] https://gilscvblog.wordpress.com/2013/08/23/bag-of-words-models-for-
visual-categorization/
[セクシー女優] http://www.slideshare.net/tkm2261/tokyowebmining26-3
[Model Zoo] http://caffe.berkeleyvision.org/model_zoo.html
[Notebook] http://nbviewer.ipython.org/github/BVLC/caffe/blob/master/examples/
filter_visualization.ipynb

119
References
[Caffe] http://dl.caffe.berkeleyvision.org/caffe-presentation.pdf
[SuperVision] A. Krizhevsky, I. Sutskever, and G. Hinton. Imagenet classiﬁcation
with deep convolutional neural networks. NIPS, 2012.
[Fer] https://www.kaggle.com/c/challenges-in-representation-learning-facial-
expression-recognition-challenge
[Kamelio1] http://netgeek.biz/archives/25449
[Kamelio2] http://seiyuusokuhou.blog106.fc2.com/blog-entry-10356.html
[Selective Search] Jasper R. R. Uijlings, Koen E. A. van de Sande, Theo Gevers,
Arnold W. M. Smeulders. Selective Search for Object Recognition. IJCV, 2013.
[R-CNN] R. Girshick, J. Donahue, T. Darrell, and J. Malik. Rich feature hierarchies
for accurate object detection and semantic segmentation. CVPR, 2014.

ディープラーニング徹底活用－画像認識編－

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Similar to ディープラーニング徹底活用－画像認識編－

Similar to ディープラーニング徹底活用－画像認識編－ (6)

Recently uploaded

Recently uploaded (12)