Recommended
More Related Content
What's hot
What's hot (20)
Similar to CNNチュートリアル
Similar to CNNチュートリアル (20)
CNNチュートリアル
- 1. 実務で使えるCNN 株式会社デンソーアイティーラボラトリ 佐藤 育郎 isato@d-itlab.co.jp ViEW2015 チュートリアル講演２ Copyright © 2015 DENSO IT LABORATORY, INC. All Rights Reserved. CNN: Convolutional Neural Networks 1/33Copyright © 2015 DENSO IT LABORATORY, INC. All Rights Reserved.
- 2. 私の経歴 2005年 2005-07年 2008年 米国メリーランド大学にて博士号取得（物理） 米国の国立研究所にてポスドク デンソーアイティーラボラトリ入社 車載カメラを使った自動車の走行安全に関する 研究開発に従事 ~現在 CNNによる 歩行者検知＆ 身長・距離・ 体向き推定の 研究 NVIDIA Tegra K1使用 2/33Copyright © 2015 DENSO IT LABORATORY, INC. All Rights Reserved.
- 3. 研究紹介｜ CNNによる歩行者状態推定 単眼の画像から、１つのCNNモデルを使い 歩行者を検知し、距離・身長・体向きを同時に推定 3/33Copyright © 2015 DENSO IT LABORATORY, INC. All Rights Reserved.
- 4. 研究紹介｜ CNNによる歩行者状態推定 プ ー リ ン グ プ ー リ ン グ プ ー リ ン グ 全 結 合 全 結 合 全 結 合 畳 み 込 み 畳 み 込 み 畳 み 込 み 歩行者状態推定器に使用したCNNのネットワーク構造 検知結果（二値分類） 身体中心部のX成分（回帰） 上端部のY成分（回帰） 下端部のY成分（回帰） 体向き推定結果（四値分類） 4/33Copyright © 2015 DENSO IT LABORATORY, INC. All Rights Reserved.
- 5. 本チュートリアルの概要 論文などにはあまり書かれていないが、 応用上重要なCNNの知見をFAQ回答形式でご説明 ※ CNNの初歩的な知識があることを前提 畳み込み、プーリング、 活性化関数、コスト関数、 誤差逆伝搬法 など 5/33 理論的正当性が必ずしも現在存在しないが、 経験的に有効と推測される知見やテクニックについて お話します。 本発表内容に起因する一切の好ましからざる結果について 発表者は責任を負いません。 Copyright © 2015 DENSO IT LABORATORY, INC. All Rights Reserved.
- 6. Frequently Asked Questions 1 なぜ良い性能が出せるの？ データサンプルはどの程度必要？ ネットワーク構造はどう決定するの？ データ拡張はするべき？ 2 3 4 6/33Copyright © 2015 DENSO IT LABORATORY, INC. All Rights Reserved.
- 7. Frequently Asked Questions 1 なぜ良い性能が出せるの？ データサンプルはどの程度必要？ ネットワーク構造はどう決定するの？ データ拡張はするべき？ 2 3 4 7/33Copyright © 2015 DENSO IT LABORATORY, INC. All Rights Reserved.
- 8. 理由１．人手による特徴抽出がない プ ー リ ン グ プ ー リ ン グ プ ー リ ン グ 全 結 合 全 結 合 全 結 合 畳 み 込 み 畳 み 込 み 畳 み 込 み どんな特徴が抽出されているかは学習が終わって初めて分かる 特徴設計がデータドリブンであることが効いていると考えられる 横エッジ 斜めエッジ 多量のデータを必要とすることを示唆 8/33Copyright © 2015 DENSO IT LABORATORY, INC. All Rights Reserved.
- 9. 理由２．パラメタが様々な深さ（解像度）で学習 プ ー リ ン グ プ ー リ ン グ プ ー リ ン グ 全 結 合 全 結 合 全 結 合 畳 み 込 み 畳 み 込 み 畳 み 込 み 局所特徴を抽出するウィンドウサイズが変化 高解像な画像を使用すると性能が出ることが多い（経験上） 画像サイズの増大に合わせてプーリング回数を増やす 9/33Copyright © 2015 DENSO IT LABORATORY, INC. All Rights Reserved.
- 10. Frequently Asked Questions 1 なぜ良い性能が出せるの？ データサンプルはどの程度必要？ ネットワーク構造はどう決定するの？ データ拡張はするべき？ 2 3 4 10/33Copyright © 2015 DENSO IT LABORATORY, INC. All Rights Reserved.
- 11. 大規模データセットではCNNの性能は非常に良好 2010 NEC-UIUC 2011 Xerox 2012 U. Toronto 2013 Clarifai 2014 Google 28.2% 25.8% 16.4% 11.7% 6.67% Top-5 Error rate ILSVRCにおける歴代首位のエラー率 CNN非CNN http://image-net.org/challenges/LSVRC/ ~130万 画像枚数 ILSVRC 一般物体認識 の場合 0 0 CNN圧勝 11/33Copyright © 2015 DENSO IT LABORATORY, INC. All Rights Reserved.
- 12. 非大規模ではCNNは必ずしもstate-of-the-artに非ず PASCAL VOC2012 における CNNと非CNNの性能比較[1] ~130万 画像枚数 ILSVRC [1] M. Oquab, et al., “Learning Transferring Mid-Level Image Representations using Convolutional Neural Networks”, CVPR2014. 非CNN CNN PASCAL VOC ~1万 非CNNウイン 一般物体認識 の場合 0 12/33Copyright © 2015 DENSO IT LABORATORY, INC. All Rights Reserved.
- 13. つまり・・・ 常にCNNが優秀というわけではない 少量データの場合はむしろ既存法が良いことも 恒常的にデータが収集される仕組みがある場合は CNNの検討が妥当と考えられる というか、（特にディープな）CNNを使うのであれば、 データが日に日に収集される仕組みを整えたい 13/33Copyright © 2015 DENSO IT LABORATORY, INC. All Rights Reserved.
- 14. Frequently Asked Questions 1 なぜ良い性能が出せるの？ データサンプルはどの程度必要？ ネットワーク構造はどう決定するの？ データ拡張はするべき？ 2 3 4 14/33Copyright © 2015 DENSO IT LABORATORY, INC. All Rights Reserved.
- 15. 構造決定に関してはみんな割り切っている ある問題に対して汎化性能が最大となるような ネットワーク構造を知るすべは（現在）ない しかし設計指針が何もないというわけでもない ここでは愚直な層構造の設計指針をひとつご紹介 15/33Copyright © 2015 DENSO IT LABORATORY, INC. All Rights Reserved.
- 16. ベースモデルを設計する シンプルな定番ネットワークを設計／模倣する （いきなりdeeeeepなモデルを試さない。収束困難） 例）CIFAR-10データセット[2] [2] A. Krizhevsky, “Learning Multiple Layers of Features from Tiny Images”, 2009. CPCPCPFFF モデル 3x3フィルタ、2x2 maximum pooling を使用 活性化関数の記載は省略 プ ー リ ン グ 全 結 合 畳 み 込 み 全 結 合 全 結 合 プ ー リ ン グ 畳 み 込 み プ ー リ ン グ 畳 み 込 み カエル 3 map 64 map 64 map 128 neu. 128 neu. 10 neu. 64 map 16/33Copyright © 2015 DENSO IT LABORATORY, INC. All Rights Reserved.
- 17. まずはベースモデルがきちんと学習できるか確かめる 検証用データで （訓練用ではなく） ほどよく収束が得られている ことを確認する 17/33Copyright © 2015 DENSO IT LABORATORY, INC. All Rights Reserved.
- 18. ベースモデルを少しリッチにした比較モデルを設計する CCPCPCPFFF モデル CPCCPCPFFF モデル CPCPCCPFFF モデル プ 全畳 畳 畳 畳 畳 畳 畳 畳 畳畳畳畳 プ プ プ プププ ププ 全 全 全 全 全 全 全 全 128 128 128 128 128 128 3 3 3 64 64 64 64 64 64 64 64 64 64 64 64 18/33 ここでは畳み込み層の追加を考える Copyright © 2015 DENSO IT LABORATORY, INC. All Rights Reserved.
- 19. 各々、乱数の初期値から学習し、比較評価する モデル 検証エラー率 CPCPCPFFF（ベース） 14.07% CCPCPCPFFF 13.72% CPCCPCPFFF 13.91% CPCPCCPFFF 15.27% 19/33Copyright © 2015 DENSO IT LABORATORY, INC. All Rights Reserved.
- 20. 次のベースモデルを選択する モデル 検証エラー率 CPCPCPFFF（ベース） 14.07% CCPCPCPFFF 13.72% CPCCPCPFFF 13.91% CPCPCCPFFF 15.27% 次のターンのベースモデル 20/33Copyright © 2015 DENSO IT LABORATORY, INC. All Rights Reserved.
- 21. 比較モデルを設計する（２ターン目） CCCPCPCPFFF モデル CCPCCPCPFFF モデル CCPCPCCPFFF モデル プ 全畳 畳 畳 畳 畳 畳 畳 畳 畳畳畳畳 プ プ プ プププ ププ 全 全 全 全 全 全 全 全 畳 畳 畳 128 128 128 128 128 128 3 3 3 64 64 64 64 64 64 64 64 64 64 64 64 64 64 64 21/33Copyright © 2015 DENSO IT LABORATORY, INC. All Rights Reserved.
- 22. 各々学習し、比較評価する（２ターン目） モデル 検証エラー率 CCPCPCPFFF（ベース） 13.72% CCCPCPCPFFF 13.80% CCPCCPCPFFF 13.49% CCPCPCCPFFF 14.43% 改善がなくなるまで反復 22/33 性能良好なディープモデルが得られる Copyright © 2015 DENSO IT LABORATORY, INC. All Rights Reserved.
- 23. 学習の詳細 データ 50,000個の学習データのうち40,000個を学習に，10,000個を検証に使用 活性化関数 ReLU [3] コスト関数, 𝐹 クロスエントロピー（Softmaxによる正規化あり） dropout [4] なし 最適化方法 Mini-batch (Stochastic) Gradient Descent with Backpropagation Mini-batch サイズ 10 学習係数, 𝜆 1.0e-3 モメンタム係数, 𝜂 0.9 崩壊係数, 𝜖 5.0e-5 データ拡張 Random scaling, shifting, side-flipping, weak elastic distortion [5] データ前処理 ZCA whitening [6] [3] V. Nair and G. Hinton, “Rectified linear units improve restricted Boltzmann machines”, ICML2010. [5] I. Sato, et al., “APAC: Augmented PAttern Classification with Neural Networks”, arXiv:1505.03229. [6] A. Krizhevsky, “Learning Multiple Layers of Features from Tiny Images”, Master’s thesis, 2009. 更新式： 𝑢 ← 𝜂𝑢 − 𝜆 𝜕𝐹 𝜕𝑤 + 𝜖𝑤(𝑖) , 𝑤(𝑖+1) = 𝑤(𝑖) + 𝑢 23/33 [4] N. Srivastava, et al., “Dropout: A Simple Way to Prevent Neural Networks from Overfitting”, JMLR2014. Copyright © 2015 DENSO IT LABORATORY, INC. All Rights Reserved.
- 24. Frequently Asked Questions 1 なぜ良い性能が出せるの？ データサンプルはどの程度必要？ ネットワーク構造はどう決定するの？ データ拡張はするべき？ 2 3 4 24/33Copyright © 2015 DENSO IT LABORATORY, INC. All Rights Reserved.
- 25. アンサー 可能な限りすべきです 25/33Copyright © 2015 DENSO IT LABORATORY, INC. All Rights Reserved.
- 26. データ拡張とは？ データ拡張とは、データに適切な画像処理を施して 学習サンプルを増やすこと 例）MNISTデータセット[6] [7] P. Y. Simard, et al., “Best practices for convolutional neural networks applied to visual document Analysis”, ICDAR, 2003. [6] Y. LeCun, "Gradient-based learning applied to document recognition“ Proc IEEE, 86(11), 1998. ランダムな ホモグラフィ 弾性変形[7] 細線化 元画像 変形画像 26/33Copyright © 2015 DENSO IT LABORATORY, INC. All Rights Reserved.
- 27. データ拡張の効果： 識別性能の向上 𝟎. 𝟐𝟑 0.69 MNISTにおけるCNNの誤識別率 拡張あり 拡張なし 誤 識 別 率 [4] I. Sato, et al., “APAC: Augmented PAttern Classification with Neural Networks”, arXiv:1505.03229. 従来は特徴設計に事前知識を取り込んでいたが、 DLではデータに事前知識を取り込む 0 27/33Copyright © 2015 DENSO IT LABORATORY, INC. All Rights Reserved.
- 28. データ拡張の効果： スケール変化への頑健性 例）2枚のピラミッド画像で2オクターブのスケール変化をカバー 1枚/オクターブ 28/33Copyright © 2015 DENSO IT LABORATORY, INC. All Rights Reserved.
- 29. データ拡張の効果： 部分隠れへの頑健性 29/33Copyright © 2015 DENSO IT LABORATORY, INC. All Rights Reserved.
- 30. 検知においてこれらの頑健性を獲得するには スケールとシフトを変化させることで、 １枚の学習画像から無数の学習サンプルを生成 オ リ ジ ナ ル 画 像 学 習 サ ン プ ル 30/33Copyright © 2015 DENSO IT LABORATORY, INC. All Rights Reserved.
- 31. 例）シフト頑健性の隠れに対する効果 隠れのないデータセットからでも隠れの頑健性を獲得可能 （無数のパートモデルを学習することと同等） 31/33Copyright © 2015 DENSO IT LABORATORY, INC. All Rights Reserved.
- 32. データ拡張のポイント 32/33 エンジニアが持っている認識対象に対する事前知識によって データをかさ増しにすることが出来る 生成されたデータは可視化可能であるため、 クオリティの目視検査が容易 Copyright © 2015 DENSO IT LABORATORY, INC. All Rights Reserved.
- 33. ま と め 1 データ拡張必要？ 2 3 4 なぜ性能良好？ データセットの規模？ 構造はどう設計？ 様々な解像度における 局所特徴を学習 多いほど良い シンプルなベースモデルを まずは学習 可能な限りすべき 性能向上、頑健性に寄与 恒常的なデータ収集の 仕組みがあるとよい 層を追加したモデルと比較 33/33 データドリブンな特徴抽出 Copyright © 2015 DENSO IT LABORATORY, INC. All Rights Reserved.
- 34. Supplemental materials 34/33Copyright © 2015 DENSO IT LABORATORY, INC. All Rights Reserved.
- 35. あらかじめ決められた手順でピクセルをベクトル化し線形分類する … 特徴抽出 （輝度勾配の 方向ヒストグラムなど） ~10万次元~100次元 統計処理 baseball volleyball 確度 線形SVM 特徴量 3 2 1 従来的な画像分類手法 従来的な画像分類手法 35/33Copyright © 2015 DENSO IT LABORATORY, INC. All Rights Reserved.