Download as PDF, PPTX
Uploaded byHirokatsu Kataoka
TensorFlowによるCNNアーキテクチャ構築
Googleが2015年11月に配布した機械学習フレームワークであるTensorFlowについて、概要からCNN (Convolutional Neural Networks)アーキテクチャ構築までの説明をまとめました。研究所内の勉強会で用いた資料です。ディープラーニングの学習用にどうぞ！ サンプルコードも下記リンクにしばらく置いておきます。 http://www.hirokatsukataoka.net/temp/TensorFlow/my_cnn.tar.gz http://www.hirokatsukataoka.net/temp/TensorFlow/my_cnn.zip
More Related Content
Similar to TensorFlowによるCNNアーキテクチャ構築
TensorFlowによるCNNアーキテクチャ構築
- 1. TensorFlow – 概要からCNNアーキテクチャ構築まで – 片岡裕雄 http://www.hirokatsukataoka.net/
- 2. 概要 • TensorFlowについて – フレームワーク – ドキュメント • インストール∼サンプル動作 – Mac/Ubuntu – サンプルコード • CNNアーキテクチャ構築 – 自らのデータでCNNアーキテクチャを構築
- 3.
- 4. TensorFlowとは？ • Googleが2015/11に発表した機械学習フレームワーク – ディープラーニングを含む機械学習をカバー – 画像のみならず，音声や言語処理など – Convolutional Neural Networks (CNN), Recurrent Neural Networks (RNN)等 h"ps://www.tensorflow.org/
- 5. どんな人が作っているの？ • Corresponding Authors:Jeffrey Dean & Rajat Monga • Jeffrey Dean (Google Senior Fellow) – 伝説のプログラマ – Google翻訳，BigTable，MapReduce， GoogleBrain，LevelDB，TensorFlowなど – ACM Fellow，National Academy of Engineering h"p://research.google.com/people/jeff/ h"ps://www.linkedin.com/in/rajatmonga • Rajat Monga (Google Research) – Googleの研究員，機械学習分野 – 論文：NIPS, ICML, CVPR等 – TensorFlow h"p://download.tensorflow.org/paper/whitepaper2015.pdf WhitePaperには総勢40名!
- 6. 特徴 (1) • 動作環境 – Apache 2.0 License – Mac / Ubuntuをサポート • Windowsは環境設定中？ – Mac：CPU – Linux：GPU/CPU (GPUはLinuxのみ対応) – GPUサポート：Cuda 7.0, CuDNN 6.5 v2
- 7. 特徴 (2) • カバーする言語，リファレンスの充実 – C++，Python – 公式ページ https://www.tensorflow.org/versions/master/api_docs/index.html にリファレンス有
- 8. 特徴 (3) • DeepFlexibility – データフローグラフの配布 – 簡易的な記述性 – Python/C++にもカバー • True Portability – CPU / GPUに対応，スケールアップが簡便 – CPUでスモールデータ試行，GPUでビッグデータ！等 – モバイル環境にも対応 • Connect Research and Production – 研究から商品化の際に大幅に書き直すのは終わったらしい – Googleでは研究者・エンジニアともにTensorFlowを使用 – 商品化への移行をスムーズに
- 9. 特徴 (4) • Auto-Differentiation – 深層学習を始めGradientベースの学習 – モデル構築が簡易的にできるように！ • Language Options – 主にPythonやC++を配布 – SWIGインタフェイスによりGo, Java, Lua, JavaScript, Rなど • Maximize Performance – 32コアCPUや4つのGPUカード – 最上級のスレッド，キュー，非同期計算
- 10. 特徴 (5) • チュートリアル – MNIST (文字認識のデータセット) • For ML Beginners • For Experts – TensorFlow Mechanics 101 (コードの配布，MNISTの詳細) – Convolutional Neural Networks (CNN) – Vector Representations of Words – Recurrent Neural Networks (RNN) – など
- 11.
- 12.
- 13. インストール • インストールは(ハマらなければ)簡単！ • Mac • Ubuntu # Ubuntu/Linux 64-bit, CPU only: $ sudo pip install --upgrade h"ps://storage.googleapis.com/tensorflow/linux/cpu/tensorflow-0.5.0-cp27-none-linux_x86_64.whl h"ps://www.tensorflow.org/versions/master/get_started/os_setup.html # Ubuntu/Linux 64-bit, GPU enabled: $ sudo pip install --upgrade h"ps://storage.googleapis.com/tensorflow/linux/gpu/tensorflow-0.5.0-cp27-none-linux_x86_64.whl # Mac OS X, CPU only: $ sudo easy_install --upgrade six $ sudo pip install --upgrade h"ps://storage.googleapis.com/tensorflow/mac/tensorflow-0.5.0-py2-none-any.whl
- 14. MNIST datasetでの学習 • 機械学習における初歩的な問題？ – 文字認識: 文字と言っても0-9までの数字10クラス – CNNのYan LeCun氏が配布 – データや最高精度の推移も下記リンクに記載 h"p://yann.lecun.com/exdb/mnist/ 文字認識のサンプル Y. LeCun+, Gradient-Based Learning Applied to Document Recognition, Proceedings of the IEEE, 86 (11): pp. 2278-2324, 1998.
- 15.
- 16. Convolutional Neural Networks(CNN) • Deep MNIST for Expertsを参考にCNNを実装 – cnn.pyとして保存 – 約99.2%の精度を実現 h"ps://www.tensorflow.org/versions/master/tutorials/mnist/pros/index.html $ python cnn.py 次以降のページで少し関数の説明&改造
- 17.
- 18.
- 19. アーキテクチャを改造！ • 畳み込み層の構造をよりDeepに この部分を変更 CPCPFF※ =>CCPCCPFF※ ※ C：畳み込み層 P：プーリング層 F：全結合層 無理に変更したのでチャネルが 32=>32(1層)，64=>64(2層)です．．．
- 20.
- 21.
- 22. ネットワークアーキテクチャ • 5層アーキテクチャ – CPCPCPFF – 畳み込み+プーリング3層 – 全結合層2層 5 5 3 3 3 3 32 32 16 16 8 8 4 4 500 2 32 48 64
- 23. パラメータと学習 • パラメータ – ミニバッチ:50 – 繰り返し：500 • 学習 – 歩行者検出：Daimler dataset (Positive: 1,000 Negative: 1,000)※ – 学習：1,500サンプル – テスト：500サンプル h"p://www.gavrila.net/Datasets/Daimler_Pedestrian_Benchmark_D/ Daimler_Mono_Ped__Detecon_Be/daimler_mono_ped__detecon_be.html ※ アップロードのために最小構成にしました ※ 実際に使用する際には学習サンプル数を増やしてください
- 24. 結果 • 最小構成でも90%の識別率 – 歩行者/背景の2値識別なので特に高いわけでもない(ランダム50%) – サンプルを増やして実験した結果，99.87%の精度 • Positive：15,660サンプル • Negative：25,000サンプル • 繰り返し：30,000回
- 25. まとめ • TensorFlowの概要と，CNNアーキテクチャ構築 – TensorFlowとは？ – ニューラルネットのサンプルを動かす – 自分でアーキテクチャ構築 • データやアーキテクチャ構築など， • 自分の問題で試してみよう！