Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
Chainerで知る
DeepLearning進化の歴史
自己紹介
• 名前:舛岡英人(@hidetomasuoka)
• 略歴
• 株式会社レトリバ創業メンバー
• 株式会社Preferred Infrastructure
• 株式会社ソピア(現:Accenture)
• 役職
• エンジニア
• ...
会社概要
© 2017 Retrieva, Inc. 3
会社名
設立
所在地
取締役
従業員
ミッション
事業内容
株式会社レトリバ
2016年8月
東京都千代田区富士見1-12-1 Q-DAN1991ビル4F
代表取締役社長 河原 一哉
取...
会社概要:沿革
© 2017 Retrieva, Inc. 4
Preferred Infrastructure Preferred Networks
レトリバ AI技術を人の作り出す情報に活用
(音声データ、テキストデータ)
2014年にスピ...
DeepLearningの勉強会も主催
本日のテーマ
約2年間のDeepLearningの進化を
Chainerを通して説明します
Chainerの歴史
• 2015/04 Chainer開発開始
• 2015/06 Chainer 1.0.0公開
• 2015/09: v1.3.0 (CuPy)
• 2015/11 TensorFlow公開
• 2015/11: v1.5...
時代にあわせて進化をしていったChainer
• 進化するChainer
• 出典:https://www.slideshare.net/unnonouno/chainer-76474779
Chainer誕生
Chainer 以前(2015/6以前)
• 進化するChainer
• 出典:https://www.slideshare.net/unnonouno/chainer-76474779
ここ
フレームワーク(2015/6以前)
できることもまだまだ少なかった
http://www.itmedia.co.jp/news/articles/1502/26/news109.html
http://itpro.nikkeibp.co.jp/article/NEWS/20120...
一部の人しか使っていなかった
• 一からDeep Learningを実装する技術力と数学の力がないとで
きない
• ドキュメントや参照実装がほとんどない
• 独自実装しかないため、参考にできない
Chainerの誕生
• Release Data:2015/6/8
• Official site: http://chainer.org
• Repository: https://github.com/chainer/chainer
• ...
Chainer 1.0.0リリース後(2014/6~2017/6)
• 進化するChainer
• 出典:https://www.slideshare.net/unnonouno/chainer-76474779
ここ
Tensor Flowの登場
できることが進化していった
https://research.preferred.jp/2016/01/ces2016/
https://goo.gl/srZT4Q
使う人がどんどん増えてきた
• 論文の参照実装が増えて、Githubで公開される量も増えてきた
• Tensor FlowやChainerなどで、実装されて参考にできるように
なってきた
• 機械学習界隈だけでなく、画像認識や言語処理の学会でも...
できることが増えたが。。
• できることが増えたが、より複雑なネットワークでの実験が
必要になった。
Chainer 2.0.0(2017/7 ~)
Chainer 1.0.0リリース後(2014/6~2017/6)
• 進化するChainer
• 出典:https://www.slideshare.net/unnonouno/chainer-76474779
ここ
フレームワーク(2017/7 ~)
多角化するフレームワーク機能
名前 functions example
Graphical visualization DIGITS, TensorBoard
Machine learning workflow
management
Datas...
DeepLearningのコモディティ化
一部の研究者だけでの
モノでなくなった
DeepLearningはもはや「ソフトウェア?」
DeepLearningフレームワークは、機械学習ライブラリ同じ?
計算環境の使用コストが大幅減少
※GPUは全然安くなってないです
インストールのハードルも下がった
できることも増えてきた
Chainerも進化
• 従来より33%メモリ消費量を減らした
• PyCharmなどのIDEフレンドリー
• メインレポジトリーをChainer/Chainerに移動
• リリースサイクルを3か月に1回に大幅にバージョンアップ
• Cupyの...
Cupy
• CUDA上で計算を行うNumPyサブセットのライブラリ
• 関数・メソッドのサブセットを実装
• 行列積などはcuBLASを利用(高速)
• 配列のスライス、転置、reshape 等が自由にできる
• カスタムカーネルの記述も可能...
Cupyの使い方
# CPU
x_cpu = numpy.array([1, 2, 3])
l2_cpu = numpy.linalg.norm(x_cpu)
# GPU
x_gpu = cupy.array([1, 2, 3])
L2_gpu...
Chainerも進化
Chainerによる学習を、分散処理によって高速化するための追加パッケージ
ChainerMN
Chainerで最近の深層強化学習アルゴリズムを共通のインタフェースで使える
ようにしたパッケージ
ChainerRL
Cha...
ChainerMN
• MPIとNCCLを使用した分散深層学習
ChainerRL
• 最新の深層強化学習アルゴリズムを実装する
• OpenAI Gym でも使用されています
ChainerCV
• CUB、Pascal VOCのようなデータセットに対応
• データセットの変換(random crop, random flop)
• 画像認識の一般的なフローを実装している
Chainerも進化
コミュニティ活動も進化(させたい)
• DeepLearningを学ぶだけでなく、それぞれの課題にあったコ
ミュニティ活動を展開(したい)
• 画像認識
• 音声認識
• 自然言語処理
• 強化学習
• (etc..)
Slackチーム
• Only English
• https://bit.ly/chainer-slack
• Only Japanese
• https://bit.ly/chainer-jp-slack
この機会に勉強をしたいという方
深いレベルで勉強したい方
Chainerで知るdeep learning進化の歴史
Upcoming SlideShare
Loading in …5
×

Chainerで知るdeep learning進化の歴史

1,713 views

Published on

2017/6/25
DeepLearningオールスターズ

Published in: Technology
  • Be the first to comment

Chainerで知るdeep learning進化の歴史

  1. 1. Chainerで知る DeepLearning進化の歴史
  2. 2. 自己紹介 • 名前:舛岡英人(@hidetomasuoka) • 略歴 • 株式会社レトリバ創業メンバー • 株式会社Preferred Infrastructure • 株式会社ソピア(現:Accenture) • 役職 • エンジニア • 機械学習、DeepLearning製品の導入、コンサルティング、PM
  3. 3. 会社概要 © 2017 Retrieva, Inc. 3 会社名 設立 所在地 取締役 従業員 ミッション 事業内容 株式会社レトリバ 2016年8月 東京都千代田区富士見1-12-1 Q-DAN1991ビル4F 代表取締役社長 河原 一哉 取締役 西鳥羽 二郎 14名(2017年5月現在) ソフトウェア製品の開発、販売 お客様の課題を最先端の技術で解決する
  4. 4. 会社概要:沿革 © 2017 Retrieva, Inc. 4 Preferred Infrastructure Preferred Networks レトリバ AI技術を人の作り出す情報に活用 (音声データ、テキストデータ) 2014年にスピンオフ 2016年にスピンアウト IoTに注力2006年創業以来、自然言語処理等 高い技術力で評価される
  5. 5. DeepLearningの勉強会も主催
  6. 6. 本日のテーマ 約2年間のDeepLearningの進化を Chainerを通して説明します
  7. 7. Chainerの歴史 • 2015/04 Chainer開発開始 • 2015/06 Chainer 1.0.0公開 • 2015/09: v1.3.0 (CuPy) • 2015/11 TensorFlow公開 • 2015/11: v1.5.0 (Link/Chain, CuPy in Cython) • 2016/07: v1.11.0 (Trainer) • 2017/01 ChainerMNの実験結果公表 • 2017/02 ChainerRL, ChainerCV公開 • 2017/05 ChainerMN公開 • 2017/06 Chainer 2.0.0公開
  8. 8. 時代にあわせて進化をしていったChainer • 進化するChainer • 出典:https://www.slideshare.net/unnonouno/chainer-76474779
  9. 9. Chainer誕生
  10. 10. Chainer 以前(2015/6以前) • 進化するChainer • 出典:https://www.slideshare.net/unnonouno/chainer-76474779 ここ
  11. 11. フレームワーク(2015/6以前)
  12. 12. できることもまだまだ少なかった http://www.itmedia.co.jp/news/articles/1502/26/news109.html http://itpro.nikkeibp.co.jp/article/NEWS/20120627/405501/?rt=nocnt
  13. 13. 一部の人しか使っていなかった • 一からDeep Learningを実装する技術力と数学の力がないとで きない • ドキュメントや参照実装がほとんどない • 独自実装しかないため、参考にできない
  14. 14. Chainerの誕生 • Release Data:2015/6/8 • Official site: http://chainer.org • Repository: https://github.com/chainer/chainer • Provided as a Python library (PyPI: chainer) • Main features • Powerful:Supports CUDA and multi-GPU capability • Flexible: Support almost arbitrary architectures • Intuitive: Forward prop can be written as a regular Python code
  15. 15. Chainer 1.0.0リリース後(2014/6~2017/6) • 進化するChainer • 出典:https://www.slideshare.net/unnonouno/chainer-76474779 ここ
  16. 16. Tensor Flowの登場
  17. 17. できることが進化していった https://research.preferred.jp/2016/01/ces2016/ https://goo.gl/srZT4Q
  18. 18. 使う人がどんどん増えてきた • 論文の参照実装が増えて、Githubで公開される量も増えてきた • Tensor FlowやChainerなどで、実装されて参考にできるように なってきた • 機械学習界隈だけでなく、画像認識や言語処理の学会でも Deep Learning一色になってきた
  19. 19. できることが増えたが。。 • できることが増えたが、より複雑なネットワークでの実験が 必要になった。
  20. 20. Chainer 2.0.0(2017/7 ~)
  21. 21. Chainer 1.0.0リリース後(2014/6~2017/6) • 進化するChainer • 出典:https://www.slideshare.net/unnonouno/chainer-76474779 ここ
  22. 22. フレームワーク(2017/7 ~)
  23. 23. 多角化するフレームワーク機能 名前 functions example Graphical visualization DIGITS, TensorBoard Machine learning workflow management Dataset prep, Save/Load Training loop Keras, TF slim Multi-dimensional array processing High-level array manipulation Theano, TensorFlow Torch.nn Numerical computation Matrix operation Convolution BLAS(OpenBLAS, MKL), cuBLAS, cuDNN, MKL DNN Computational device CPU, GPU, TPU, FPGA
  24. 24. DeepLearningのコモディティ化 一部の研究者だけでの モノでなくなった
  25. 25. DeepLearningはもはや「ソフトウェア?」
  26. 26. DeepLearningフレームワークは、機械学習ライブラリ同じ?
  27. 27. 計算環境の使用コストが大幅減少 ※GPUは全然安くなってないです
  28. 28. インストールのハードルも下がった
  29. 29. できることも増えてきた
  30. 30. Chainerも進化 • 従来より33%メモリ消費量を減らした • PyCharmなどのIDEフレンドリー • メインレポジトリーをChainer/Chainerに移動 • リリースサイクルを3か月に1回に大幅にバージョンアップ • Cupyの分離 Chainer • NumpyのようにかけてCUDAを実行できるライブラリー
  31. 31. Cupy • CUDA上で計算を行うNumPyサブセットのライブラリ • 関数・メソッドのサブセットを実装 • 行列積などはcuBLASを利用(高速) • 配列のスライス、転置、reshape 等が自由にできる • カスタムカーネルの記述も可能 • elementwise, reduction • とにかく簡単にGPUが使える事を追求 • Python上で簡単に多次元配列といえばNumPy • PC上で簡単にGPUといえばCUDA • CUDA +NumPy =CuPy
  32. 32. Cupyの使い方 # CPU x_cpu = numpy.array([1, 2, 3]) l2_cpu = numpy.linalg.norm(x_cpu) # GPU x_gpu = cupy.array([1, 2, 3]) L2_gpu = cupy.linalg.norm(x_gpu)
  33. 33. Chainerも進化 Chainerによる学習を、分散処理によって高速化するための追加パッケージ ChainerMN Chainerで最近の深層強化学習アルゴリズムを共通のインタフェースで使える ようにしたパッケージ ChainerRL Chainerで画像認識を簡単に扱えるようにしたパッケージ ChainerCV
  34. 34. ChainerMN • MPIとNCCLを使用した分散深層学習
  35. 35. ChainerRL • 最新の深層強化学習アルゴリズムを実装する • OpenAI Gym でも使用されています
  36. 36. ChainerCV • CUB、Pascal VOCのようなデータセットに対応 • データセットの変換(random crop, random flop) • 画像認識の一般的なフローを実装している
  37. 37. Chainerも進化
  38. 38. コミュニティ活動も進化(させたい) • DeepLearningを学ぶだけでなく、それぞれの課題にあったコ ミュニティ活動を展開(したい) • 画像認識 • 音声認識 • 自然言語処理 • 強化学習 • (etc..)
  39. 39. Slackチーム • Only English • https://bit.ly/chainer-slack • Only Japanese • https://bit.ly/chainer-jp-slack
  40. 40. この機会に勉強をしたいという方
  41. 41. 深いレベルで勉強したい方

×