e-zuka teck night LT資料 DeepLeaning on Rails

1. DEEP LEANING ON RAILS
@the_haigo
#ezuka_tech_night

2. ➤ 自己紹介
➤ Ruby での深層学習事情
➤ Railsに載せれると何が嬉しいか
➤ RedChainer on Rails
➤ Menoh on Rails(demo)
➤ 総評
➤ Deep Leaning を学ぶには
Agenda

3. ➤ Name: 隆藤唯章（タカフジ ユイショウ）
➤ Twitter: @the_haigo
➤ Github: thehaigo
➤ Job: 坊主 / フリーランスエンジニア
➤ Skill: Ruby on Rails, react redux
➤ Learning: 機械学習 ,react native(expo), flutter
➤ History: 中京大学認知科学研究科卒
About me

4. Ruby の深層学習事情

5. ➤演算が遅いので使い物にならない
➤ツールが ってない
Up to Now

6. ➤Numo Cumo(GPU演算)で大幅な高速化
➤Red-deta-tools
➤RedChainer, red-datasets,…etc
➤Menoh(ONNX)
➤PyCall
Now

7. ➤ URL https://github.com/red-data-tools/red-chainer
➤ Chainer 2.0 をベースにRubyに移植
➤ Numo Cumo(GPU)を使用するので高速
➤ 移植具合
RedChainer

8. ➤ PFN社が開発した各言語でONNXを
読み込んで推論を行うライブラリ
➤ ONNX
➤ Open Neural Network eXchange
➤ DeepLeaningのモデルを様々なフレームワーク間
で使用するためのフォーマット
➤ 学習済みモデルがあれば RubyでもNodeでも推論ができる
Menoh (ONNX)

9. ➤ URL : https://github.com/onnx/models
➤ 様々なONNXの学習済みモデルが置いてある
➤ MobileNet, YOLOv3,,,etc
➤ exampleがあるので、それを参考して入力データを加工する
Model Zoo

10. ➤ URL : https://github.com/mrkn/pycall.rb
➤ RubyでPythonを実行する
➤ RubyでKerasを読み込んで実行するのがトレンドらしい
➤ 書いてるうちにどっちを書いているのかわからなくなってきて
結局Pythonで書くことに落ち着くとかなんとか
➤ 今回は紹介のみです
PyCall

11. ➤ サービスを作りやすい
➤ djangoに比べてアプリ作成の情報が多い
➤ Rails scaffold ! Carrier wave! bootstrap! Devise!
➤ テストがしやすい
➤ RSpec FactoryBot,…etc
➤ ライブラリ読み込み済みのREPL
➤ Rubyで書ける
➤ 楽しい！
Railsに載せれると何が嬉しいか

12. RedChainer on Rails

13. ➤gem ‘red-chainer’
➤Bundle install
➤終わり！
Install

14. Example Iris Classification

15. ネットワーク

16. ➤ モデル検証やデータ整形も含めて100行ちょっと
➤ 細かく関数化したり改行があるので実質60行
➤ 学習の実行
➤ 以下で読み込みと保存
学習コード

17. Demo

18. Example Image Classification

19. ➤ 構築ネットワークはResNet18
➤ 18層で構成されたDNN
➤ 他にも34,50,101,154と深いものがあり
➤ これをベースにされているネットワークが多くある
➤ 80行くらい
➤ 学習データセットはCIFAR10
➤ 32x32の6万枚のカラーイメージ
➤ 10のクラスに分類する(100のクラスx600枚のCIFAR100もある)
ネットワーク

20. ➤ RedChainerには以下の便利ツールがあるので
記述が少なくて済む
➤ Iterators データセットをバッチサイズに合わせて分割
➤ Updater call, backward, clear-grads などの処理を行う
➤ Trainer 指定epoch数学習させファイルに書き出す
学習コード

21. 問題発生！

22. 待てども待てども
1epochも学習しない！

23. 調べてみたところ
GPUで５時間・・・
CPUだとその５倍はかかる模様

24. GPU モードはあるが画像分類で使用する
CNNのConvolution2Dレイヤーが
GPUモードで動かない
Linearレイヤーは対応してあるのでmnistはgpuモードで動く

25. ➤ installは楽
➤ GPUで動くものもあるし動かないものがある
➤ ネットワークの構築は楽なので本家のChainerのコードを見な
がら自分で組み上げると良さそう
➤ 学習したモデルの保存と読み込みは楽
➤ Trainer,Updaterなどを使いこなせると楽そう
➤ まだまだ開発中のものなので待つか、pull requestを送ろう！
Result

26. Menoh on Rails

27. ➤ Install menoh
➤ Brew install mkl-dnn eigen protobuf opencv
➤ Git clone https://github.com/pfnet-research/menoh.git
➤ cd menoh
➤ python retrieve_data.py
➤ makedir build && cd build
➤ cmake ..
➤ make && make install
➤ gem install menoh
Install

28. ➤ menoh-ruby にあるサンプルをベースに作成
➤ 読み込み、セットアップ、推論はこんな感じ
Example ImageNet VGG16

29. ➤ 推論する画像をImageMagicで加工し
➤ BinaryからPixel配列に変換
Example ImageNet VGG16

30. DEMO
https://github.com/thehaigo/dl_on_rails

31. ➤ Install はそこまで難しくない
➤ 学習済みモデルを使用するのでGPUは必要ない
➤ Model Zoo等にある学習済みを使うが
カスタマイズは容易ではない
➤ カスタマイズする場合はChainer等で学習させて
onnxに変換する必要がある
➤ 学習はpython 推論はrubyという形が無難
Result

32. ➤ NumoやCumoによって演算が速くなった
➤ RedDetaToolsでツールが ってきたがまだまだ開発中
➤ Chainer本家を参考にRedChainerで自力で実装しよう！
➤ Menohで簡単に学習済みモデルで推論ができるようになった
➤ 学習済みモデルのカスタマイズ(FineTuning)は容易ではない
➤ Ruby 楽しい！
総評

33. DeepLeaningを学ぶには

34. 以下の書籍を
Numo(or Cumo)を使ってRubyで書く

35. ありがとうございました

36. おまけ

37. ➤ 参考 https://ainow.ai/2019/01/01/159794/
➤
Matrix Numo Cumo 比較

38. Cumo が Rails Consoleで動かない
➤ irb では動く
➤ errorも initialization error (3) とかで手掛かりがない
➤ rails c で動作テストしたあとirbかruby train.rbで学習データを
railsで読み込む形にすればよさそう
➤ consoleをpryに変更しても同様
➤ Rails c でのメモリ展開やcuda読み込みに問題？