推論をエッジで？いえ、PaaSです。 paasで推論を運用するとこんなに楽チン。

2. 問題

3. 問題
六本木
目黒
赤坂
品川
箱崎有楽町

4. 問題
六本木
目黒
赤坂
品川
箱崎有楽町

5. 品川 推奨パターン

6. 品川 推奨パターン
GB単位の コンテナイメージ

7. Edgeでイメージ pull出来るかな。。。

8. 通信出来るなら、
クラウドで推論もいいじゃない
！！

9. 通信出来るなら、
クラウドで推論もいいじゃない
！！
( )

10. 使用上の注意
• 推論のたびに通信が発生するので、通信コストが発生する場合
があります。
• 通信状況にリアルタイム性にかけるため、自動運転などにはご
利用できません。

11. なぜ私はナウくて素敵な
Kubernetesじゃなくて、
PaaSを使うのか
得上竜一 (とくがみりゅういち)
Microsoft MVP for AI

12. よく見るPaaS vs Container の図

13. クラウドでの実際

14. 宿題！ (今日のブログに書くこと)
Web Apps(PaaS)とAKS(k8s環境)での
10req/sec
100req/sec
1000req/sec
10000req/sec
コスト比較！

16. PaaSでどうやって動かす?

17. C#, Python ,, etc
Python
Java, go, C++
Menoh

18. tensorflowを使ったモデルのLoadとPredict
byte[] graphDef =
IOUtils.toByteArray(
this.getClass()
.getClassLoader()
.getResourceAsStream(modelPbName));
g = new Graph();
g.importGraphDef(graphDef);
Iterator<Operation> operations = g.operations();
this.s = new Session(g);
FloatBuffer fb = FloatBuffer.wrap(vector(title, maxLength));
Tensor<Float> inputTensor = Tensor.create(new long[] { 1, maxLength }, fb);
List<Tensor<?>> results = this.s.runner().feed(inputName, inputTensor)
.fetch(outputName).run();

19. いつものwarをtomcatにぽーい

20. 10層 8,660,354param
テキストを入れると
年齢とか性別を

21. 1台あたり450req/secは軽い
Tomcat
Latencyが 1桁ms

22. 言語別レイテンシ
0
2
4
6
100 rps 500 rps 1000 rps 2000 rps
RPSとレイテンシ(Java)
S1 S2 S3
0
500
1000
1500
100 rps 500 rps 1000 rps 2000 rps
RPSとレイテンシ(Python)
S1 S2 S3
(グラフはイメージです。)
(グラフはイメージです。)

23. 宿題！ (今日のブログに書くこと) ２
PythonとC#(or Java)での パフォーマンス比較
10req/sec
100req/sec
1000req/sec
でのレイテンシ比較！

24. JITコンパイラの最適化
DeepLearningはGPUで計算出来るくらいの
単純な計算の超大量繰り返し
JITコンパイラの得意分野

25. JITな言語

26. JITコンパイラの最適化の恩恵を最大化

27. （再）宿題！ (今日のブログに書くこと)
1. Web Apps(PaaS)とAKS(k8s環境)でのコスト比較！
2. PythonとC#(or Java)でのレイテンシ比較！