DLLAB DAY 2018 Keynote

1. Deep Learning:
IoT's Driving Engine
株式会社 Preferred Networks
西川 徹

2. Preferred Networks
 ミッション：IoT時代に向けた新しいコンピュータを創造する
 設 立：2014年3月
 従業員：約140名（ほとんどが研究者、エンジニア）
 所在地：東京都千代田区大手町（日本）、バークレー（アメリカ）
 事業内容: IoT（Internet of Things） + 分散機械学習
– 交通システム
– 産業用ロボット
– バイオヘルスケア
＋α

3. Humanoid Robot
PFNの注力領域：Industrial IoT に向けたAIを進める
Consumer Industrial
Cloud
Device
PhotoGame
Text
Speech
Infrastructure
Factory Robot
Automotive
Healthcare
Smart City
Industry4.0
Industrial IoT

4. Our Strategic Partners
and Collaborators

5. ファナック x PFN
すべての構成要素が協調し合う
産業用多関節ロボット・サーボモータ・CNCと最先端の分散協調型ディープラーニング技術を統合
し、モノづくりの超インテリジェント化を目指す

6. ロボティクス、工作機械への適用
バラ積み取出し
故障予知
キズ検査
熱変位補正
消耗品の寿命予測
ロボティクス 工作機械
ネットワーキングプラットフォーム

7. 特許出願済
ディープラーニングを使った異常検知
．
．
．
(1)正常時に得られた
データのみを用意
(2) ディープラーニングで
異常判定モデルを学習
テストデータ
(3) 学習したモデル
を使い異常かを判定

8. 異常な部分を抽出する
ディープラーニング技術
異常は発見されない
異常を検出
正常時の波形 異常時の波形
実際の減速機から得られた
センサデータ

9. 既存手法で検出が遅かった異常を事前に検出
新手法既存手法
判定閾値
故障直前で通知
ロボット
故障
故障
異常スコア
故障の約40日前に
アラームで通知
判定閾値
ロボット
故障50日前
15日前
経過時間

10. 工作機械でのAI利用例：サーボ制御 / 熱変位補正
温度による熱変化を
機械学習で予測
加工精度が40%向上！
サーボモーター制御の高度な調整
加減速時の振動を抑制, 高品位加工の実現

11. 国立がん研究センターとのディープラーニングのがん研究における包括的な提携

12. Accuracy for Breast Cancer Diagnosis
90%
99%
80%Mammography
SOTA Liquid Biopsy
SOTA Liquid Biopsy
with Deep Learning

13. PaintsChainer (#PaintsChainer)
 線画に着色する学習をしたNN
 U-Net+絵の拡大の学習
 1日あたり最初は20〜30万枚、現在でも2〜3万枚の線画が着色されている
http://free-illustrations.gatag.net/2014/01/10/220000.html

14. PaintsChainerの例（風景画像）
 @munashihciさんのtweetより引用

18. NNによる自然画像の生成
世界ではじめて一つの
ニューラルネットワークで
1000クラスを超える様々な
物体の生成が可能に
x=Gen(z, y)
z: 潜在因子
y: ラベル
yを遷移

20. 深層強化学習のより壊れやすい・シミュレーションが難しいデバイスへの適用

22. 深層強化学習のより壊れやすい・シミュレーションが難しいデバイスへの適用

25. Amazon Pick Test Results
Place
1
2
3
4
5
6
7
8
Team
Delft
PFN (Preferred Networks)
NimbRo Picking
MIT
Team K
ACRV
CMU-HARP
C^2M
Score
105
105
97
67
49
42
33
21

26. ロボティクスと自然言語処理の融合

27. Chainer: 2015/6/9 Release
27
A Powerful, Flexible, and Intuitive Framework of Neural Networks

28. IoT時代では、機械から生成されるデータは莫大なものとなる
2015
200 EB

29. そして非常に速いペースで増加する
2015 2020
200 EB
1.6 ZB

30. 大量データの処理には、並列コンピューティングが必要

31. Performance Comparison in Scalability of DL Frameworks
2017年5月9日公開

32. Scaling Result for CNTK, MXNet, TensorFlow and Chainer

33. PFNの国内最大規模GPUクラスタ：NVIDIA Tesla P100を1,024基
 GPU不足が研究開発のボトルネックにならないようにしてビジネスを加速
Preferred Networks、民間企業の計算環境として国内最大級のプライベート・スーパーコンピュータを9月から稼働

34. 1024GPUクラスタでImageNetの処理を15分で達成
34
0
10
20
30
40
50
60
70
Goyal et al.
(Facebook)
Codreanu et al. Cho et al.
(IBM)
You et al. Akiba et al.
(This work)
Time[min]
Training time of ResNet-50 (90 epochs) on ImageNet-1K
62min.
60min.
15min.
31min.
50min.

35. ChainerMN on Azure: 伸び続ける学習時間を解決
 InfiniBandを活用し128GPUで約100倍の高速化の実現
 XTREME DESIGN社と連携。即座にChainerMNが使える環境を2017年10月から提供

36. CloudFormationで簡単にマルチノードのChainerMN環境を実現
 テンプレートで定義: ChainerMN入りAMI + クラスタ、MPI…
 ブラウザやCLIからテンプレートを使ってStackの作成を実効
 AWSがプロビジョニング＆Stackとリソースを設定
https://aws.amazon.com/jp/cloudformation/

37.  ChainerMNの優れたスケールアウト性能を、Azureでもより
簡単に利用可能にするためARMTemplateやその他ツール群
を準備中
ChainerMN on Azure
ChainerMN環境セットアップ済みの
GPUクラスター

38. 拡大するChainerファミリー
Chainer UI
Chainer Chemistry
強化学習
画像認識
可視化
グラフ構造
大規模分散

39. Menoh公開：CPU向けのコンパクトなONNXモデル推論エンジン
 Chainer等で学習・保存したONNXフォーマットのモデルを読み込み可能
 MKL-DNN対応でインテルCPUにおける高速な推論を実現
 C++実装 ＆ 多言語ラッパーによりエッジを中心に多様な環境に対応
https://github.com/pfnet-research/menoh
Menoh

40. 17:00からの「研究を加速するChainerファミリー」にて、
弊社比戸が最新の状況についてより詳しい解説を行います

41. Copyright © 2014-
Preferred Networks All Right Reserved.