Recommended
More Related Content
What's hot
What's hot (20)
DLLAB Engineer Days : ONNX Export & Optimize
- 1. ONNX Export & Optimize 2019.10 AXELL Corporation / ax Inc.
- 4. ax株式会社について ax株式会社（本社：渋谷） https://axinc.jp/ ・2019年5月設立 アクセル子会社 ・AI/ミドルウェア事業を推進 ・推論フレームワークの ailiaSDK を提供 ・その他ディープラーニングの開発支援
- 5. About ONNX
- 7. ONNXを使用したワークフロー 各種の学習系フレームワークからONNXを出力可能 エッジ側ではONNXを読み込んで一貫性のある推論が可能 Training Model Inference Menoh
- 9. ONNXの登場 2017.9 MicrosoftとFacebookがONNXをGithubで公開（PytorchとCaffe2がサポート） 2017.12 MicrosoftとFacebookとAWSがONNX 1.0を発表 2017.12 Pytorch 0.3がONNXに対応 2018.6 PFNがChainerのONNX対応を発表 2018.11 tf2onnx 0.3.1 をGithubで公開 2018.11 onnx.jsがGithubで公開 2018.12 MicrosoftがONNXRuntimeをGithubで公開
- 10. ONNXのサポートするオペレータ opset=10で142 Operator、ただしフレームワークによって対応範囲は異なる https://github.com/onnx/onnx/blob/master/docs/Operators.md Abs, Acos, Acosh, Add, And, ArgMax, ArgMin, Asin, Asinh, Atan, Atanh, AveragePool, BatchNormalization, BitShift, Cast, Ceil, Clip, Compress, Concat, Constant, ConstantOfShape, Conv, ConvInteger, ConvTranspose, Cos, Cosh, CumSum, DepthToSpace, DequantizeLinear, Div, Dropout, Elu, Equal, Erf, Exp, Expand, EyeLike, Flatten, Floor, GRU, Gather, GatherElements, Gemm, GlobalAveragePool, GlobalLpPool, GlobalMaxPool, Greater, HardSigmoid, Hardmax, Identity, If, InstanceNormalization, IsInf, IsNaN, LRN, LSTM, LeakyRelu, Less, Log, LogSoftmax, Loop, LpNormalization, LpPool, MatMul, MatMulInteger, Max, MaxPool, MaxRoiPool, MaxUnpool, Mean, Min, Mod, Mul, Multinomial, Neg, NonMaxSuppression, NonZero, Not, OneHot, Or, PRelu, Pad, Pow, QLinearConv, QLinearMatMul, QuantizeLinear, RNN, RandomNormal, RandomNormalLike, RandomUniform, RandomUniformLike, Reciprocal, ReduceL1, ReduceL2, ReduceLogSum, ReduceLogSumExp, ReduceMax, ReduceMean, ReduceMin, ReduceProd, ReduceSum, ReduceSumSquare, Relu, Reshape, Resize, ReverseSequence, RoiAlign, Round, Scan, Scatter, ScatterElements, Selu, Shape, Shrink, Sigmoid, Sign, Sin, Sinh, Size, Slice, Softmax, Softplus, Softsign, SpaceToDepth, Split, Sqrt, Squeeze, StringNormalizer, Sub, Sum, Tan, Tanh, TfIdfVectorizer, ThresholdedRelu, Tile, TopK, Transpose, Unique, Unsqueeze, Upsample, Where, Xor
- 12. IR versionとOPSET version IRは内部フォーマットが変更されるとバージョンが上がる OPSETはレイヤーが追加されるとバージョンが上がる https://github.com/onnx/onnx/blob/master/docs/Versioning.md ONNX version IR version OPSET version Diff 1.2 3 7 Upsample、Identity、Sin、Cos対応 など 1.3 3 8 Loop、If、Scanが正式対応 Max、Min、Mean、Sumのbroadcast対応 など 1.4.1 4 9 Scatter、Erf、Sign、Shrink追加 など 1.5.0 5 10 NonMaxSuppression追加 Upsamplingのdeprecated など 1.6.0 6 11 Resize仕様変更、Range追加 など
- 17. CaffeModelの場合 ウエイトはレイヤーのBlobに格納される Convolution Layer Input Tensor Output Tensor Weight as Blob
- 18. ONNXの場合 ウエイトはInputとして提供される Convolution Layer Input Tensor Output Tensor Weight as Constant Layer
- 19. ONNXの多様性 別のレイヤーの演算結果をウエイトに与えることもできる Convolution Layer Input Tensor Output Tensor Constant Layer Add Layer Constant Layer
- 21. インプレース演算 Caffeは同じBlobへのインプレース書き込みを許容 Conv -> Blob1 <- Relu ONNXは同じBlobへの書き込みは許容しない（ノードの入力と出力を同じに出来ない） Conv -> Blob1 -> Relu -> Blob2
- 23. Export ONNX
- 26. Pytorchにおけるワークアラウンド Pytorch 0.3系の学習済みモデルを変換時に 'BatchNorm2d' object has no attribute 'track_running_stats' というエラーが発生する問題への対処 詳しくは https://github.com/axinc-ai/export-to-onnx/wiki/Pytorch-Workaround を参照
- 29. Tensorflowにおけるワークアラウンド BatchNormalizationでmoving_varianceのvariableをfrozenできない問題への対処 ValueError: graph_def is invalid at node u'BatchNorm/cond/AssignMovingAvg/Switch': Input https://github.com/axinc-ai/export-to-onnx/wiki/Tensorflow-Workaround
- 30. Optimize ONNX
- 39. 1番を実施のためのONNXのオプティマイズ model = onnx.load(onnx_path) opt_passes = ['extract_constant_to_initializer', 'fuse_add_bias_into_conv', 'fuse_bn_into_conv', 'fuse_consecutive_concats', 'fuse_consecutive_log_softmax', 'fuse_consecutive_reduce_unsqueeze', 'fuse_consecutive_squeezes', 'fuse_consecutive_transposes', 'fuse_matmul_add_bias_into_gemm', 'fuse_pad_into_conv', 'fuse_transpose_into_gemm', 'eliminate_deadend', 'eliminate_identity', 'eliminate_nop_dropout', 'eliminate_nop_monotone_argmax', 'eliminate_nop_pad', 'eliminate_nop_transpose', 'eliminate_unused_initializer', ] model = onnx.optimizer.optimize(model, opt_passes ) onnx.optimizer.optimizeを使用することでグラフ最適化を行うことができる（これはとりあえず全 部入れています）https://github.com/onnx/onnx/tree/master/onnx/optimizer/passes
- 41. オプティマイズのパフォーマンス グラフは短くなったが、バッチノーマライゼーションの処理負荷があまり高くないので 実はそんなに変わらなかった 最適化前 最適化後 ONNXファイル 102.7MB 102.1MB prototxtファイル 188KB 81KB 処理時間 (10フレーム平均) 151.8ms 157.2ms メモリ使用量 152.2MB 151.9MB ONNX runtime MacPro 2013, 3.7 GHz Quad-Core Intel Xeon E5, 16GB Memory, AMD FirePro D300 2GB
- 43. Transpose削減のパフォーマンス 効果は絶大 最適化前 最適化後 ONNXファイル 553.4MB 553.4MB prototxtファイル 33KB 19KB 処理時間 (10フレーム平均) 440.9ms 307.6ms メモリ使用量 647.2MB 647.2MB ONNX runtime MacPro 2013, 3.7 GHz Quad-Core Intel Xeon E5, 16GB Memory, AMD FirePro D300 2GB
- 45. Inference ONNX
- 46. ONNX Runtimeによる推論 ONNX RuntimeのPython APIによる推論 import onnxruntime as rt onnx_sess = rt.InferenceSession("sample.onnx") X = numpy.random.random((1, 32, 32, 1)).astype(numpy.float32) pred_onnx = onnx_sess.run(None, {"in:0":X}) print(pred_onnx)
- 47. 当社が提供する ailia SDK による推論 ailia SDKのPython APIによる推論、クロスプラットフォームでGPUが使用可能 C++とC# APIにも対応しておりモバイル (iOS、Android) でもONNXを直接読み込んで推論が可能 import ailia net = ailia.Net(“sample.onnx.prototxt”,”sample.onnx”) preds_ailia = net.predict(ary)[0]
- 48. Summary
- 51. アンケートご協力お願い致します
Editor's Notes
- みんながフォークして独自実装 フォーク先のCaffeしか動かない
- Rangeは1～5などのパラメータを段階的に出力する
- EarlyTemination ＝ breakのような途中で演算を止めて次に行く 階層的な識別モデル → 顔認識→性別推定などを1モデルでやってしまう
- よく起きる track_runnning_statsのプロパティを設定しないとエラーになることがある
- Graphをフリーズする必要があるが、フリーズに失敗した際の対処方法
- 表示は変換した後のグラフを可視化したもの Keras VGG16→ONNXへ変換後 Transposeが入るのが一番大きな違い（チャンネルラスト→チャンネルファーストに変換のため） Flatten（2次元画像→1次元画像に並び替える）がReshapeになる
- PytochはチャンネルファーストなのでTransposeは入らない Gatherはテーブル参照並び替えのため重そうに見える FC＝FreeConnected（全結合層）がGemmになる
- こちらもチャンネルファースト Reshape－＞Gemmになる 素直な感じ
- Transposeが各所に入る→重くなる