4. Mobility Technologies Co., Ltd.
What is NN inference framework
-
- NN推論フレームワーク : Edge側でNNモデルをロードして推論、予測を行うエンジン
- NN推論エンジンのメリット:
- 最適化による推論速度向上
- モデルサイズ減少、メモリ節約
- モバイル(エッジ)デバイスへのデプロイが容易
reference:
https://www.bilibili.com/video/BV1fQ4y1Z7Yx/
5. Mobility Technologies Co., Ltd.
Popular NN inference engine for edge
その他(ベンチマーク*を元に調査対象から除外)
- TensorRT(nvida)
- Tensorflow lite (Google)
- Paddle lite(Baidu)
- MACE(xiaomi)
- TVM
Developed by Pros Cons
MNN Alibaba Supports direct model
conversion and the most
operator types
Performance is slightly
worse than TNN
ncnn Tencent Little memory footprint during
the model inference process
GPU inference requires
Vulkan API
TNN Tencent Strong performance Model conversion needs to
be based on ONNX
*: https://blog.titanwolf.in/a?ID=2db37403-84e8-47a2-8c90-3e3174e1a51b
16. Mobility Technologies Co., Ltd.
NN benchmark performance
https://www.zhihu.com/question/400143354
Snapdragon845 Performance Snapdragon835 Performance
ms
ms
17. Mobility Technologies Co., Ltd.
Merit and Demerit of the NN inference engines
- 長所
- アプリケーションへの組み込みがしやすい(依存がすくない、バイナリが軽い)
- モデルの推論速度向上
- モデルサイズ減少、メモリ節約
- 短所
- 推論結果に誤差がある場合がある