Vulkanを使用したAIの高速推論フレームワークであるailia SDKの実装事例を紹介します。 Vulkanを使用することで、デバイスやOSを選ば

1. Vulkanを活用した高速AIフレームワーク実装
～ailia SDKでの事例～
2021.02.10 ax Inc.

2. 名称 ax 株式会社 （エーエックス株式会社）
所在地 東京都渋谷区鶯谷町19-22塗装会館４F
代表者の
役職・氏名
代表取締役社長 寺田健彦
事業内容
AI に関するコンサルティング（AI アプリの開発等）
AI に関するフレームワークの開発、販売
ミドルウェア(AXIP)の販売
資本金 300 百万円（資本準備金含む）
決算期 3 月 31 日
設立年月日 2019 年 5 月 22 日

3. ailia SDKについて
ailia SDKはGPUを使用して高速にAI推論を行うAIフレームワーク
ONNX（opset=10、11）に対応しており、Vulkanを使用した高速推論が可能
100種類以上の学習済みモデルを提供しており、AI機能をお客様のアプリに簡単に実装可能
https://ailia.jp/

4. ailia SDKを使用するメリット
高速処理
クロスプラットフォーム対応
最適化された開発UX
・AIをリアルタイム処理させるために最適な高速動作。
・全てのプラットフォームに対して強力な高速処理チューニングを実施。
・サーバー/PC / スマートフォン / ボードコンピュータ各種に対応。
・オプションでFPGAやAIチップ、組み込み機器にも対応可能。
・全てのプラットフォームで統一されたAPI群、同一のAIモデル（ONNX）で動作。
・長期供給に対応し、後方互換性を重視。自社開発のため当社ライセンスのみで許諾可能。
マルチランゲージ対応
・C++ / C# (Unity) / Python / JNI に対応。
・Swift / Kotlin にも対応予定。

5. 採用事例
CLIP STUDIO PAINT for Galaxyにailia SDKが採用
AndroidにおけるGPUを使用した高速推論をサポート
https://prtimes.jp/main/html/rd/p/000000038.000004053.html
AIデモソフト「ailia AI showcase」を提供開始
株式会社ユニットコムのAI 開発・ディープラーニング専用パソコン/ワークステーションに採用
https://prtimes.jp/main/html/rd/p/000000031.000004053.html
AXELL及びaxがBlaizeとAIソリューション領域で協力
https://www.blaize.com/press/axell-and-blaize-collaborate/

6. ailia SDKのアーキテクチャ
Vulkan Metal AVX / NEON
Accelerator (Convolution, Pooling, Resize, Add etc)
Runtime Graph Optimization
API (C++, Python, C#, JNI)
ONNX (opset=10, 11) (supporting over 100 layer)
ailia SDK
ailia MODELS

7. Vulkanを使用するモチベーション
GPUを選ばずに動作させたい
GeForce、Radeon、IrisGraphics、Mali、Adrenoなど全てに対応
OSを選ばずに動作させたい
Windows、Android、Linux（Mac、iOSはMetalを使用）
ユーザ環境に特殊なソフトウェアをインストールせずにGPU推論を行いたい
Vulkanはゲームで広く使用されているため標準ドライバのみで動作
配布するライブラリサイズを小さくしたい
cudnn_cnn_infer64_8.dllが444MBに対して、ailia_vulkan.dllは2.8MB

8. ailia AI showcase
Windows (RTX2080) + VulkanでAIの高速推論を行うデモ
各種のAIモデルをVulkanを使用して高速推論を行なうことが可能
物体認識：YOLOv3-tiny
顔認識：YOLOv3 Face
物体抽出：HRNetV2
髪検出：HairSegumentation
群衆計測：CrowdCounting
物体識別：ResNet50
骨格検出：LightWeightHumanPose
超解像：SRResNet
ノイズ除去：Noise2Noise
個人識別：VGGFace2

9. VulkanにおけるAI処理の高速化
ランタイムグラフ最適化とレイヤーフュージョンでAI処理を高速化
ConvolutionやPoolingなどの各種のレイヤーをVulkanのCompute Shaderを使用して実装
AI処理において最も重いConvolutionを高速化するため、Winograd Algorithmをシェーダ実装

10. Winograd Algorithmについて
Convolution の入出力に変換をかけることで行列積計算の計算量を減らすことができる
変換は少々重いが計算時間の大部分を占める行列積を減らすことができる
https://arxiv.org/abs/1509.09308
3x3 Convolutionにおいて、4 個の出力を得るのに36回の積和算が 16 回に削減可能
フィルタ係数
画像
変換
変換
行列積 変換

11. Convolutionの行列積の最適化
GEMMのブロックサイズは M=N=K=4
一部アーキテクチャ（Adreno）ではM=8
ブロック内の行列積を各Invocation（CUDAにおけるThread相当）で計算
Workgroupの同期などは行わない
メモリを16バイトにアラインしてvec4型として一命令で読み込み
以後の処理もできるだけベクトルを分解せずに扱うことでメモリアクセスを最適化

12. コマンドバッファ管理
vkQueueSubmitのオーバーヘッドが無視できないので、サブスレッド化で負荷を軽減
1. コマンドバッファを処理するスレッドを別に立てる
2. ailiaのAPI経由で処理が要求されると、専用スレッドにコマンドバッファがキューされる
3. 専用スレッドがアイドル時に、キューのコマンドバッファを一斉にvkQueueSubmit
ready_command_buffer_vector
vkQueueWaitIdle
vkQueueSubmit
Graph Parse
Convolution + Activation
Main Thread Sub Thread
Pooling

13. まとめ
Vulkanを使用することで、デバイスとOSを選ばず、標準ドライバのみでAIの高速推論を実現
100種類を超えるAIモデルでVulkanによる高速推論を実証
ailia SDKを使用することでVulkanを使用した高速推論を簡単にアプリに組み込み可能

14. 最後に
ax株式会社ではコンサルティングからモデル作成、SDKの提供、AIを利用したアプリ・システム開
発、サポートまで、 AIに関するトータルソリューションを提供しています。お気軽にお問い合わ
せください。
ax Inc. ホームページ https://axinc.jp/（問い合わせ先）
ax Inc. BLOG https://medium.com/axinc
ailia SDK https://ailia.jp/（無償評価版も提供中）
ailia MODELS https://github.com/axinc-ai/ailia-models
ailia AI showcase https://www.youtube.com/watch?v=lRnWX1rDRQU