ディープラーニングの社会実装の鍵となるエッジコンピューティング

ディープラーニングの
社会実装の鍵となる
エッジコンピューティング
Idein株式会社代表取締役
中村晃一

©2019, Idein Inc. All rights reserved.
Ideinのビジョン:
実世界のあらゆる情報をソフトウェアで扱えるようにする
近年著しく進歩している画像・音声認識などを用いて実世界の情報を扱えるよう
にし、次世代の様々なシステムの自動化、生産性向上、利便性向上に貢献する
事をIdeinは目指しています
2

実世界情報を扱うシステムの例
• セキュリティ
• 人が居るときのみ記録し、容量を節約
• 人の顔などだけ高解像度で記録
• 顔認識を行い、知らない人であれば通知
• 顔認識や動作解析を行い索引をつける
• 製造業IoT
• 製品の検品
• 在庫数のカウント
• 店舗マーケティング
• 来店人数をカウント
• 人流解析
• 年齢・性別などの属性解析
• リピーター分析
3
• スマートシティ
• 人流や交通量のカウント
• スマートパーキング
• デジタルサイネージ
• インプレッション計測
• 属性解析
• 受付システム
• 顔認識による来客通知や自動応対
• インフラ監視
• コンクリートのひび割れ検出
• ケーブル劣化の検出
などなど

• 初期コスト・運用コスト
• プライバシー・機密情報の漏洩リスク
オンプレ・クラウド型AIシステムの課題
4
生のデータを送信し、サーバーで解析

解決策: エッジコンピューティング
5
デバイス側で解析し、結果のみを送信

エッジコンピューティングの需要が拡大
• 低遅延: クルマ、ロボットなど
• 高い計算負荷: 深層学習、AR/VRなど
• 常時解析: データ収集、異常検出など
• IoTデバイスの増加
• 5G
• プライバシー
6

エッジコンピューティング普及の課題(弊社の認識)
1. エッジデバイスが高額になってしまう
• 現状: カメラ1台数十万円が相場
2. ソフトウェアが様々な場所にばら撒かれる
• システムの開発・運用・保守をどうするか？
3. ビジネスモデル
7
2番目が忘れられがち

組み込みからサブスクリプションへ
ハードが価値の源泉だった時代は終わり、ソフトが製品
価値の大部分を決める時代に。
ハードをIoT化し、ソフトウェア・サービスでマネタイズす
るビジネスモデルが増えていく
8
「あらかじめAIを組込んだハードを売る」というビジネスモデルは
苦しい
1. あらかじめ完璧なAIを作りきることは不可能
2. ソフトウェア技術は急速に発展(陳腐化)する
3. ソフトウェアはますます複雑化していく
など

とは
エッジコンピューティングアーキテクチャに基づくシステム開発と運用の為の
開発者向けクラウドサービス
1. 安価なデバイスへの深層学習モデルの搭載
2. 多数のデバイスとソフトウェアの遠隔運用
3. エッジ向けアプリケーションをサブスクリプションで販売
｛;｝
9
｛;｝

高速化のアプローチ
● ハードウェアによる高速化
○ 高性能なプロセッサ、専用チップ、FPGAなどの利用
○ 並列分散処理よる高速化
● ソフトウェアによる高速化
○ モデルのアーキテクチャの改良
○ 学習手法の改良(収束を早くするなど)
○ 学習済みモデルの圧縮等の軽量化手法の利用
○ グラフコンパイラ等の最適化技術の利用

https://www.youtube.com/c/IdeinInc
11
Ideinの技術: 安価なデバイスへの深層学習の搭載
Raspberry Pi Zero: $5 Raspberry Pi 3: $35
• この技術を利用してエッジAIを開発する
為のSDKを提供
• 対応デバイスは今後拡充予定

の機能
12
アプリの遠隔インストール・設定変更
ファームウェアの遠隔更新
デバイスの死活管理
実世界情報の取得 Webとの連携
管理画面
アプリのホスティング
マーケットプレイス
管理API
(提供時期未定)
エッジデバイスへアプリケーションを遠隔インストール
次々登場する新技術を取り込み、進化していくシステムに。

クラウドAIサービス
可視化・分析サービス
通知サービス
様々なWebサービスとAPI連携
サービスの例
ストレージ/データベース

エッジAIのマーケットプレイス
14
イメージ
Actcastオフィシャル版より開設
既にあるアプリを選択して、遠隔インストー
ルして使用

サービス料金
15
• エンドユーザーは、ベンダの定めるアプリの料金のみをお支払い
• その他、初期費用・固定費用・従量課金はなし
• Ideinはアプリが売上から手数料分を徴収
公開形態 1デバイス,1日あたり手数料通信料
公開￥10とアプリ料金の30%の大きい方
￥100/10万回
+
￥100/1GB
限定公開￥160とアプリ料金の30%の大きい方
非公開￥160
ユーザーベンダー
アプリ料金
手数料 +
通信料
(ボリュームディスカウントは応相談)

Idein
Actcast
マーケット
プレイス
デバイス・アプリの
管理
¥ ¥
AIベンダ
個人の開発者
デバイスメーカー ITサービスベンダ
¥
¥
¥ ¥
¥
Actcast対応
IoTデバイス
サービス
エンドユーザ
ソリューションベンダー
実世界情報
運営
遠隔
インストール
アプリ利用料アプリ
アプリ利用料から
手数料分を徴収
登録(無料)
購入
アプリ利用料
SDK提供(無料)
利用料代金
代金利用料
デバイス・アプリ・サービスを
自由に組み合わせて、実世界
情報を扱うシステムを手軽に
構築出来る
デバイス・アプリの遠
隔運用、デバイスで取
得した情報とWebの連
携などの機能を提供
機械学習モデルだけで
直接マネタイズできる
低コストでデバイスにAIを
搭載しプラットフォーム化
出来る
分析・可視化
・通知等
安価なデバイスで深層
学習を動かすアプリを
簡単に作れる

現在α版を無償公開中
17
http://actcast.io

パートナー募集中: Actcast Partners
Webサービス
データ分析・可視化・ユーザーインタフェー
スなどの開発・運営
デバイス
ハードウェアの設計・試作・量産、
カメラ・センサー・ケース等の販売、
設置保守サービスなど
アルゴリズム
画像認識・音声認識・信号処理など
通信
IoTデバイス向けの通信サービス
ソリューション
エンドユーザー向けのソリューションの開発
やシステムインテグレーション、コンサル
ティングなど
実証実験
概念実証実験の為の場・機会・
資金サポートなどの提供
18
SDK等への早期アクセスや商品開発支援を行う無償のプログラムを実施中(2019.6B時点で18社)
資料: https://actcast.io/docs/files/ja/partner_program.pdf

会社概要
• ビジョン
実世界のあらゆる情報をソフトウェアで扱えるようにする
• コア技術
エッジデバイス向けの深層学習推論の高速化技術
• 事業
1. エッジコンピューティングプラットフォーム, Actcast
2. 自動車開発での協業
19
社名 Idein Inc. (読み: イデイン)
設立日 2015年4月7日
所在地東京都千代田区
ウェブサイト https://idein.jp
資本金約4.2億円 (資本準備金を含む)
社員数 34名(アルバイトを除く)

Appendix
20

エッジAIデバイスとしての
Raspberry Piの優位性

ポイント
ラズパイは大きな市場を既に持つが、対抗製品を支えるのはAI市場のみ
教育・ホビー・サイネージ・機械制御・IoT AI AI
約100万台/月の出荷数と
年40%の成長を支える
巨大市場が既にある
まだ小さいAI市場に依存してお
り数千～数万台/月の出荷数
✔ 安価
✔ 高品質
✔ 大きなエコシステム
✘ 高価
✘ 低品質
✘ 小さなエコシステム
ラズパイ対抗製品

対抗製品
● エッジAI用途を想定した安価な製品
○ Intel Movidius Myriad (2, X)
○ NVIDIA Jetson (TX1, TX2, Nano)
○ Google Edge TPU
○ Ultra96 (XilinxのFPGA)
Ultra96 Edge TPU Jetson Nano
Myriad

価格速度精度品質知名度供給 SWエコ
システム
HWエコシ
ステム
Raspi ◎ △ ◎ ◎ ◎ ◎ ◯ ◎
Myriad ◯ ◯ ◎ △ △ ◯ △ ◯
Jetson △ ◯ ◎ ◯ △ ？ △ △
Edge
TPU
◯ ◎ △ △ △ △ △ ◯
Ultra96 △ ◎ △ △ △ △ △ △
速度のみがネックであり、ここをIdeinが解決した事によって
最も優位なエッジAI向けデバイスとなったと言える比較表

価格
デバイス価格備考
Raspberry Pi $5～$35
Myriad $99～ Neural Compute Stick 2の価格。別途Raspberry PiもしくはPCが必要。
チップ単体だと安いはず(非公開)だが、相当の量産効果が効かないと最終製品は$99よりさらに高くなるだ
ろう
Jetson $99～ $99はJetson Nanoの開発ボードの価格。Jetson Nanoのモジュールは1000個買った時のディスカウント
価格が$129で、別途マザーボードの開発が必要。最終製品は数百ドルになるだろう。
Edge TPU $75～ $75はUSB Acceleratorの価格で、別途Raspberry PiもしくはPCが必要。
Ultra96 $250

速度
デバイス速度備考
Raspberry Pi 28.8GFLOPS ラズパイ搭載GPUの性能。全シリーズで同一性能。float32のみ。
Myriad 1TFLOPS Myriad Xの性能。float16のみ。
Jetson 472GFLOPS Jetson Nanoのfloat16での数値。float32だと236GFLOPS
Edge TPU 4TOPS Int8のみ。
Ultra96 N/A 回路を書き換える方式なので比較は出来ない。float16,float32ではラズパイに比べても劇的に遅いが、bit数を減
らすとこの中でも最速になり得る

精度
Raspberry Pi ◎ float32のみ
Myriad ◎ float16のみ
Jetson ◎ float16,32のどちらも可
Edge TPU 〇 int8のみ
Ultra96 △ int8かそれ以下までビットを削った上で、さらにpruning等を行う

品質
● 熱が主な問題となる
Raspberry Pi ◎ 動作温度範囲: -40°～85°
Myriad △ 動作温度範囲: 0°～40°
Jetson 〇動作温度範囲: TX2は-25°～80°、Nanoは非公表だが大きなヒートシンク
と、台に載せての動作が必要
Edge TPU △ 動作温度範囲: 0°～50°
Ultra96 △ 動作温度範囲は非公表だがファンが必要。

供給
デバイス出荷数/月供給保証推定方法
Raspberry Pi 約100万 3B+が2023、CM3+が2026年まで販売統計より外挿して推定
Myriad 数万顧客毎の対応と思われる DJI Sparkというドローンで最も使用されていると言われている。DJIのド
ローンが年間200万台程度、うち6%がSparkという所から推定
ドローンビジネス調査報告書2018 インプレス総合研究所
2018 Drone Market Sector Report by Skylogic Research
Jetson ？顧客毎の対応と思われる統計情報は非公開。
Edge TPU 数千無し商品を扱っているmouserの在庫数推移から推定
(Dev Boardは技適を取れる見込みがないので日本では入手不可)
Ultra96 数千ボードは保証なし。チップは恐らくある商品を扱っているAvnet社の在庫数推移から推定

SWエコシステム
デバイス DL
SW
備考その他
SW
備考
Raspberry Pi 〇 (IdeinのSDKを使った場合) ONNXをexport出来る大
体のframeworkが使用可能
◎ Numpy, Scikit-learn, OpenCVなど多くのソフト
ウェアが動作する
周辺機器向けドライバも充実
Myriad △ OpenVINO等Intelのframeworkのみ ◎ ホストPCに接続する形なので問題ない
Jetson ◎ ほぼ全てのDL Frameworkがそのまま使用可能 △ Scikit-learnがインストールできないなどの報告
がある。OpenCVやTensorflowも通常の手順で
はインストールできない。
Edge TPU △ Tensorflow Liteのみ ◎ ホストPCに接続する形なので問題ない
Ultra96 △ 量子化・再トレーニングに対応したもののみ。例えば
DeePhiのDNNDKの場合はCaffeのみ
△ そもそもあまり検証されていないが動かないSWが
多数あるだろう

HWエコシステム
デバイス評価備考
Raspberry Pi ◎ 次ページ以降で紹介
Myriad ◯ ラズパイにつなげて使う場合には同じエコシステムにアクセスできる
Jetson △ Jetson NanoのGPIOはラズパイ互換配列なので、ラズパイ用製品が多少使える
Edge TPU ◯ ラズパイにつなげてつかぬ場合には同じエコシステムにアクセスできる
Ultra96 △ 96boards向けのセンサー等が多少使える

ラズパイが使用された製品(一部)
PLC
ゲートウェイ
業務用端末
サイネージ

カメラ(一部)
可視光・赤外・ワイドアングル・魚眼・望遠・ミニチュア・ナイトビジョン etc

無線通信(一部)
3G・4G/LTE・Lora・Sigfox etc

センサー(一部)
加速度・ジャイロ・温度・湿度・気圧・ソナー・曲げ・ガス etc

その他
PoE・GPS・UPS・RTC・Eペーパー・DAQ・Relay・太陽光発電 etc

ディープラーニングの社会実装の鍵となるエッジコンピューティング

More Related Content

What's hot

Similar to ディープラーニングの社会実装の鍵となるエッジコンピューティング

More from Deep Learning Lab（ディープラーニング・ラボ）

ディープラーニングの社会実装の鍵となるエッジコンピューティング