Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

SORACOM UG Explorer 2018 - IoTxAIを活用した小売業向け店舗解析サービスの仕組みとノウハウ

1,465 views

Published on

https://pages.soracom.jp/SORACOMUGExplorer-2018_LP1.html

Published in: Technology
  • Be the first to comment

SORACOM UG Explorer 2018 - IoTxAIを活用した小売業向け店舗解析サービスの仕組みとノウハウ

  1. 1. IoTxAIを活⽤した⼩売業向け店舗解析 サービスの仕組みとノウハウ SORACOM UG Explorer 2018 : IoTバックエンドセッション ABEJA Inc. Development Division ⼤⽥黒 紘之
  2. 2. Why am I here ?? IoTxAI活⽤サービスを盛り上げるために、今⽇は下記2つに 重点をおいてお話します 😎 ・サービス展開を進める上でぶつかった課題(実例付き!!) ・弊社での取組み(バックエンド実装) 皆様の取り組みに是⾮⽣かしていただければと思います!
  3. 3. 大田黒 紘之 @xecus ABEJA, Inc. Development Division Engineer 2015年新卒入社 • Device Development • Infrastructure • Video Analysis Application • DeepLearning
  4. 4. https://qiita.com/xecus/items/b7350111024b5fc2d9ae https://tech-blog.abeja.asia/entry/making-flu-warning-iot-device
  5. 5. SORACOM-UG JAWS IoT⽀部
  6. 6. AGENDA 1. 会社・サービス紹介 2. ABEJA Insight for Retail Backend 1. バックエンドの役割 2. 設計時に重要な事 with 実例 3. クラウド側/店舗側システム実装 4. エッジ解析の取り組み 3. まとめ
  7. 7. ゆたかな世界を、実装する ― Implement a Fruitful World ― 社名 株式会社ABEJA (ABEJA Inc.) 本社 東京都港区⽩⾦1-17-3 NBFプラチナタワー 代表者 代表取締役社⻑CEO 岡⽥ 陽介 設⽴ 2012年9⽉10⽇ Vision イノベーションで世界を変える 出資企業 NVIDIA 三菱UFJキャピタル株式会社 株式会社産業⾰新機構 みずほキャピタル株式会社 伊藤忠商事株式会社 株式会社インスパイア 東芝テック株式会社 ダイキン⼯業株式会社 株式会社セールスフォース・ドットコム 株式会社トプコン 株式会社NTTドコモベンチャーズ 武蔵精密⼯業株式会社 代表取締役社⻑ CEO 兼 CTO 岡⽥ 陽介 取締役 CRO(最⾼研究責任者) 緒⽅ 貴紀 取締役 COO 兼 CFO 外⽊ 直樹 取締役 ファウンダー 富松 圭介
  8. 8. 2012
  9. 9. ABEJA Platform 取得 蓄積 学習 デプロイ 推論・再学習
  10. 10. ABEJA Platform 導入事例
  11. 11. ①不良ポイントマーキング ②不良内容選択 不良ポイントのアノテーション
  12. 12. IaaS Cloud PaaS Processor On-premise Data Center API
  13. 13. ⾃動検品 異常検知 危険予測 商品仕分け
  14. 14. 異常診断 故障予測 需要予測
  15. 15. ABEJA Insight for Retail
  16. 16. Copyright © 2018 ABEJA, Inc. All rights reserved.
  17. 17. Copyright © 2018 ABEJA, Inc. All rights reserved.
  18. 18. (New) リピーター推定機能 顔画像から特徴量(個⼈識別符号) を抽出し、特徴量がマッチした⼈物 をリピート客と判断 (⾃社で研究開発したアルゴリズムを 利⽤) ※経済産業省から3⽉30⽇にリリー スされた「カメラ画像利活⽤ガイド ブックver2.0」に準拠
  19. 19. Insight for Retail 導入規模の変化 0 500 1000 1500 2000 2015年 2016年 2017年 100台 (10社50店舗) 800台 (30社200店舗) 1900台 (100社480店舗) 導入デバイス数
  20. 20. 導入企業様
  21. 21. サービス規模 Video Traffic 10TB / Day Containers 7,000+
  22. 22. サービス提供の仕組み ⾃社開発カメラ (+LiDAR) 汎⽤ネットワーク カメラ POS・IoTデバイス サービス基盤(国内)
  23. 23. 接続可能なデバイスの一例 ABEJAカメラ(⾃社開発) ⼀般的なネットワークカメラ LiDARセンサー (⼀部ベンダーのみ対応) LIDARセンサーイメージ 出典:https://jp.techcrunch.com/2017/02/13/20170212wtf-is-lidar/
  24. 24. Backend構成をお話する前に…
  25. 25. バックエンドの役割 ①店舗内の様々なデバイスからのデータを処理し、分析可能な状態にする (データデリバリー観点) ②IoT x AIサービスの導入・運用に必要な機能を社内サポートチームに提供する (運用観点) ↑実はかなり重要
  26. 26. 設計重要ポイント(データデリバリー観点) 店舗内の様々なデバイスからのデータを処理し、分析可能な状態にする 安定的かつ安全なデータ 転送の仕組み作り 多様化するデバイス・アル ゴリズム・モデルに柔軟に 対応する仕組み作り ※当たり前の話ではあるが、後回しにしていろいろ苦労した。。 3年前の過去の⾃分に伝えたい事 😭
  27. 27. ⾟かった過去… • 店舗ネットワーク環境に振り回された過去 • 店舗契約のISP障害・規制に巻き込まれる… • 店舗ネットワーク機器との⼲渉 • 店舗ネットワーク構成の複雑さ  ・情シスによる通信ブロック • サービス拡⼤時の新カメラ・アルゴリズムの対応コスト • 導⼊業種が増加して設置環境が多様化⇢デバイスも多様化する • 研究開発がどんどん進むと新しいアルゴリズム・モデルバージョンが誕⽣ • エンジニアのシステム対応⼯数が増える。嬉しい悲鳴…
  28. 28. 設計重要ポイント(運⽤観点) IoT x AIサービスの導⼊・運⽤に必要な機能を社内サポートチームに提供する デバイス管理・ 設定管理機能の提供 AI関連設定の 管理機能の提供 デバイス・AIの 品質⾒える化 + 異常検知 ※特に、デバイス品質の⾒える化を後回しにしないこと! これも過去の⾃分に伝えたい事 😭
  29. 29. ⾟かった過去… • (IoT) 現場でデバイスが故障する(何故か検証環境では動く) • 環境依存の群発故障が発⽣した場合、原因不明な事が多い。 • 設置環境多様化に伴い、想定環境から乖離した環境が出てくる • デバイスの「品質」を⾒る仕組みが当時なかった (後回しにしてた…) • (AI)オクルージョン・逆光により映像解析の品質は落ちる • レイアウト変更によりカメラの視野が遮られ、精度が低下 • (IoTxAI) 増え続けるデバイスとAIの管理⼤変… • 増え続けるデバイスとAIによる解析。保持すべき設定の多さが⼤変…
  30. 30. デバイス故障要因の実例 •電源トラブル •計画停電 / 絶縁試験 / ブレーカー / 断線(⼈為的) / 電圧不⾜ •ネットワークトラブル •ISP帯域制限 / ISP障害 / IP重複 / 特定NW機器の組み合わせ •NTPブロック •無線LANチャンネル⼲渉 / 断線(⼈為的)  ←今、1番多いケース •ネットワーク帯域不⾜ •物理的破損
  31. 31. 本当にあった事件(余談) •iPadの充電のためにシステムの電源が抜かれる •何故か特定カメラの電源がよく落ちる •信じてたコンセントが湯沸かし器の系統だった •⾃社開発カメラ 施⼯時に5V電源を10m延⻑⇢3V台まで電圧降下 •当然、何度新品に交換しても動作不良が発⽣ •スノーボード接触による物理的破損 •カメラが天を仰いでいた •NTPブロックによってずれるタイムスタンプ •1970年の世界から動画が来た
  32. 32. 解析品質に悪影響を与える要素 オクルージョン発⽣の例 逆光の例 ※七⼣などのイベントが地味に要注意。 笹の葉オクルージョンが発⽣する ※時間によって⽇光が差し込む店舗に 要注意!
  33. 33. IoTデバイス関連パラメータ例 ネットワーク関連 パラメータ デバイス関連 パラメーター IPアドレス デバイスホスト名 ネットワーク認証情報 SIMカード関連 データ出⼒設定 ・圧縮⽅法 ・FPS ・ビットレート 設置位置・画⾓・⾼さ MACアドレス DDNS デバイス認証情報 ファームウェアバージョン NW機器 F/Wバージョン
  34. 34. AI関連パラメータ例 その他 解析設定関連 顔・⼈物検出⽤パラメータ データ提供開始⽇時 データ提供終了⽇時 ダッシュボード表⽰名 解析する時間幅 誤検知防⽌⽤パラメータ リピート判断閾値 DWH認証情報 モデルバージョン ネットワークモデル
  35. 35. 安定的かつ安全なデータ 転送の仕組み作り 多様化するデバイス・アル ゴリズム・モデルに柔軟に 対応する仕組み作り デバイス管理・ 設定管理機能の提供 AI関連設定の 管理機能の提供 デバイス・AIの 品質⾒える化 + 異常検知 設計重要ポイント(まとめ)
  36. 36. Backend System
  37. 37. ⾃社開発カメラ
 (+LiDAR) 汎⽤ネットワーク カメラ POS・IoTデバイス 映像録画 システム ダッシュボード システム メール配信 システムデータ変換システム 可視化&配信系 各種運⽤ツール群(監視系、管理ツール等) 映像解析システム Powered By Support Members ABEJA Insight For Retail  サービス基盤全体像
  38. 38. カメラA 映像録画システムの実装 ABEJA Platform 録画 コンテナ (カメラA⽤) 動画変換 コンテナ (カメラA⽤) 暗号化接続 終端コンテナ データフロー監視 Metrics コンテナリポジトリ Image
  39. 39. 映像 FaceDetector (顔検出) Feature Extractor (特徴量抽出器) 映像解析システムの実装 FaceIdentifier (顔識別器) ダッシュ ボード 特徴量データベース Demographic Estimator (年齢・性別推定器) 年齢性別・リピーター判定部顔画像・特徴量抽出部 ※解析後の動画は即時破棄 ※ガイドブックに準拠したデータ管理 データフロー監視 Metrics
  40. 40. 店舗側とサービス基盤の結合部 (※クラウド型) 店舗内 機材専⽤LAN カメラカメラカメラ PoE Switch その他IoT デバイス ABEJA Router ABEJA ISP Backend 国内外 数百拠点以上 映像解析 システム サービス基盤サイド 暗号化 通信 映像録画 システム (⼀部省略)
  41. 41. バックエンドの特徴 • サービス基盤サイド • 録画・解析はデバイス・アルゴリズムに応じて柔軟にカスタム可能 • サービス拡張を楽に進めるために、交換可能なコンポーネントで構成する • 導⼊・運⽤を円滑に進めるために、社内サポートメンバー⽤システムがある • デバイス・AIの品質異常検知 • デバイス管理、AI管理…
  42. 42. バックエンドの特徴 • 店舗サイド • 機材⽤に独⽴したLAN環境を⽤意 • 店舗機材と⼲渉トラブルを減らす • 責任分界をちゃんとする • 独⾃プロバイダーバックエンドを利⽤し、暗号化伝送路を構築 • 我々がISPとなる事で、コントローラブルなインフラを作る • ISP側の制限の影響を受けない構成にする
  43. 43. 固定回線 + クラウド型解析の問題点 • 映像転送には⼀定以上の帯域が必要。回線確保に課題がある。 • 設置拠点によっては上り1MBpsも出ない場所がある  (低速なADSLプラン等) • 固定回線がなく、⼯事の難しいケースがある (例:屋外のイベント会場) LTEによる 映像伝送 エッジ 解析 (Powered by SORACOM)
  44. 44. 店舗側とサービス基盤の結合部 (※LTEによる映像伝送の例) 店舗サイド カメラカメラカメラ PoE Switch その他IoT デバイス すごい SIMカード 国内外 数百拠点以上 暗号化 通信 M2M Router 映像解析 システム サービス基盤サイド 映像録画 システム (⼀部省略) ABEJA Router
  45. 45. 店舗側とサービス基盤の結合部 (※エッジ解析) 店舗サイド カメラカメラカメラ PoE Switch その他IoT デバイス Edge Machine 国内外 数百拠点以上 サービス基盤サイド 閉域網 可視化&配信系 (⼀部省略) ABEJA Router ダッシュボード システム エッジ型解析 管理システム
  46. 46. M2M Router (IO-DATA UD-LT1) USB DONGLE (Huawei MS2131i-8) ※Globalで使⽤検討中。社内検証DONE。 USB DONGLE (AKA-020)
  47. 47. Edge Agent Deploy Handler Metrics Sender Authorizer Container Pool エッジ型解析 管理システム エッジ解析 システム構成例 録画・変換 コンテナ 解析 コンテナ 結果転送 コンテナ ※mBaasを活⽤ Base System 解析⽤マシン 店舗 クラウド 遠隔デプロイ 監視 解析データ アップロード
  48. 48. エッジ解析システム 開発裏話 • やったこと • クラウドで動いている録画・解析部をイメージ化してマシンに移植 • SORACOM SIMカード+USBドングルを筐体に挿して設定 ※1〜2⽇で解析データをクラウドにアップする所まで出来た • 開発した結果 • 固定回線のない店舗・イベント会場への導⼊が加速 • (副次効果) 海外導⼊の話が加速中! • SORACOM グローバルSIMを活⽤したバージョンの導⼊を検討
  49. 49. Conclusion • バックエンド側重要ポイント • 安定的かつ安全なデータ転送の仕組み作り • 独⾃プロバイダーバックエンドの構築 暗号化伝送路の活⽤ • 適材適所で「クラウド型解析」と「エッジ型解析」を使い分け • 多様化するデバイス・アルゴリズム・モデルに柔軟に対応する仕組み作り • 録画・解析共にコンポーネント単位で交換可能できるアーキテクチャを採⽤ ※エッジ側の回線確保にはSORACOM Airを利⽤ 😎
  50. 50. Conclusion • バックエンド側重要ポイント • デバイス・AIの品質⾒える化 + 異常検知 • デバイス管理機能の提供 • AI関連設定管理機能の提供 ※本⽇、本当はお話ししたかったのですが 時間の都合上カットしましたmm 😭 😭 😭
  51. 51. We’re Hiring! https://www.wantedly.com/companies/abeja
  52. 52. Thank you !!

×