Azure Perceptでかんたん実現！移動ロボット＆エッジAIによる設備点検

株式会社センシンロボティクス
Azure Perceptでかんたん実現！
移動ロボット＆エッジAIによる設備点検
IoTビジネス共創ラボ第21回オンライン勉強会
2021年12⽉8⽇
開発部⾼橋和也・菅井駿

ロボティクスの⼒で、
社会の「当たり前」を
進化させていく
M
I
S
S
I
O
N
社会/産業インフラの設備点検、災害被害状況把握等
の防災・減災対応、警備・監視といった業務を中⼼
として、労働⼈⼝減少を克服する業務の完全⾃動化
ソリューションを実現します。
センシンロボティクスは、ドローン等のロボティクス
技術を使った業務プロセス改⾰の⽀援サービスおよび
プロダクトを提供。

© SENSYN ROBOTICS, Inc. 3
センシンロボティクスは何を解決したいのか
課題先進国⽇本が抱える社会課題
少⼦⾼齢化による労働⼈⼝減少⽼朽化する社会/産業インフラ災害⼤国⽇本, 災害の甚⼤化
2022年に⽯油プラントの半数以上が稼働 50年以上
道路橋, 河川設備, 港湾設備なども軒並 40年以上
全世界のM6.0以上の
地震のうち 20.5％が⽇本で発⽣している
2020~2060年の間に労働⼈⼝は 35％減
インフラ点検作業者は 50歳代が⼤半を占める
内閣府「平成30年版⾼齢社会⽩書(全体版) 」重化学⼯業通信社「⽇本の⽯油化学⼯業50年データ集」内閣府「平成22年度版防災⽩書」
35% 50% 20%

センシンロボティクスが実現したい世界
ロボティクス技術で社会課題を解決し、持続可能な社会の実現に貢献する
⼈にとってリスクが⾼くシリアスなフィールドに注⼒
災害対策
災害時広報被災状況確認
現場管理
建設進捗管理⼟⽊測量
プラント管理巡回監視
設備点検
太陽光発電施設通信・送電鉄塔
プラント施設⼤型施設屋根

センシンロボティクスのユニークバリュー
データ取得〜利活⽤まで⼀気通貫で使える業務アプリケーションを提供
ロボットを
安⼼安全に操作
データを
正確に取得
データを
時系列に蓄積
解析結果より
異常・劣化を
プロット
台帳化
AI解析
モデリング処理
レポート⽣成
結果を
ビックデータ化
計画修繕に
繋げる
業務の
スマート化
デジタル化
を推進
ダッシュボード
表⽰
Robotics データを「取得」する Design データを「利活⽤」する
AI データを「分析」する
ビジネスプロセスおよびデータの流れ
お客様が得られる“価値”

業務⾃動化クラウドソリューション
顧客課題に応える業務特化型アプリケーションを実現
ソーラーパネル点検
鉄塔/送電線点検
屋根点検
⽯油タンク点検
点検にかかる時間・コス
トを解決し、収益に直結
する発電効率を最⼤化。
作業員の⽬視点検を、ド
ローンで省⼈化・コスト削
減・作業効率化を実現。
屋根に登らず点検ができ、
⾜場を組む必要がないた
め作業・コストの削減を
実現。
鉄塔に登って⾏っていた点
検をドローンへの代替で省
⼈化・コスト削減・作業効
率化を実現。

「業務アプリケーション・クラウドプラットフォーム・ロボティクス」を組み合わせサブスク提供
Pilot
ロボット経路計画
Monitor
映像共有/遠隔制御
Connect
デバイス接続
Edge
ロボット⾃律制御
AI
画像解析/統計分析
Mapper
点群/3Dモデル作成
API
外部システム連携
Datastore
データ管理
360 VR
360°
パノラマVR
誰もが簡単に使えるデータ活⽤のためのアプリケーション
データ分析・ロボット制御クラウドプラットフォーム
ソーラーパネル点検⽯油タンク点検鉄塔/送電線点検⼯場屋根点検計器/配管点検鶏舎点検
共通化モジュール
順次追加
国内・海外ドローン⽔中ドローンスマートグラス
四⾜歩⾏ロボット
※他社HW(⾃社開発問わず採⽤、最適なモノを国内外から調達)
データ収集のためのロボット
SENSYN
Apps
SENSYN
CORE
SENSYN
Devices
全⾃動ドローン⾃動⾛⾏ロボット
狭⼩ドローン

究極の完全⾃動化を成し遂げるプロダクト
SENSYN Drone Hub
完全⾃動運⽤型ドローンシステム
ドローン機体、⾃動離発着や⾃動充電に対応する基地（ドローンポート）、
加えて制御ソフトウェア・業務アプリケーションが⼀体となった、業務の⾃動化
を推進するシステムです。
⾃動充電
⾃動データ転送
防⽔・防塵設計
気象センサー
複数拠点のネットワーク化
LTE対応ドローン
Pilot
3Dマップで⾃動⾶⾏ルートを
作成
Monitor
リアルタイム映像
共有と遠隔操作
Datastore
データを地図情報と
紐付けて管理
特徴機能⾃動化ソフトウェア
⾃動離着陸

Appendix｜今後のソリューションの拡がり
共創型のDX⽀援により「ニーズ・シーズの発掘 & 爆速なソリューション開発」を実現
※⼤豊産業株式会社によるサービス名称
360°
複雑なプラント施設内の図⾯を 360°カメラで撮影し、⼯場図⾯と連動したVR映像を提供。
点検補修⼯事施⼯者への指⽰説明を⼤幅に簡略化。
カメラによる3Dマッピング
1
複⼈の⼿で⾏っている家畜等の状態チェックをロボティクスを⽤いて完全⾃動化。最⼩限の
⼈員で、畜舎の環境が悪化する前に問題を取り除く。
死亡鶏の⾃動検出｜Robococco※
2
安全性と⽣産性の向上、労働⼒不⾜の解決に向け建機の遠隔操縦が期待されている。ドロー
ン、LiDAR、伝送技術などを駆使し現場の無⼈化に寄与するデジタルツインを実現する。
建設現場のデジタルツイン化
3
⼯場での溶接・溶断等の作業は⽕花が⽣じるため、安全に操業するには⽕気監視が重要。
現場を撮影するカメラ映像を画像解析し、⽕気使⽤エリアからのはみ出しを監視する。
⽕気監視業務の無⼈化・⾃動化
4
⼤⾬等で増⽔した⽔路が氾濫すると装置や製品運搬路等が冠⽔し、操業に重⼤な影響を与え
る。降⽔量の予報と実績、過去の⽔位の変動を基に、⽔路の氾濫を予測・警告する。
⼯場⽤⽔路の⽔位予測
5
ほぼ無⼈化を達成している⽔⼒発電所において、わずかに残った巡視業務をUGV＋⾼性能カ
メラで代替する。遠隔地にある⽔⼒発電所の効率的な操業に貢献する。
無⼈⾛⾏⾞による⽔⼒発電所巡視
6
1 2
3 4
5 6

当社ソリューション採⽤クライアント例
鉄鋼・⽯油・電⼒/再エネ・建設/不動産を中核に重厚⻑⼤産業にフォーカス

ENEOSカワサキラボを開設
https://www.youtube.com/watch?v=9_6FLzRi4K8

Copyright © SENSYN ROBOTICS, Inc. All Rights Reserved.
CONFIDENTIAL
Azure Perceptでかんたん実現！
移動ロボット＆エッジAIによる設備点検
ここから本題です

インフラ点検の技術検証における課題
インフラ点検の需要は多いが技術検証までには時間とお金がかかりがち
営業
企画
AIエンジニア
現場のお客様ロボットエンジニア
計器点検して
欲しい
現場をみさせ
て下さい！
移動できる？
認識できる？
できました！
１~２ヶ⽉
できました！
いけそうだから
プロジェクト化
しようか
大事なのはスピード感となるべくお金をかけないこと
開発⼯数は⾼い...

⽬指したい姿
インフラ点検の1次検証を素早くお金をかけずにおこなう
営業
企画
AIエンジニア
現場のお客様
ロボットエンジニア
計器点検して
欲しい
現場をみさせ
て下さい！
移動できそう
認識できそう
いけそうだから
プロジェクト化
しようか
検証
ツール
課題になるところ
だけ開発して
１~２⽇

インフラ点検ツールに必要なもの
インフラ点検に必要なものは足と目
重いセンサも積める、雨埃に負けない強い足が欲しい
「Jackal」（移動ロボット）
見たいものをすぐ見れるようにする賢い目が欲しい
「Azure Percept DK」（Edge AI）

Jackal（移動ロボット）の紹介

Azure Percept Studioを使ってできることは？
Azure Percept
● Azureサービス上でAIモデル⽣成
● エッジデバイスに適⽤するAIモデルの切り替え
● 推論結果の受信
https://azure.microsoft.com/ja-jp/services/azure-percept/
https://docs.microsoft.com/ja-jp/azure/azure-percept/overview-
azure-percept
Azure PerceptとはAIを使ったIoTサービスを提供するプラットフォーム

Azure Percept DK（Edge AI）の紹介
物体検出や画像認識であればすぐに学習し、エッジデバイスにデプロイすることが出来る
https://docs.microsoft.com/ja-jp/azure/azure-percept/overview-azure-percept-dk

ツールのコンセプト
「何でも」
太陽光パネル点検
配管点検
計器点検
⾊々な場所
製鉄所
製油所
⼭の中
建築現場
⾊々な要望
ビル
部材の疵点検
⽯油タンク点検
「どこでも」
企
画
営
業 C
S
「誰でも」
インフラ点検
現場にいく⼈
インフラ点検の検証を「どこでも」「何でも」「誰でも」を素早く実施

アーキテクチャ
Jackal / Cugo
ROS Application
共通架台プラットフォーム
LiDAR カメラセンサ磁気センサ
インフラ点検の検証を「どこでも」「何でも」「誰でも」を素早く実施
Azure Percept DK
計器点検モデル
RTK
モジュール
各種ライントレース⾛⾏
SLAM
GPS⾛⾏
「誰でも」
「何でも」
「どこでも」

試しに計器読み取りをやってみる
設備にある古いアナログな計器はいまだに目視確認がされている
広い設備においては時間がかかる上に老朽化した施設内にあるものもあるの
で安全性の観点から自動化させたい
各計器にセンサをつけるとコストがかかるので移動ロボットでお願いします
ついでに警備ロボットとしても使うかもしれないし
という想定でやります...

今回はRGBカメラによるライントレースを選択

Azure Percept DK on Jackal
Azure Percept DK
Realsense
Jackery
Realsense
Jackery
Azure Percept DK
ライントレース⽤のカメラ
Azure Percept DK⽤の
バッテリー
計器読み取り⽤のカメラ

Azure Percept DKでカスタムモデルを⽤意
1.学習データは30枚程度
2. アノテーションはブラウザ上でサクサクできる
カスタムモデルをAzure Cognitive ServiceのCustom Visionで作成
https://azure.microsoft.com/ja-jp/services/cognitive-services/custom-vision-service/
3. ボタンをポチポチするだけでモデルのデプロイまではいけます

検証結果

あとは⾃前のアプリケーションとの繋ぎこみ
計器読み取り
プログラム
なぜか8554ポートから引っ張って来れなかったので
今回はHTMLからスクレイピングして動画部分を引っ張り出す
https://qiita.com/SugaiShun/items/5c2e8354e3614030efa7
https://docs.microsoft.com/ja-jp/azure/azure-percept/azureeyemodule-overview

検証結果
Perceptからスクレイピングして引っ張り出した動画
推論結果から座標を取得して抜き出した計器の画像
計器の針の⾓度を画像認識で算出した結果

対象物を変更して企画側に試してもらう
マニュアルを読んでもらいカスタムモデルを生成しデプロイする
試してもらった⼈：経営管理部の法務担当（プログラミング経験ゼロ、学習モデルを作った経験ゼロ）
対象物：計器からティッシュ箱へ
かかった時間はわずか25分！「誰でも」「簡単」！
学習データ15枚程度

まとめ
簡単に設備点検の技術検証ができるツール（仮）ができた！
ツールはJackalとAzrue Percept DKで実現した
他アプリケーションなどの繋ぎこみやセグメンテーションなどのもっと複雑な
タスクをAIにやらせたいときは課題がありそう

最後に
⼀緒に働く仲間を絶賛募集中！カジュアル⾯談もやってます
https://www.sensyn-robotics.com/recruit
UGVやドローンによる設備点検に興味のある企業様も是⾮⼀度
お問い合わせ下さい
https://www.sensyn-robotics.com/contact

Robotics × AI × Design で社会課題を解決する
社会インフラDXのリーディングカンパニー
株式会社センシンロボティクス

Azure Perceptでかんたん実現！移動ロボット＆エッジAIによる設備点検

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Similar to Azure Perceptでかんたん実現！移動ロボット＆エッジAIによる設備点検

Similar to Azure Perceptでかんたん実現！移動ロボット＆エッジAIによる設備点検 (20)

More from IoTビジネス共創ラボ

More from IoTビジネス共創ラボ (20)

Recently uploaded

Recently uploaded (10)