Download as PDF, PPTX
Uploaded byIoTビジネス共創ラボ
Azure Perceptでかんたん実現！ 移動ロボット＆エッジAIによる設備点検
2021/12/8 IoTビジネス共創ラボ 第21回オンライン勉強会 株式会社センシンロボティクス 執行役員 開発部長 高橋 和也 株式会社センシンロボティクス 開発部 菅井 駿
More Related Content
Similar to Azure Perceptでかんたん実現！ 移動ロボット＆エッジAIによる設備点検
![JPC2017 [D1-1] MS HoloLens と MS Azure で実現する製造業における経営の意思決定変革](https://cdn.slidesharecdn.com/ss_thumbnails/jpc2017d1-1mshololensmsazure-170911125336-thumbnail.jpg?width=640&height=640&fit=bounds)
Azure Perceptでかんたん実現！ 移動ロボット＆エッジAIによる設備点検
- 1.
- 2.
- 3. © SENSYN ROBOTICS,Inc. 3 センシンロボティクスは何を解決したいのか 課題先進国⽇本が抱える社会課題 少⼦⾼齢化による労働⼈⼝減少 ⽼朽化する社会/産業インフラ 災害⼤国⽇本, 災害の甚⼤化 2022年に⽯油プラントの半数以上が稼働 50年以上 道路橋, 河川設備, 港湾設備なども軒並 40年以上 全世界のM6.0以上の 地震のうち 20.5％ が⽇本で発⽣している 2020~2060年の間に労働⼈⼝は 35％減 インフラ点検作業者は 50歳代 が⼤半を占める 内閣府「 平成30年版⾼齢社会⽩書(全体版) 」 重化学⼯業通信社「⽇本の⽯油化学⼯業50年データ集」 内閣府「平成22年度版防災⽩書」 35% 50% 20%
- 4. © SENSYN ROBOTICS,Inc. 4 センシンロボティクスが実現したい世界 ロボティクス技術で社会課題を解決し、持続可能な社会の実現に貢献する ⼈にとってリスクが⾼くシリアスなフィールドに注⼒ 災害対策 災害時広報 被災状況確認 現場管理 建設進捗管理 ⼟⽊測量 プラント管理 巡回監視 設備点検 太陽光発電施設 通信・送電鉄塔 プラント施設 ⼤型施設屋根
- 5. © SENSYN ROBOTICS,Inc. 5 センシンロボティクスのユニークバリュー データ取得〜利活⽤まで⼀気通貫で使える業務アプリケーションを提供 ロボットを 安⼼安全に操作 データを 正確に取得 データを 時系列に蓄積 解析結果より 異常・劣化を プロット 台帳化 AI解析 モデリング処理 レポート⽣成 結果を ビックデータ化 計画修繕に 繋げる 業務の スマート化 デジタル化 を推進 ダッシュボード 表⽰ Robotics データを「取得」する Design データを「利活⽤」する AI データを「分析」する ビジネスプロセスおよびデータの流れ お客様が得られる“価値”
- 6. © SENSYN ROBOTICS,Inc. 6 業務⾃動化クラウドソリューション 顧客課題に応える業務特化型アプリケーションを実現 ソーラーパネル点検 鉄塔/送電線点検 屋根点検 ⽯油タンク点検 点検にかかる時間・コス トを解決し、収益に直結 する発電効率を最⼤化。 作業員の⽬視点検を、ド ローンで省⼈化・コスト削 減・作業効率化を実現。 屋根に登らず点検ができ、 ⾜場を組む必要がないた め作業・コストの削減を 実現。 鉄塔に登って⾏っていた点 検をドローンへの代替で省 ⼈化・コスト削減・作業効 率化を実現。
- 7. © SENSYN ROBOTICS,Inc. 7 業務⾃動化クラウドソリューション 「業務アプリケーション・クラウドプラットフォーム・ロボティクス」を組み合わせサブスク提供 Pilot ロボット経路計画 Monitor 映像共有/遠隔制御 Connect デバイス接続 Edge ロボット⾃律制御 AI 画像解析/統計分析 Mapper 点群/3Dモデル作成 API 外部システム連携 Datastore データ管理 360 VR 360° パノラマVR 誰もが簡単に使えるデータ活⽤のためのアプリケーション データ分析・ロボット制御クラウドプラットフォーム ソーラーパネル点検 ⽯油タンク点検 鉄塔/送電線点検 ⼯場屋根点検 計器/配管点検 鶏舎点検 共通化モジュール 順次追加 国内・海外ドローン ⽔中ドローン スマートグラス 四⾜歩⾏ロボット ※他社HW(⾃社開発問わず採⽤、最適なモノを国内外から調達) データ収集のためのロボット SENSYN Apps SENSYN CORE SENSYN Devices 全⾃動ドローン ⾃動⾛⾏ロボット 狭⼩ドローン
- 8. © SENSYN ROBOTICS,Inc. 8 業務⾃動化クラウドソリューション 究極の完全⾃動化を成し遂げるプロダクト SENSYN Drone Hub 完全⾃動運⽤型ドローンシステム ドローン機体、⾃動離発着や⾃動充電に対応する基地（ドローンポート）、 加えて制御ソフトウェア・業務アプリケーションが⼀体となった、業務の⾃動化 を推進するシステムです。 ⾃動充電 ⾃動データ転送 防⽔・防塵設計 気象センサー 複数拠点のネットワーク化 LTE対応ドローン Pilot 3Dマップで⾃動⾶⾏ルートを 作成 Monitor リアルタイム映像 共有と遠隔操作 Datastore データを地図情報と 紐付けて管理 特 徴 機 能 ⾃動化ソフトウェア ⾃動離着陸
- 9. © SENSYN ROBOTICS,Inc. 9 Appendix｜今後のソリューションの拡がり 共創型のDX⽀援により「ニーズ・シーズの発掘 & 爆速なソリューション開発」を実現 ※⼤豊産業株式会社によるサービス名称 360° 複雑なプラント施設内の図⾯を 360°カメラで撮影し、⼯場図⾯と連動したVR映像を提供。 点検補修⼯事施⼯者への指⽰説明を⼤幅に簡略化。 カメラによる3Dマッピング 1 複⼈の⼿で⾏っている家畜等の状態チェックをロボティクスを⽤いて完全⾃動化。最⼩限の ⼈員で、畜舎の環境が悪化する前に問題を取り除く。 死亡鶏の⾃動検出｜Robococco※ 2 安全性と⽣産性の向上、労働⼒不⾜の解決に向け建機の遠隔操縦が期待されている。ドロー ン、LiDAR、伝送技術などを駆使し現場の無⼈化に寄与するデジタルツインを実現する。 建設現場のデジタルツイン化 3 ⼯場での溶接・溶断等の作業は⽕花が⽣じるため、安全に操業するには⽕気監視が重要。 現場を撮影するカメラ映像を画像解析し、⽕気使⽤エリアからのはみ出しを監視する。 ⽕気監視業務の無⼈化・⾃動化 4 ⼤⾬等で増⽔した⽔路が氾濫すると装置や製品運搬路等が冠⽔し、操業に重⼤な影響を与え る。降⽔量の予報と実績、過去の⽔位の変動を基に、⽔路の氾濫を予測・警告する。 ⼯場⽤⽔路の⽔位予測 5 ほぼ無⼈化を達成している⽔⼒発電所において、わずかに残った巡視業務をUGV＋⾼性能カ メラで代替する。遠隔地にある⽔⼒発電所の効率的な操業に貢献する。 無⼈⾛⾏⾞による⽔⼒発電所巡視 6 1 2 3 4 5 6
- 10. © SENSYN ROBOTICS,Inc. 10 当社ソリューション採⽤クライアント例 鉄鋼・⽯油・電⼒/再エネ・建設/不動産を中核に重厚⻑⼤産業にフォーカス
- 11. © SENSYN ROBOTICS,Inc. 11 ENEOSカワサキラボを開設 https://www.youtube.com/watch?v=9_6FLzRi4K8
- 12. Copyright © SENSYNROBOTICS, Inc. All Rights Reserved. CONFIDENTIAL Azure Perceptでかんたん実現！ 移動ロボット＆エッジAIによる設備点検 ここから本題です
- 13. © SENSYN ROBOTICS,Inc. 13 インフラ点検の技術検証における課題 インフラ点検の需要は多いが技術検証までには時間とお金がかかりがち 営業 企画 AIエンジニア 現場のお客様 ロボットエンジニア 計器点検して 欲しい 現場をみさせ て下さい！ 移動できる？ 認識できる？ できました！ １~２ヶ⽉ できました！ いけそうだから プロジェクト化 しようか 大事なのはスピード感となるべくお金をかけないこと 開発⼯数は⾼い...
- 14. © SENSYN ROBOTICS,Inc. 14 ⽬指したい姿 インフラ点検の1次検証を素早くお金をかけずにおこなう 営業 企画 AIエンジニア 現場のお客様 ロボットエンジニア 計器点検して 欲しい 現場をみさせ て下さい！ 移動できそう 認識できそう いけそうだから プロジェクト化 しようか 検証 ツール 課題になるところ だけ開発して １~２⽇
- 15. © SENSYN ROBOTICS,Inc. 15 インフラ点検ツールに必要なもの インフラ点検に必要なものは足と目 重いセンサも積める、雨埃に負けない強い足が欲しい 「Jackal」（移動ロボット） 見たいものをすぐ見れるようにする賢い目が欲しい 「Azure Percept DK」（Edge AI）
- 16. © SENSYN ROBOTICS,Inc. 16 Jackal（移動ロボット）の紹介
- 17. © SENSYN ROBOTICS,Inc. 17 Azure Percept Studioを使ってできることは？ Azure Percept ● Azureサービス上でAIモデル⽣成 ● エッジデバイスに適⽤するAIモデルの切り替え ● 推論結果の受信 https://azure.microsoft.com/ja-jp/services/azure-percept/ https://docs.microsoft.com/ja-jp/azure/azure-percept/overview- azure-percept Azure PerceptとはAIを使ったIoTサービスを提供するプラットフォーム
- 18. © SENSYN ROBOTICS,Inc. 18 Azure Percept DK（Edge AI）の紹介 物体検出や画像認識であればすぐに学習し、エッジデバイスにデプロイすることが出来る https://docs.microsoft.com/ja-jp/azure/azure-percept/overview-azure-percept-dk
- 19. © SENSYN ROBOTICS,Inc. 19 ツールのコンセプト 「何でも」 太陽光パネル点検 配管点検 計器点検 ⾊々な場所 製鉄所 製油所 ⼭の中 建築現場 ⾊々な要望 ビル 部材の疵点検 ⽯油タンク点検 「どこでも」 企 画 営 業 C S 「誰でも」 インフラ点検 現場にいく⼈ インフラ点検の検証を「どこでも」「何でも」「誰でも」を素早く実施
- 20. © SENSYN ROBOTICS,Inc. 20 アーキテクチャ Jackal / Cugo ROS Application 共通架台プラットフォーム LiDAR カメラセンサ 磁気センサ インフラ点検の検証を「どこでも」「何でも」「誰でも」を素早く実施 Azure Percept DK 計器点検モデル RTK モジュール 計器点検モデル 計器点検モデル 各種ライントレース⾛⾏ SLAM GPS⾛⾏ 「誰でも」 「何でも」 「どこでも」
- 21. © SENSYN ROBOTICS,Inc. 21 試しに計器読み取りをやってみる 設備にある古いアナログな計器はいまだに目視確認がされている 広い設備においては時間がかかる上に老朽化した施設内にあるものもあるの で安全性の観点から自動化させたい 各計器にセンサをつけるとコストがかかるので移動ロボットでお願いします ついでに警備ロボットとしても使うかもしれないし という想定でやります...
- 22. © SENSYN ROBOTICS,Inc. 22 今回はRGBカメラによるライントレースを選択
- 23. © SENSYN ROBOTICS,Inc. 23 Azure Percept DK on Jackal Azure Percept DK Realsense Jackery Realsense Jackery Azure Percept DK ライントレース⽤のカメラ Azure Percept DK⽤の バッテリー 計器読み取り⽤のカメラ
- 24. © SENSYN ROBOTICS,Inc. 24 Azure Percept DKでカスタムモデルを⽤意 1.学習データは30枚程度 2. アノテーションはブラウザ上でサクサクできる カスタムモデルをAzure Cognitive ServiceのCustom Visionで作成 https://azure.microsoft.com/ja-jp/services/cognitive-services/custom-vision-service/ 3. ボタンをポチポチするだけでモデルのデプロイまではいけます
- 25. © SENSYN ROBOTICS,Inc. 25 検証結果
- 26. © SENSYN ROBOTICS,Inc. 26 あとは⾃前のアプリケーションとの繋ぎこみ 計器読み取り プログラム なぜか8554ポートから引っ張って来れなかったので 今回はHTMLからスクレイピングして動画部分を引っ張り出す https://qiita.com/SugaiShun/items/5c2e8354e3614030efa7 https://docs.microsoft.com/ja-jp/azure/azure-percept/azureeyemodule-overview
- 27. © SENSYN ROBOTICS,Inc. 27 検証結果 Perceptからスクレイピングして引っ張り出した動画 推論結果から座標を取得して抜き出した計器の画像 計器の針の⾓度を画像認識で算出した結果
- 28. © SENSYN ROBOTICS,Inc. 28 対象物を変更して企画側に試してもらう マニュアルを読んでもらいカスタムモデルを生成しデプロイする 試してもらった⼈：経営管理部の法務担当（プログラミング経験ゼロ、学習モデルを作った経験ゼロ） 対象物：計器からティッシュ箱へ かかった時間はわずか25分！「誰でも」「簡単」！ 学習データ15枚程度
- 29. © SENSYN ROBOTICS,Inc. 29 まとめ 簡単に設備点検の技術検証ができるツール（仮）ができた！ ツールはJackalとAzrue Percept DKで実現した 他アプリケーションなどの繋ぎこみやセグメンテーションなどのもっと複雑な タスクをAIにやらせたいときは課題がありそう
- 30. © SENSYN ROBOTICS,Inc. 30 最後に ⼀緒に働く仲間を絶賛募集中！カジュアル⾯談もやってます https://www.sensyn-robotics.com/recruit UGVやドローンによる設備点検に興味のある企業様も是⾮⼀度 お問い合わせ下さい https://www.sensyn-robotics.com/contact
- 31. Robotics × AI× Design で社会課題を解決する 社会インフラDXのリーディングカンパニー 株式会社センシンロボティクス