工場内レガシー機器のAIを利用したIoT化とエッジAIの可能性

Copyright © Tokyo Electron Device LTD. All Rights Reserved.
工場内レガシー機器のAIを利用した
IoT化とエッジAIの可能性
東京エレクトロンデバイス株式会社
EC技術本部
第三技術部グループリーダー
古賀清人
株式会社ナレッジコミュニケーション
取締役副社長 COO
小泉裕二

 机上では認識OK
 実際の製造工場で実地検証が必要
 カメラの問題
→照明の映り込み。
→外部の明るさの影響。
→設置位置。
机上検証の結果

東京エレクトロンデバイス長崎/ 会社概要
✓ 所在地長崎県諫早市
✓ 設立 1987年11月
✓ 資本金 1億3400万円
✓ 従業員 138名
✓ 生産能力 13,000枚/月
※2017年7月1日より弊社の連結子会社
本社
エンジニアリングセンター
自社工場
（東京エレクトロンデバイス長崎）
蓄電ハイブリット電源
遠隔監視装置
CTカードシリーズ

東京エレクトロンデバイス長崎/ 主要生産設備

測定対象：全自動低湿庫
ドア開閉部分
センサの設置のクリアランス
縦方向：30㎜
横方向：特に制限なし
高さ（奥行）方向：特に制限なし
7セグのLEDの寸法は、2文字分で、横
25㎜、縦18㎜
ドア開閉部分

現場に設置＆画像収集したセット
LED；ハーフミラー台座＋（偏光板）＋USBカメラ
映り込み防止と角度が重要

見えてきた課題：蛍光灯の映り込みと開閉作業に干渉しない設置を実現すること
機械にはこう見える！
蛍光灯の
映り込み

筐体
蛍光灯ノイズと作業者の低湿庫扉の開閉動作に干渉しないものを作成
筐体の制約で3cmの幅に収める必要あり
スイッチやLED表示が見えなくてもOKなので、
カメラの先端と表示部の間に蛍光灯の明か
りや映り込みがないような構造を検討
7SEG表示部
USBカメラ
ラズパイ
88
採用手法

使用するカメラ：手軽に手に入るUSBカメラを採用
⚫ 【製品仕様】
全長約500cm
接続 USB2.0接続
解像度 640×480ピクセル
キャプチャー解像度最大640×480
フラッシュ機能 LED 4球白色
焦点距離 2～10cm
動画フレーム 30fps
レンズｆ2.4
レンズサイズ約10mm
視角約62度
防水性カメラ部分のみ防水加工済み
対応OS
Microsoft Windows
XP/7(32bit/64bit)
防水 IP66
http://www.akibaoo.co.jp/c/01/4528483121327/

設置状況のまとめ
カメラ設置部ケーブル取り回しゲートウェイの設置
ドア開閉に干渉しない筐体
現場作業者の方の邪魔にならな
い取り回し
防湿庫の天面に設置

15Copyright © 2019 Knowledge Communication Co.,Ltd.All Rights Reserved.
CustomVisionの学習プロセスとは？

会社紹介
16
会社名株式会社ナレッジコミュニケーション
設立日 2008年11月 (創立2006年5月)
人数 28名
資本金 9,000,000円
代表者代表取締役奥沢明
本社所在地千葉県市川市相之川3-13-23 丸伝小川ビル3階
支社熊本支社
事業内容クラウドAI導入・運用支援等
Cloud
AI
HoloLens
Robot
経営理念
破壊的イノベーションで世界の在り方を変える
クラウド・AI・MRの分野で今までにない
付加価値を提供し、社会に貢献致します。

沿革
17
2006 2007 2008 2009 2010 2011 2012 2013 2014 2015 2016 2017 2018
株式会社ナレッジコミュニケーション設立
自社サービス基盤をパブリッククラウドに移行
クラウドインテグレーションサービス「ナレコムクラウド」提供開始
Microsoft Azure取扱い開始 / クラウド型機械学習提供サービス開始
熊本拠点(DevOps&RD)を設立
Microsoft HoloLensサービス提供開始
MRPP認定 / Azure Goldパートナー認定
創業学び総合サイト「学び&おけいこのナレコム」提供開始
IoTビジネス共創ラボ参画

画像をアップロード
タグ付け
Custom Visionとは？
学習テスト（API）
➢ Azure Cognitive Services のひとつ/画像認識サービス
➢ 機械学習の専門知識がなくても簡単に使用できる
➢ 数十の画像からモデル構築が可能

Custom Visionとは？
Azure Custom Vision Serviceで「きのこの山」
と「たけのこの里」を判別させてみる
https://azure-recipe.kc-cloud.jp/2017/12/custom_vision_2017adcal/

光の映り込む場所が変動するこの部分が読み取れない
学習する画像が重要
➢ USBカメラが固定でき一定の視野角が確保する必要有り！
➢ 扉の開閉ににより、USBカメラが少しずつずれる
➢ 蛍光灯の映り込みが発生！
➢ 数字を読み取れる視野角が確保できない

画像処理
人間の目で判別しづらい画像は精度もいまひとつ
取得画像をそのまま使用取得画像を加工

(参考) Custom Visionの精度指標/Precision(適合率)、Recall(再現率)
https://azure-recipe.kc-cloud.jp/2017/12/custom_vision_2017adcal/
Precision
Recall

検証プログラム過程検証プログラムの全体システム構成イメージ
全体システムイメージとAzure構成
Functions
(HTTP Trigger)
Functions
(Timer Trigger)
Custom Vision
推論結果
Power BI
Blob Storage
Table Storage
Raspberry Pi
(+SORACOM)
24 ℃
管理者
7セグ数字
データ取得
グラフ表示
開く
GET
推論結果
画像画像送信画像
画像表示
10分毎に画像を取得
画像のアップロード
画像認識
推論結果の書き込み
Power BIで可視化
ブラウザから画像確認
画像認識
HTML画像取得

[5] を [2]と認識してしまう（反転）
[6] を [9]と認識してしまう（回転）
画像認識精度結果1

画像認識精度結果2
学習する画像を調整して精度向上

画像データの収集
扉開閉時
時間軸（10分間隔）
湿
度
0
1
2
3
4
5
6
7
8
9
10
Power BIでの可視化
湿度安定状態湿度安定状態
検証プログラムの結果

まとめ
✓AzureのCustomVisionを用いることで7セグメントの数
字読み取りについて、高い精度を確認
✓ エッジAIの導入も視野に。
✓Azure IoT Edge：AIをコンテナ化し、Runtimeと一緒にエッジデ
バイスへ実装
✓レガシー機器への適応もアイデア一つでクリアできる！
✓USBカメラ＋鏡＋筐体
✓カメラの角度や光の加減で数字読み取りの精度が変化
✓カメラの設置場所等の現地環境の考慮が必要

工場内レガシー機器のAIを利用したIoT化とエッジAIの可能性

More Related Content

What's hot

Similar to 工場内レガシー機器のAIを利用したIoT化とエッジAIの可能性

More from IoTビジネス共創ラボ

工場内レガシー機器のAIを利用したIoT化とエッジAIの可能性