深層学習による製造業のスマート化と産業応用の将来展望（クオリティフォーラム2020講演資料）

1. 深層学習による製造業のスマート化と産業応⽤の将来展望㈱ Preferred Networks インダストリーソリューション担当VP 執⾏役員⽐⼾将平 2020/11/25 クオリティフォーラム

2. Vision 自分たちの手で革新的かつ本質的な技術を開発し、未知なる領域にチャレンジしていく。私たちはソフトウェアとハードウェアを高度に融合し、自動車やロボットなどのデバイスをより賢く進化させます。常に変化する環境や状況に柔軟に対処できる賢いデバイスができれば、物理世界をリアルタイムにセンシングし、現実世界そのものが計算可能になります。技術を使って、自分たちが見たことが無い、まだ知らない世界を知りたい。すでにわかっている領域で勝負するのではなく、技術の力で想像を超えた世界に挑戦していきます。現実世界を計算可能にする

3. ⾃⼰紹介 l ⽐⼾将平（HIDO Shohei） l 専⾨︓データマイニング、機械学習 l 経歴︓ ̶ 2002: IPA未踏ユース第⼀期 ̶ 2006-2012: IBM東京基礎研究所データ解析グループ ̶ 2012-2014: 株式会社Preferred Infrastructure ̶ 2014-: 株式会社Preferred Networksに転籍 & Chief Research Officer ̶ 2015-: Preferred Networks America, Inc.に異動 ̶ 2018-: Preferred Networksに帰任、研究開発担当VP & 執⾏役員に就任 ̶ 2020.10-: インダストリーソリューション担当VPに就任

4. Preferred Networks (PFN)のミッション︓現実世界を計算可能にする Manufacturing Transportation Bio & Healthcare Logistics Personal Robot Entertainment

6. 2020年6⽉のTop500においてPFNのMN-Coreを使ったクラスタMN-3が電⼒効率の⾼性能計算の実現を評価するGreen500で1位（11⽉に2位）

7. ⽇本ベンチャー⼤賞︓ 2017年経済産業⼤⾂賞（FANUC様との連携）→2019年内閣総理⼤⾂賞 2017 世耕経産⼤⾂・FANUC稲葉会⻑と 2019 安倍⾸相へのロボットデモ l PFNにとってFANUC様との製造業における協業が⼤きな転機となった

8. ⽬次 l 深層学習の概要 l 製造業のスマート化 l Preferred Networksの外観検査ソリューション l 今後の産業応⽤の可能性︓物流＆建設

9. ⼈⼯知能における機械学習/深層学習機械学習データからルールや知識を学習して獲得するエキスパートシステム教師あり学習教師なし学習強化学習従来の機械学習（SVM, ランダムフォレスト, ロジスティク回帰など）深層学習（ディープラーニング）どのようなモデルを使うのかどのように学習するのか

10. ディープラーニング（深層学習）とは 2014年の一般画像認識コンテストで優勝した 22層からなるGoogLeNetの例 [Google 2014] 特徴抽出⼊⼒画像ベクトル表現学習器教師データ /結果 SIFT,SURF,etc BoK,FK,etc SVM,kNN,etc 深層学習従来の機械学習

11. 画像認識コンテストにおける深層学習の成功と精度向上(2015年で⼈レベル) http://www.paddlepaddle.org/documentation/book/en/0.15.0/03.image_classification/index.html ⼈レベル認識精度深層学習ベース

12. DX（デジタルトランスフォーメーション）とAIの関係

13. AIは再び冬の時代を向かえるのか︖ 出典︓ガートナー (2020年9⽉) ⽇本における未来志向型インフラ・テクノロジのハイプ・サイクル

14. ビジネス効率・⽣産性向上プロセスの中で位置づけるDX・AI・ロボット l AIの適⽤を進める副作⽤で、不⼗分な機械化・デジタル化が可視化された l DXにおいて、改めて全体を機械化・デジタル化する動きが加速している機械化デジタル化⾃動化省⼈化最適化効率向上 AI（最適化） AI（センシング） DX ロボット

16. Photo by Ahsan S. on Unsplash 製造業はスマート化の歴史そのもの

17. なぜ深層学習が製造業で最も応⽤が進んでいるのか︖︓ 同じモノ・作業を対象とする「繰り返し」が多く、学習アプローチが有効なため製造業成果物（出⼒）の種類たかだか製品の種類主要な環境似通った⼯場構成物（⼊⼒）の種類たかだか部品の種類「⾒る」部品認識・製品外観検査「つかむ」各部品毎・混在なし「調整する」製造／加⼯装置の調整「運ぶ」部品搬⼊や⼯程間搬送 https://unsplash.com/

18. 深層学習が製造業で使えるケース︓ 多種多様な⼊⼒から、⾒る、つかむ、調整するという3つの⾏動⾒る調整するつかむ

19. 様々な素材・製品の外観検査︓⼈⼿の検査の問題点を解消 →後ほどPFNの外観検査ソフトウェアをご紹介⾒るキズ異物汚れ留め具のキズ布の汚れ

20. センサーデータからの予防保全︓射出成形機の逆流防⽌弁⾒る射出成形機にAI搭載、ファナックが深層学習技術で予防保全 [Monoist] [プレスリリース] ロボショット射出成形機︓ 樹脂を⾦型に流し込んで成形

21. 将来に向けて︓触覚と視覚からの物体特性の推定の研究論⽂ l Deep Visuo-Tactile Learning: Estimation of Tactile Properties from Images [Takahashi & Jethro, ICRA’19] ̶ ロボティクスのトップ国際会議ICRAで最優秀論⽂賞候補⾒る

22. ばら積みピッキングつかむ

23. Plug & Pick: 1点の既知の形状から様々な未知の形状へつかむ PFN Location Detection

24. Plug & Pick: つかむ

25. AIサーボチューニング調整する

26. AI熱変位補正︓機械の熱によるひずみの補正し加⼯精度を向上調整する

28. ⼈⼿不⾜検査基準のぶれ ● ⽬視検査は重労働 ● 教育コストが⾼い ● 基準の属⼈化 ● ⽣産拠点間の基準揺れキズ異物汚れ

29. エンジニア以外のお客様でも使える学習UI付き

30. PFN Visual Inspection の4⼤特徴直感的な学習UI ／⼈間に近い検知スコア外観検査システムをスピーディかつ安価に構築様々な素材の外観検査に対応不良箇所アノテーション不要良品 100枚〜不良品 20枚〜⼩規模なデータセットでもOK ⾮エンジニアでも簡単操作布⾦属プラスチック異常個所を教えずとも効果⾼く学習

31. 従来型マシンビジョン容易に利⽤できる／実証完了まで早い検知性能が⾼い PFN Visual Inspection PFN Visual Inspection の特徴深層学習応⽤要アノテーション（教師あり）深層学習応⽤アノテーション不要（教師なし）

32. 導⼊フロートライアル実証導⼊・運⽤学習ツール検知ライブラリ • 傷箇所アノテーション不要 • 最⼩の学習⽤画像データ（良品100枚/不良品20枚〜） • CPU版は無償提供（1〜10枚/秒） • GPU版は⾼速検知（最⼤100枚/秒）

33. 販売・導⼊体制システム構築課題・要件分析学習ツール検知ライブラリ PFN パートナー様導⼊企業様株式会社Phoxter様

34. お客様事例（1/4）⼤⼿⾃動⾞メーカー様 – 概要 l アプリケーション︓⾃動⾞部品の外観検査 l 検査内容 ̶ パーツの⽋け検知 ̶ 「円周の⾚マーカーが⽋けずに所定の⻑さに収まっているか」 l 状況︓ ̶ 2019年より品質管理部にてPVIを検証 ̶ 実ラインを含めた評価結果が良好かつ広範囲に適⽤可能という評価 ̶ 特に現場への組み込みが⾮常に簡単であり現場担当者だけでの運⽤も望める ̶ 広くライン導⼊を検討中良品不良

35. お客様事例（1/4）⼤⼿⾃動⾞メーカー様 – 検査画像例元画像. ヒートマップ元画像ヒートマップ良品不良不良良品不良不良

36. お客様事例（3/4）⼤川精螺⼯業株式会社様 – アプリケーション︓メス⾦具画像検査 – 検査内容︓ • 検査箇所︓シート部、頭部、ソケット部 • 不良モード︓異物、キズ、メッキ変⾊、サビ、バリ – 状況︓ • 2020年2⽉よりPVIを導⼊ • 6ヶ⽉間の検証を実施して良好な結果が得られた • 従来の画像処理からの置き換え • 製造ラインに導⼊済 • 同製品のラインへの展開と、他部品の検査への適⽤検討も進⾏中

37. お客様事例（3/4）⼤川精螺⼯業株式会社様 - PVIの導⼊により得られたメリット • 従来の画像処理⼿法ではロットによるメッキの⾊味のばらつきに対応できず過検出が発⽣していた • PVIによるAI検査により、メッキの⾊味の変化に関わらず、異常のみの検出が可能となった従来の画像処理では暗い部分を全て検出してしまっていた。 PVIによるAI検査では⾊味に関わらず異常のみを検出できる。従来の画像処理(⼆値化) ロットの違いによってメッキの⾊味にばらつきが存在する。従来の画像処理⼿法ではロットAを基準とした場合、ロットCのようにメッキの暗いものがほぼNGとなってしまう。

38. お客様事例（4/4）⼤⼿⻭⾞製造会社 C社様 l アプリケーション︓【製品名】平⾏軸の⻭⾞外観検査 l 検査内容:【不良モード】⼤きさ＞φ3mm ＆深さ＞0.1mmキズの検出 l 状況︓ ̶ 2020年1⽉よりPVIを導⼊ ̶ NI LabVIEWをベースでの画像処理に、PVIを内製で組み込み実施 ̶ ⼊念な検証を実施して良好な結果が得られた ̶ すでに製造ラインに導⼊済 ̶ 全世界の⼯場に存在する４0系統のラインへの展開を進⾏中 l PVIの導⼊により得られたメリット ̶ 既存のアプローチでは実現できなかった過検出の課題が解決された ̶ 従来21.1%発⽣していた過検出が1.2%に改善した対象製品のイメージ図

40. 物流と建設における深層学習応⽤の可能性︓ 多種多様な荷物や環境の変化をどのように扱うか︖ https://unsplash.com/

41. 深層学習の応⽤先として製造業と⽐較︓ 物流と建設は多様性が⼤きく個別対応が必要なため適⽤難易度が⾼い製造業物流（倉庫・輸送）建設（建築・⼟⽊）成果物（出⼒）の種類たかだか製品の種類注⽂毎にバラバラ毎回⼀点モノ主要な環境似通った⼯場似通った倉庫・トラック⼟⽊は個別の地理地形／建築は個別の設計構成物（⼊⼒）の種類たかだか部品の種類多種多様かつ⽇々増加建築は既存品＋特注品「⾒る」部品認識・製品外観検査段ボール・ケース認識／⽇々増加する商品毎回異なる設計と施⼯の⼀致確認「つかむ」各部品毎・混在なし様々な重量・形状が混在⼟砂（流体）、鉄筋（重量物・⻑尺）など多様「調整する」製造／加⼯装置の調整運送の経路最適化など（研究進⾏中）（⼈⼿が多く対象少）「運ぶ」部品搬⼊や⼯程間搬送⼈⼿の置き換え⾼い需要・⾼難易度

42. 物流AIスタートアップ（1/2）︓Covariant.ai 深層強化学習で⾼名なUC BerkeleyのPieter Abbeel教授が共同創業者 l ⽶バークレーで2017年創業 l ピッキングロボットに注⼒ l バラ積みピッキングに深層強化学習を適⽤ ̶ 様々なアイテムに適応可能 l 事例︓独Obeta社の倉庫 ̶ シャトルで在庫・出荷⽤ケースをロボットステーションに運搬 ̶ ロボットが在庫ケースから取り出し出荷⽤ケースに移動 https://covariant.ai/case-studies/obeta

43. 物流AIスタートアップ（2/2）︓Wise Systems 配送トラックの⾃動配⾞・ルート最適化プラットフォーム l ⽶ボストンで2014年創業 l 「機械学習」ベースで配⾞とルートの両⽅を動的に効率化 https://www.wisesystems.com/

44. （参考）深層学習は配送ルート最適化などにも有効なのか︖ 組み合わせ最適化問題に対する深層（強化）学習アプローチの盛り上がり l 深層学習を⽤いた組み合わせ最適化論⽂増加 ̶ ほとんどが2017年以降の発表 ̶ 古典的な巡回セールスマン問題（TSP）だけでなく物流と関連する運搬経路最適化（VRP）も研究対象 l 部分的に従来のヒューリスティクスより優れた実験結果が報告されている https://arxiv.org/abs/2006.03750

45. 建設AIスタートアップ（1/2）︓SKYCATCH ⼟⽊分野でコマツも採⽤したドローン測量スタートアップ l ⽶SFで2013年創業 l 3Dレーザスキャナを搭載した⼤型ドローンの⾶⾏制御と 3次元地形復元技術を提供 l ⽬標地形と現状地形の差分から⽇々の施⼯計画を⽴案・修正 l ドローン三次元測量は今後深層学習の活⽤などによってセンサーの軽量化・コスト減とドローンの⼩型化・⻑期⾶⾏がセットで進むと予想される https://skycatch.com/

46. 建設AIスタートアップ（2/2）︓Doxel 建築現場の測量ロボット l ⽶パロアルトで2016年創業 l 3Dレーザースキャナを搭載した移動ロボット・ドローンで建設現場を毎⽇測量 l 進捗と品質をAIを⽤いて推定 l 進捗と品質の管理を可能にし施⼯効率を向上 https://www.doxel.ai/

47. まとめ l 製造業のスマート化はここ10年で急速に進歩した深層学習をはじめとする⼈⼯知能とIoTの技術によって⽀えられています l 深層学習の製造業への応⽤は「⾒る」「つかむ」「調整する」という 3つの観点に分かれ、それぞれすでに商⽤化が進んでいます l Preferred Networksでは精度も良くエンジニア以外の⽅でも簡単に使える外観検査ソフトウェアを開発しお客様からご好評を頂いております l 今後、製造業だけでなく物流や建設など、より難易度が⾼い産業においても深層学習を⽤いたイノベーションが進⾏すると予想されます

深層学習による製造業のスマート化と産業応用の将来展望（クオリティフォーラム2020講演資料）

深層学習による製造業のスマート化と産業応用の将来展望（クオリティフォーラム2020講演資料）

Recommended

More Related Content

What's hot

What's hot(20)

Similar to 深層学習による製造業のスマート化と産業応用の将来展望（クオリティフォーラム2020講演資料）

Similar to 深層学習による製造業のスマート化と産業応用の将来展望（クオリティフォーラム2020講演資料）(20)

More from Preferred Networks

More from Preferred Networks(20)

Recently uploaded

Recently uploaded(8)

深層学習による製造業のスマート化と産業応用の将来展望（クオリティフォーラム2020講演資料）