Preferred Networksにおける深層学習の製造業応用事例と、その基礎となる深層学習技術の進展と最新動向について （2020年11月25日開催のクオリティフォーラム特別講演２資料）

1. 深層学習による製造業の
スマート化と産業応⽤の将来展望
㈱ Preferred Networks
インダストリーソリューション担当VP
執⾏役員 ⽐⼾将平
2020/11/25 クオリティフォーラム

2. Vision
自分たちの手で革新的かつ本質的な技術を開発し、未知なる領域にチャレンジしていく。
私たちはソフトウェアとハードウェアを高度に融合し、自動車やロボットなどのデバイスをより賢く進化さ
せます。常に変化する環境や状況に柔軟に対処できる賢いデバイスができれば、物理世界をリアルタイ
ムにセンシングし、現実世界そのものが計算可能になります。
技術を使って、自分たちが見たことが無い、まだ知らない世界を知りたい。すでにわかっている領域で勝
負するのではなく、技術の力で想像を超えた世界に挑戦していきます。
現実世界を計算可能にする

3. ⾃⼰紹介
l ⽐⼾将平（HIDO Shohei）
l 専⾨︓データマイニング、機械学習
l 経歴︓
̶ 2002: IPA未踏ユース第⼀期
̶ 2006-2012: IBM東京基礎研究所データ解析グループ
̶ 2012-2014: 株式会社Preferred Infrastructure
̶ 2014-: 株式会社Preferred Networksに転籍 & Chief Research Officer
̶ 2015-: Preferred Networks America, Inc.に異動
̶ 2018-: Preferred Networksに帰任、研究開発担当VP & 執⾏役員に就任
̶ 2020.10-: インダストリーソリューション担当VPに就任

4. Preferred Networks (PFN)のミッション︓現実世界を計算可能にする
Manufacturing
Transportation Bio & Healthcare
Logistics Personal Robot
Entertainment

6. 2020年6⽉のTop500においてPFNのMN-Coreを使ったクラスタMN-3が
電⼒効率の⾼性能計算の実現を評価するGreen500で1位（11⽉に2位）

7. ⽇本ベンチャー⼤賞︓
2017年経済産業⼤⾂賞（FANUC様との連携）→2019年内閣総理⼤⾂賞
2017 世耕経産⼤⾂・FANUC稲葉会⻑と 2019 安倍⾸相へのロボットデモ
l PFNにとってFANUC様との製造業における協業が⼤きな転機となった

8. ⽬次
l 深層学習の概要
l 製造業のスマート化
l Preferred Networksの外観検査ソリューション
l 今後の産業応⽤の可能性︓物流＆建設

9. ⼈⼯知能における機械学習/深層学習
機械学習
データからルールや知識を学習して獲得する
エキスパート
システム
教師あり学習 教師なし学習 強化学習
従来の機械学習
（SVM, ランダムフォレスト, ロジスティク回帰など）
深層学習（ディープラーニング）
どのような
モデルを使うのか
どのように
学習するのか

10. ディープラーニング（深層学習）とは
2014年の一般画像認識コンテストで優勝した
22層からなるGoogLeNetの例 [Google 2014]
特徴抽出⼊⼒画像 ベクトル
表現
学習器 教師データ
/結果
SIFT,SURF,etc BoK,FK,etc SVM,kNN,etc
深層学習
従来の
機械学習

11. 画像認識コンテストにおける深層学習の成功と精度向上(2015年で⼈レベル)
http://www.paddlepaddle.org/documentation/book/en/0.15.0/03.image_classification/index.html
⼈レベル
認識精度
深層学習ベース

12. DX（デジタルトランスフォーメーション）とAIの関係

13. AIは再び冬の時代を向かえるのか︖
出典︓ガートナー (2020年9⽉)
⽇本における未来志向型
インフラ・テクノロジのハイプ・サイクル

14. ビジネス効率・⽣産性向上プロセスの中で位置づけるDX・AI・ロボット
l AIの適⽤を進める副作⽤で、不⼗分な機械化・デジタル化が可視化された
l DXにおいて、改めて全体を機械化・デジタル化する動きが加速している
機械化
デジタル化
⾃動化
省⼈化
最適化
効率向上
AI（最適化）
AI（センシング）
DX
ロボット

15. ⽬次
l 深層学習の概要
l 製造業のスマート化
l Preferred Networksの外観検査ソリューション
l 今後の産業応⽤の可能性︓物流＆建設

16. Photo by Ahsan S. on Unsplash
製造業は
スマート化の
歴史そのもの

17. なぜ深層学習が製造業で最も応⽤が進んでいるのか︖︓
同じモノ・作業を対象とする「繰り返し」が多く、学習アプローチが有効なため
製造業
成果物（出⼒）の種類 たかだか製品の種類
主要な環境 似通った⼯場
構成物（⼊⼒）の種類 たかだか部品の種類
「⾒る」 部品認識・製品外観検査
「つかむ」 各部品毎・混在なし
「調整する」 製造／加⼯装置の調整
「運ぶ」 部品搬⼊や⼯程間搬送
https://unsplash.com/

18. 深層学習が製造業で使えるケース︓
多種多様な⼊⼒から、⾒る、つかむ、調整するという3つの⾏動
⾒る 調整するつかむ

19. 様々な素材・製品の外観検査︓⼈⼿の検査の問題点を解消
→後ほどPFNの外観検査ソフトウェアをご紹介
⾒る
キズ 異物 汚れ
留め具のキズ
布の汚れ

20. センサーデータからの予防保全︓射出成形機の逆流防⽌弁
⾒る
射出成形機にAI搭載、ファナックが深層学習技術で予防保全
[Monoist] [プレスリリース]
ロボショット射出成形機︓
樹脂を⾦型に流し込んで成形

21. 将来に向けて︓触覚と視覚からの物体特性の推定の研究論⽂
l Deep Visuo-Tactile Learning: Estimation of Tactile
Properties from Images [Takahashi & Jethro, ICRA’19]
̶ ロボティクスのトップ国際会議ICRAで最優秀論⽂賞候補
⾒る

22. ばら積みピッキング
つかむ

23. Plug & Pick: 1点の既知の形状から様々な未知の形状へ
つかむ
PFN Location Detection

24. Plug & Pick:
つかむ

25. AIサーボチューニング
調整する

26. AI熱変位補正︓機械の熱によるひずみの補正し加⼯精度を向上
調整する

27. ⽬次
l 深層学習の概要
l 製造業のスマート化
l Preferred Networksの外観検査ソリューション
l 今後の産業応⽤の可能性︓物流＆建設

28. ⼈⼿不⾜ 検査基準のぶれ
● ⽬視検査は重労働
● 教育コストが⾼い
● 基準の属⼈化
● ⽣産拠点間の基準揺れ
キズ 異物 汚れ

29. エンジニア以外のお客様でも使える学習UI付き

30. PFN Visual Inspection の4⼤特徴
直感的な学習UI ／ ⼈間に近い検知スコア
外観検査システムをスピーディかつ安価に構築
様々な素材の外観検査に対応
不良箇所アノテーション不要
良品 100枚〜
不良品 20枚〜
⼩規模なデータセットでもOK
⾮エンジニアでも簡単操作
布 ⾦属 プラスチック
異常個所を教えずと
も効果⾼く学習

31. 従来型
マシンビジョン
容易に利⽤できる／実証完了まで早い
検
知
性
能
が
⾼
い
PFN
Visual Inspection
PFN Visual Inspection の特徴
深層学習応⽤
要アノテーション
（教師あり）
深層学習応⽤
アノテーション不要
（教師なし）

32. 導⼊フロー
トライアル 実証 導⼊・運⽤
学習ツール
検知ライブラリ
• 傷箇所アノテーション不要
• 最⼩の学習⽤画像データ
（良品100枚/不良品20枚〜）
• CPU版は無償提供
（1〜10枚/秒）
• GPU版は⾼速検知
（最⼤100枚/秒）

33. 販売・導⼊体制
システム構築
課題・要件分析学習ツール
検知ライブラリ
PFN パートナー様 導⼊企業様
株式会社Phoxter様

34. お客様事例（1/4）⼤⼿⾃動⾞メーカー様
– 概要
l アプリケーション︓⾃動⾞部品の外観検査
l 検査内容
̶ パーツの⽋け検知
̶ 「円周の⾚マーカーが⽋けずに所定の⻑さに収まっているか」
l 状況︓
̶ 2019年より品質管理部にてPVIを検証
̶ 実ラインを含めた評価結果が良好
かつ広範囲に適⽤可能という評価
̶ 特に現場への組み込みが⾮常に簡単であり
現場担当者だけでの運⽤も望める
̶ 広くライン導⼊を検討中
良品 不良

35. お客様事例（1/4）⼤⼿⾃動⾞メーカー様
– 検査画像例
元画像. ヒートマップ 元画像 ヒートマップ
良品
不良
不良
良品
不良
不良

36. お客様事例（3/4）⼤川精螺⼯業株式会社様
– アプリケーション︓メス⾦具 画像検査
– 検査内容︓
• 検査箇所︓シート部、頭部、ソケット部
• 不良モード︓異物、キズ、メッキ変⾊、サビ、バリ
– 状況︓
• 2020年2⽉よりPVIを導⼊
• 6ヶ⽉間の検証を実施して良好な結果が得られた
• 従来の画像処理からの置き換え
• 製造ラインに導⼊済
• 同製品のラインへの展開と、他部品の検査への適⽤検討も進⾏中

37. お客様事例（3/4）⼤川精螺⼯業株式会社様
- PVIの導⼊により得られたメリット
• 従来の画像処理⼿法ではロットによるメッキの⾊味のばらつきに対応できず過検出が発⽣していた
• PVIによるAI検査により、メッキの⾊味の変化に関わらず、異常のみの検出が可能となった
従来の画像処理では暗い部分を全て検出してしまっていた。
PVIによるAI検査では⾊味に関わらず異常のみを検出できる。
従来の画像処理(⼆値化)
ロットの違いによってメッキの⾊味にばらつきが存在する。
従来の画像処理⼿法ではロットAを基準とした場合、
ロットCのようにメッキの暗いものがほぼNGとなってしまう。

38. お客様事例（4/4）⼤⼿⻭⾞製造会社 C社様
l アプリケーション︓【製品名】平⾏軸の⻭⾞外観検査
l 検査内容:【不良モード】⼤きさ ＞φ3mm ＆ 深さ ＞0.1mmキズの検出
l 状況︓
̶ 2020年1⽉よりPVIを導⼊
̶ NI LabVIEWをベースでの画像処理に、PVIを内製で組み込み実施
̶ ⼊念な検証を実施して良好な結果が得られた
̶ すでに製造ラインに導⼊済
̶ 全世界の⼯場に存在する４0系統のラインへの展開を進⾏中
l PVIの導⼊により得られたメリット
̶ 既存のアプローチでは実現できなかった過検出の課題が解決された
̶ 従来21.1%発⽣していた過検出が1.2%に改善した
対象製品のイメージ図

39. ⽬次
l 深層学習の概要
l 製造業のスマート化
l Preferred Networksの外観検査ソリューション
l 今後の産業応⽤の可能性︓物流＆建設

40. 物流と建設における深層学習応⽤の可能性︓
多種多様な荷物や環境の変化をどのように扱うか︖ https://unsplash.com/

41. 深層学習の応⽤先として製造業と⽐較︓
物流と建設は多様性が⼤きく個別対応が必要なため適⽤難易度が⾼い
製造業 物流（倉庫・輸送） 建設（建築・⼟⽊）
成果物（出⼒）の種類 たかだか製品の種類 注⽂毎にバラバラ 毎回⼀点モノ
主要な環境 似通った⼯場 似通った倉庫・トラック
⼟⽊は個別の地理地形
／建築は個別の設計
構成物（⼊⼒）の種類 たかだか部品の種類 多種多様かつ⽇々増加 建築は既存品＋特注品
「⾒る」 部品認識・製品外観検査
段ボール・ケース認識
／⽇々増加する商品
毎回異なる設計と
施⼯の⼀致確認
「つかむ」 各部品毎・混在なし 様々な重量・形状が混在
⼟砂（流体）、鉄筋（重
量物・⻑尺）など多様
「調整する」 製造／加⼯装置の調整
運送の経路最適化など
（研究進⾏中）
（⼈⼿が多く対象少）
「運ぶ」 部品搬⼊や⼯程間搬送 ⼈⼿の置き換え ⾼い需要・⾼難易度

42. 物流AIスタートアップ（1/2）︓Covariant.ai
深層強化学習で⾼名なUC BerkeleyのPieter Abbeel教授が共同創業者
l ⽶バークレーで2017年創業
l ピッキングロボットに注⼒
l バラ積みピッキングに
深層強化学習を適⽤
̶ 様々なアイテムに適応可能
l 事例︓独Obeta社の倉庫
̶ シャトルで在庫・出荷⽤ケース
をロボットステーションに運搬
̶ ロボットが在庫ケースから取り
出し出荷⽤ケースに移動
https://covariant.ai/case-studies/obeta

43. 物流AIスタートアップ（2/2）︓Wise Systems
配送トラックの⾃動配⾞・ルート最適化プラットフォーム
l ⽶ボストンで2014年創業
l 「機械学習」ベースで配⾞とルートの両⽅を動的に効率化
https://www.wisesystems.com/

44. （参考）深層学習は配送ルート最適化などにも有効なのか︖
組み合わせ最適化問題に対する深層（強化）学習アプローチの盛り上がり
l 深層学習を⽤いた組み合わせ最適化論⽂増加
̶ ほとんどが2017年以降の発表
̶ 古典的な巡回セールスマン問題（TSP）だけでなく
物流と関連する運搬経路最適化（VRP）も研究対象
l 部分的に従来のヒューリスティクスより
優れた実験結果が報告されている
https://arxiv.org/abs/2006.03750

45. 建設AIスタートアップ（1/2）︓SKYCATCH
⼟⽊分野でコマツも採⽤したドローン測量スタートアップ
l ⽶SFで2013年創業
l 3Dレーザスキャナを搭載した
⼤型ドローンの⾶⾏制御と
3次元地形復元技術を提供
l ⽬標地形と現状地形の差分から
⽇々の施⼯計画を⽴案・修正
l ドローン三次元測量は今後
深層学習の活⽤などによって
センサーの軽量化・コスト減と
ドローンの⼩型化・⻑期⾶⾏が
セットで進むと予想される
https://skycatch.com/

46. 建設AIスタートアップ（2/2）︓Doxel
建築現場の測量ロボット
l ⽶パロアルトで2016年創業
l 3Dレーザースキャナを搭載した
移動ロボット・ドローンで
建設現場を毎⽇測量
l 進捗と品質をAIを⽤いて推定
l 進捗と品質の管理を可能にし
施⼯効率を向上
https://www.doxel.ai/

47. まとめ
l 製造業のスマート化はここ10年で急速に進歩した深層学習をはじめとする
⼈⼯知能とIoTの技術によって⽀えられています
l 深層学習の製造業への応⽤は「⾒る」「つかむ」「調整する」という
3つの観点に分かれ、それぞれすでに商⽤化が進んでいます
l Preferred Networksでは精度も良くエンジニア以外の⽅でも簡単に使える
外観検査ソフトウェアを開発しお客様からご好評を頂いております
l 今後、製造業だけでなく物流や建設など、より難易度が⾼い産業においても
深層学習を⽤いたイノベーションが進⾏すると予想されます