This slide is for shuumai seminar in Tokyo on May 22, 2019 to show how deep learning and machine learning were used for inspection of machine parts

1. ディープラーニングを使った
検品の実用化に向けて
最新のディープラーニング動向
Tech Lead Engineerから最新技術を学べ！
Python(機械学習)編
株式会社RUTILEA 渡邊直樹 at 2019/5/22 @Shibuya

2. 概要
これまで検品は既存の手法では汎用化ができず、独自にマシンを
作っていた。今回、約100件の正常画像で足りる、ディープラー
ニングを利用した汎用的な検品 (異常検知) システムを開発した。

3. 背景

4. 異常検知とは
• あるデータの分布から外れたデータを見つけ出すこと
• 学習データが正常品のみ含む場合 (novelty detection)と、
• 異常部品をわずか含む場合(outlier detection)がある

5. 異常検知とは

6. 検品の現場の課題
• 部品は少量多品種
• 個別の部品に検品マシンを作っている (下図: おにぎり検品の例)
http://www.fuji-seiki.co.jp/product/2221

7. 課題

8. 既存の画像解析の課題
• 既存の画像解析ではノイズに多く揺さぶらる
• 特徴量エンジニアリングによる汎用的な検品システムは難し
かった

9. ディープラーニングを使った検品の課題
• ディープラーニングの学習には数百万のデータが必要
• 異常データを集めることが困難なことがある (場合によって10
年に数品)
-> 産業の検品においてディープラーニングの学習は諦める

10. 手法

11. 提案する手法
学習
1. 正常画像を用意する
2. 学習済みニューラルネットワークの中間層で特徴抽出する。
3. 特徴量は次元が大きいので、平均値などの統計量に置き換え
る。
4. その統計量を古典的な機械学習の異常検知で学習する。

12. 検証に用いたデータセットを抜粋(正常)

13. 検証に用いたデータセットを抜粋(異常)

14. 検証した手法 (学習時)
• Imagenetで学習済みのResNet + Isolation Forest
ResNet
Isolation
Forest
:
Global
Average
Pooling
正常データ100枚 学習

15. 検証した手法 (推論時)
• Imagenetで学習済みのResNet + Isolation Forest
ResNet
Isolation
Forest
:
NG
OK
Global
Average
Pooling
正常か異常か未知データ

16. 結果

17. 結果: 約0.008を閾値に異常品を分けられ
る
n(TestOK) = 21
n(TestNG) = 20

18. 議論

19. 今後の課題
• ディープラーニングを利用することで検品の汎用化に寄与した。
• どういった部品、傷の種類に対応できるのか不明。
• 照明の当て方によって傷が見えたり見えなかったりするので、
照明を追求する必要がある。
• どういったニューラルネットワークが向いているのか、どの層
を特徴量として用いるべきかが不明

20. End of slide