Switch Vision® Module 活用のコツ (1.2)

1. Copyright (C) SOINN Inc. All rights Reserved. 1
活用のコツ
教師あり学習編
Ver 1.2
2022年7月
株式会社

2. AI の精度を早く確実に上げるには
① 各グループの境界（ボーダー）付近の教師データを増やす
• 見分けタスクではこれが最重要。精度向上の核心。
• 境界から離れたデータは、増やしても識別精度向上に寄与しない
• 精度向上に寄与しないデータは、極力学習サンプルから間引いたほうが良い
② 教師ラベルの曖昧性を解消する
• 教師ラベルのブレや矛盾は、精度低下の主因の一つ
• 学習データ全体に付与された教師ラベルを 3D 表示で俯瞰し、矛盾を解消
• OK/NG など正解ラベルの付与に迷うデータは要注意。ラベルにバラつきが出る懸念あり。
• 一方で、ベテラン検査員が合議し教師ラベルの整合性を調整すると、それが AI が何を
どう判定するかの基準になり、「品質保証」に繋がる。
③ グレー判定を活用する
• AI が見分けに「迷った」サンプルに教師ラベルを付け、追加学習させると、
精度向上に繋がる
2

3. SV の学習は「新人」に教えるイメージ
一般に、画像の分類作業を人にやってもらう場合
① まず、ざっくりデータの全体像を示す
② 全体を分類する各グループの代表例を示す
③ 間違いやすいのはどんなデータか、またそれらを精度よく分類するための
ヒントや決め手は何かを説明する
④ とりあえず作業を始めて貰い、迷ったものは質問をしてもらって都度教示
最初 ④ の質問は多いが、徐々に減って分類精度も高まっていくと想定される。
3

4. 事例に基づく解説
 Fashion MNSIT データベースを用いて説明
 この中の Ankle boot, Sandal, Sneaker の3サンプル
 （各1000個：学習800, テスト200）を利用
2022/7/6 Copyright (C) SOINN Inc. All rights Reserved. 4

5. 2022/7/6 Copyright (C) SOINN Inc. All rights Reserved. 5
Sandal 画像の例

6. 2022/7/6 Copyright (C) SOINN Inc. All rights Reserved. 6
Sneaker 画像の例

7. 2022/7/6 Copyright (C) SOINN Inc. All rights Reserved. 7
Ankle boot
画像の例

8. 2022/7/6 Copyright (C) SOINN Inc. All rights Reserved. 8
まずデータの全体像を
3D で俯瞰的に確認。
SV には 3D 表示機能が標準装備されている。
学習サンプルをフォルダ入れ「学習開始」
ボタンを押すと、右図のような3Dプロット
が自動的に表示される。
Fashion MNIST
青：Sandal
緑：Sneaker
赤：Ankle boot
ドットは個々の画像に対応。
ドットをクリックすると対応画像が表示される

9. 2022/7/6 Copyright (C) SOINN Inc. All rights Reserved. 9
見分け
が難しい
他と重なりが少なく
見分けやすいエリア
他と重なりが
少なく見分け
やすいエリア
他と重なりが
少なく見分け
やすいエリア
データ分布の解釈
何がどこに来ている？
① 簡単に見分けられるもの
➡ 他グループと重なりがない or
重なりが少ないエリアのデータ
この分布では周辺部
② 見分けが難しいもの
➡ 複数グループが入り乱れる
エリアのデータ
この分布では中央部
一般に他のグループと重なる
エリアのデータは見分けが難しい

10. 2022/7/6 Copyright (C) SOINN Inc. All rights Reserved. 10
見分けやすい対象
• 他のグループと重なりがない or
重なりが少ないエリアの画像
• この分布では周辺部
• 画像の外見も他のグループと
はっきり異なる
（SV ではドットをクリックすると、
対応する元画像が表示される）
青：Sandal
緑：Sneaker
赤：Ankle boot

11. 見分けやすい対象例
 Ankle boot
 Sandal
 Sneaker
2022/7/6 Copyright (C) SOINN Inc. All rights Reserved. 11
見た目が互いに
はっきり異なる。
誤判定は生じず、
扱いも簡単。

12. 2022/7/6 Copyright (C) SOINN Inc. All rights Reserved. 12
見分けが難しい対象（重要）
通常、誤判定はグループ間の境界付近で生じる。
p.6 の図の中心エリア。
誤判定されるデータは、見た目が正解と異なる
グループに似ている。
SVでは右図のように、学習サンプルの中で
誤判定されたサンプルのみの表示ができる。
この誤判定を減らすことが精度向上に直結。
学習サンプルの正解ラベルにバラつき・矛盾が
ある場合や、無関係の画像（ノイズ）が混じっ
ている場合もある。それらの解消も重要。
p.5 の全データの表示から
正解したデータ〇を外し、
誤判定データ🔳のみを表示。

13.  Ankle boot
 Sandal
 Sneaker
見分けが難しい画像例：見た目が微妙に似ている。

14. SV の活用による精度向上（重要）
 SV では学習サンプルを自動的にやりくり（交差検証）することで、
学習サンプルの中での正誤判定を出力できる。
 上記の誤判定されたデータを確認することで、ラベルにブレや誤りの
ある画像や、無関係な画像（ノイズ）を効率よく発見し是正できる。
 ラベルの整合性の調整とノイズの除去は、精度向上に寄与。
 3D 表示された分布のどこに、どのようなデータがあるか直観的に確認できる
 ラベルに問題が無く、誤判定されたデータに対しては、類似のデータ
を追加学習させる。
 AI の学習が補正・促進され、精度向上が期待できる。
2022/7/6 Copyright (C) SOINN Inc. All rights Reserved. 14

15. グレー判定の活用（１）
通常、２グループ間の識別課題では
 あるサンプルの推論結果が「Aの確率：51％、Bの確率：49%」の場合
➡ AI はサンプルを「 A グループ」と判定する
SV のグレー判定機能
 A と B の確率の差から以下を計算
(51-49)/51 ≒ 0.039 ➡ 約3.9%
 この数値が設定閾値の範囲内にあるデータをグレー判定とする
2022/7/6 Copyright (C) SOINN Inc. All rights Reserved. 15

16. グレー判定の活用（２）
2022/7/6 Copyright (C) SOINN Inc. All rights Reserved. 16
SV 予測タブの赤枠の機能
 左図では閾値が 50% に設定されている
 p.11の例は 50% > 約3.9% より グレー判定になる
実データ例
閾値% 判定 基準値 クラス1 確率 クラス2 確率 クラス3 確率
50 グレー 0.065
Ankle
boot
0.514 Sandal 0.005 Sneaker 0.481
上位2クラスの結果から、(0.514-0.481) / 0.514 ≒ 0.064
50% > 約6.4% でグレー判定
AI は左図が Ankle boot, Sneaker の確率がほぼ等しいとして
判定に迷っている。正解ラベルは Ankle boot だが、Sneaker
の学習データに、これに似た画像があると推測される。

17. グレー判定の活用（３）
 運用開始直後は、グレー判定の閾値を高めにする
 テストデータで、判定に迷ったものを申告させる
 AI が判定に迷ったテストデータを人が確認、正解ラベルを付与して
追加学習させる
 迷ったものをしっかり教えることで、以後類似サンプルの判定精度が高まる
 判定精度の向上に連動し、徐々に閾値を下げていく
 最初期グレー判定は多くなるが、AI が判定に迷ったものを重点的に追加学習させる
ことで、短期間で高精度化が期待できる
 人でも、迷った/わからないところを重点的に教わると、効率的に理解が進む。
2022/7/6 Copyright (C) SOINN Inc. All rights Reserved. 17

18. まとめ
 SV は CPU による少量データの学習で、実用レベルに到達できる。
 なぜなら
 正解ラベルのブレや矛盾を 3D で俯瞰的に確認でき、ラベルの整合性が取りやすい
 質が悪い/無関係な学習データの発見や削除がしやすい
 誤判定が生じやすい、グループ間の境界付近のデータを 3D 分布で確認し、境界付近に来る
学習サンプルを優先的に補強できる
 境界から遠く、誤判定されにくいデータは、学習サンプルから大幅に削減できる
 必要十分な学習サンプルへの絞り込みは、データ量・演算量の大幅削減に寄与する
 グレー判定のテストサンプルをこまめに追加学習できる
 短時間で学習できるため、現場 PC での試行錯誤的な調整や、こまめな追加学習に対応可
（医療用など、非常に高精度が求められるタスクは Pro版で対応）
 今後の課題
 判定根拠のヒートマップ表示機能 等
2022/7/6 Copyright (C) SOINN Inc. All rights Reserved. 18

19. Copyright (C) SOINN Inc. All rights Reserved.