続・わかりやすいパターン認識読書会 #1のLT資料です。

1. わかりやすいパターン認識 1章
パターン認識とは ver1.0
1
15分ではなす
ぞくパタ #1 LT
@weda_654

2. 自己紹介
✓ TwitterID : weda_654
✓ 所属 : GoogleMapとAWSとデータ分析の会社
✓ 業務 : 前処理！ 集計！ 資料作成！
✓ 使用言語 : R(メイン), Python(たまに)
✓シェル芸による前処理の修行中ですこんなアイコン
2

3. 注意事項
本資料は個人の意見・認識によるものです
所属する組織の意見・認識とは無関係です
ご了承おねがいいたします

4. 4
目次
✓ パターン認識系の構造
✓ 特徴ベクトルと特徴空間
✓ プロトタイプと最近傍決定則
✓ まとめ

5. 5
はじめに
持っていない人は書店にGO

6. パターン認識系の構成
6

7. ✓ パターンは手書き文字・絵・音声・匂い・触感など多岐にわたる
7
パターン認識とは
パターン認識系の構成
✓ 観測されたパターンをあらかじめ定められた複数の
概念のうち1つに対応させる処理
✓ 概念はクラス(またはカテゴリー)とよばれる
用意していたクラス
{1, 2, 3, 4, 5,
6, 7, 8, 9, 0}
パターン
手書きの数字5
照合５

8. 認識系の構成
8
パターン認識系の構成
前処理部特徴抽出部識別演算部
識別辞書
対応させるクラス
５
照合
入力パターン
出力
✓ パターン認識は図1にような手順で進められる
図1：パターン認識系の構成
識別部
認識

9. 認識系の構成
9
パターン認識系の構成
前処理部特徴抽出部識別演算部
識別辞書
対応させるクラス
５
照合
入力パターン
出力
✓ 前処理部
• 入力パターンのノイズの除去,正規化を行う
* 識別辞書：複数のクラスの特徴の集合
識別部

10. 認識系の構成
10
パターン認識系の構成
前処理部特徴抽出部識別演算部
識別辞書
対応させるクラス
５
照合
入力パターン
出力
識別部
✓ 特徴抽出部
• パターン認識に必要な特徴のみを抽出する
• 認識性能を左右する重要な処理

11. 認識系の構成
11
パターン認識系の構成
前処理部特徴抽出部識別演算部
識別辞書
対応させるクラス
５
照合
入力パターン
出力
✓ 識別部
• 入力パターンから抽出した特徴を用いて事前に用意した
複数クラスと照合させ1つを選ぶ
識別部
* 識別辞書：複数のクラスの特徴の集合

12. 特徴ベクトルと特徴空間
12

13. 特徴ベクトル
特徴ベクトルと特徴空間
✓ 特徴抽出部で抽出される特徴は数値で表される
✓ それらの数値を組にしたベクトルを特徴ベクトルと呼ぶ
文字の幅・角の数・曲線の数などd個の特徴を
数値化しベクトルで表記すると…
x = (x1, x2, ...,xd)t (1)
13

14. 特徴空間
特徴ベクトルと特徴空間
✓ 特徴ベクトルによってはられる空間
xd
xj
x2
x1
14
図2：特徴空間

15. 特徴空間
特徴ベクトルと特徴空間
✓ 特徴ベクトルによってはられる空間
xd
xj
x2
x1
15
!2 !1
!i
!c
用意していたc個のクラスを表記
クラスは!1, ...,!c と表す
図2：特徴空間

16. 特徴空間
特徴ベクトルと特徴空間
✓ 特徴ベクトルによってはられる空間
xd
xj
x2
x1
16
用意していたc個のクラスを表記
クラスは!1, ...,!c と表す
!2 !1
!i
!c
同じクラスに属するパターンは
互いに類似している
似たパターンが集まる
クラスごとがかたまり(クラスタ)
図2：特徴空間として観測される

17. 特徴空間
特徴ベクトルと特徴空間
✓ 特徴ベクトルによってはられる空間
xd
xj
x2
x1
17
!2 !1
!i
!c
入力パターンx を表記
x は特徴空間内では点である
x
ここではx はクラス!2 に
属していることがわかる
図2：特徴空間

18. 特徴ベクトルの多様性
特徴ベクトルと特徴空間
✓ 例：手書き文字の認識
• 入力されたパターンを5×5の25メッシュに標本化,
文字は白か黒かの2値
* 標本化：パターンをメッシュ状に区切り各メッシュをある濃度値に代表させる
• 特徴ベクトルは
xj = 1
xj = 0
(黒：文字部分)
(白：背景部分)
• パターンの種類は3千万以上となる,どのようにして文字を
認識すれば良いのか
18

19. 特徴ベクトルの多様性
特徴ベクトルと特徴空間
✓ 文字の認識方法
1つのパターンに対して1つのクラスを割り当てる
例のように単純なものでも3千万以上のパターンがある
すべて割り当てるには労力が大きい
意味を持たないパターンも多数存在する
意味を持たないパターンに対してc+1番目のクラス
リジェクトを設ける
19

20. 特徴ベクトルの多様性
特徴ベクトルと特徴空間
✓ 特徴空間におけるリジェクト
xj
x2
20
xd
x1
!2 !1
!i
!c
!1, ...,!c のクラスに
属していない箇所を
リジェクトとする
* 白地の箇所
図3：特徴空間におけるリジェクト

21. プロトタイプと最近傍決定則
21

22. プロトタイプ
プロトタイプと最近傍決定則
✓ 特徴ベクトルの多様性より
• 全てのパターンに対して１つずつクラスを割り当てることは
現実的ではない
次善の策として…
• 代表的なパターンのみを識別辞書に登録する
• 代表的なパターンをプロトタイプとよぶ
22

23. 最近傍決定則
プロトタイプと最近傍決定則
✓ 最近傍決定則(nearest neighbor rule) (以下,NN法)
• 仮定：特徴空間上で近接しているパターン同士は性質が似ている
入力パターンと各クラスのプロトタイプを比較
最も距離の近い(最近傍にある)プロトタイプの属する
クラスを識別結果として出力する
• 手順
1)
2)
* 距離はユーグリッド距離がよく使用される
23

24. 最近傍決定則
プロトタイプと最近傍決定則
✓ NN法の定式化
n個のパターンが属するクラスとともに与えられているとする
(x1, ✓1), (x2, ✓2), ..., (xn, ✓n)
ただし✓p 2 {!1, ..., !c} p = (1, 2, ..., n)
距離より属するクラスを識別する
min
p=1,...,n{D(x, xp)} = D(x, xk) x 2 ✓k
ただしxk 2 {x1, ..., xn} ✓k 2 {✓1, ..., ✓n}
24
(2)
(3)

25. 最近傍決定則
プロトタイプと最近傍決定則
✓ k近傍法(k-NN法)
• p24のNN法は最も近い1つのプロトタイプによって
識別していることから1-NN法とよばれる
• k-NN法における識別
xと最も距離の近いk個のプロトタイプをとる
k個のプロトタイプのうち,最も多数を占めたクラスを
識別結果とする
25

26. 最近傍決定則
プロトタイプと最近傍決定則
✓ k近傍法(k-NN法)のイメージ
xd
xj
x2
x1
!2 !1
!i
!c
x
p1
p2 pk
p1, ...,pk
入力パターンに近いk個のプロトタイプ
入力パターンに近い
pk1 k個のプロトタイプのうち
!iに属するプロトタイプが
最も多いためx は!i に属する
26
図4：ｋ-NN法のイメージ

27. 特徴空間の分割
プロトタイプと最近傍決定則
✓ プロトタイプの設定
• 機械にパターン認識機能を持たせるためには,
どのようにプロトタイプを設定すべきか
• 設定するべき項目
プロトタイプの個数,特徴空間上の位置など
27
• 設定方法
全数記憶方式：収集されたパターンをそのまま
プロトタイプとする
クラスの分布の重心をプロトタイプとして定める方法
* 少数のパターンをプロトタイプとする

28. 特徴空間の分割
プロトタイプと最近傍決定則
✓ 決定境界
• クラス間を分離する超平面を決定境界とよぶ
28
!2
!1
!3
決定境界
2つのプロトタイプのを結ぶ線の
垂直2等分線
リジェクト領域との境界
図5：決定境界のイメージ

29. まとめ
29

30. 30
押さえとくキーワード
まとめ
✓ パターン認識
✓ 特徴ベクトル
✓ 特徴空間
✓ プロトタイプ
✓ 最近傍決定則

31. ご清聴ありがとうございました
31