データサイエンス概論第一=7 画像処理

1
九州大学大学院システム情報科学研究院
データサイエンス実践特別講座
データサイエンス概論第一
第7回画像処理
システム情報科学研究院情報知能工学部門
内田誠一
九州大学数理・データサイエンス教育研究センター／年月版2018 4

2
データサイエンス概論第一の内容
 データとは
 データのベクトル表現と集合
 平均と分散
 データ間の距離
 データ間の類似度
 データのクラスタリング
（グルーピング）
 線形代数に基づくデータ解析の基礎
 主成分分析と因子分析
 回帰分析
 相関・頻度・ヒストグラム
 確率と確率分布
 信頼区間と統計的検定
 カテゴリカルデータの検定(予定)
 時系列データの解析
 異常検出
 画像処理
 パターン認識と深層学習

3
画像とは？

4
2値画像，濃淡画像，カラー画像

5
２値画像
50
100
150
200
50
100
150
200
0
0.25
0.5
0.75
1
50
100
150
200九州大学数理・データサイエンス教育研究センター／年月版2018 4

6
濃淡画像
50
100
150
200
50
100
150
200
0
100
200
50
100
150
200

7
カラー画像
R成分 G成分 B成分
= + +

8参考(飛ばしてＯＫ) 8
波長と光
「可視光」
波長＝380nm 750nm
あれ？色って
Ｒ＋Ｇ＋Ｂでは？？
wikipedia

9参考(飛ばしてＯＫ)
人間による色の「知覚」はいい加減？
単一波による黄色
RとGを
混色して
できる
黄色
(波形としては全然違うのに)人間はこれらを区別できない！

人間の視細胞
wikipedia
青錐体赤錐体緑錐体
wikipedia
biz.websuccess.jp/cud/colorsense/

RGB表色系
 R（赤、 700nm）
 G（緑、 546.1nm）
 B（青、 435.8nm）
 この3原色の混ぜ具合によって，色を表現
色=α R + βG + γB
(α,β,γ)
の３つの数字で色を表す

マンセル表色系とHSV表色系
 色相（Hue)
 彩度(Chroma)
 明度(Value)
RGB表色系から
擬似的に変換可能
(HSV表色系とか
HSI表色系と呼ばれる）
V成分を取り除けば
照明変動に強い
画像表現が可能！

13
動画像＝静止画像の時系列
フレーム
(静止画像）
時間九州大学数理・データサイエンス教育研究センター／年月版2018 4

画像情報学の技術曼荼羅
コンピュテーショナル
フォトグラフィ
画
像
取
得
（
光
学
系
）
デ
ィ
ジ
タ
ル
化
（
標
本
化
・
量
子
化
）
領域分割・検出
二値化
対象検出
領域分割
画素単位処理
フィルタ
色変換
輝度変換
動き解析
対象追跡
オプティカルフロー
画像認識
コンピュータビジョン
3次元再構成
反射特性推定
位置合わせ
画像合成
コンピュータグラフィクス
超解像
取得系
一次処理
二次処理
識別理論
特徴抽出
クラスタリング

画像情報処理技術はあらゆる分野で必要
画像情報
処理技術
生物学・化学・
物理学
エネルギー・製造・
プラント・インフラ
医学・薬学・農学
電気電子デバイス・
マテリアル
機械・オートモティ
ブ・ロボティクス
理工系学術分野
定量化，形状解析
データ可視化，計数
イメージング，診断
検査，対象認識...
データサイエンス・ICT
アルゴリズム・
プログラミング
確率統計・線形代
数・グラフ理論
データ定量化・知識発見
機械学習・
人工知能
データベース・
可視化
最適化・
信号処理
社会科学・社会
工学・環境科学
法学・法医学・
プライバシー
心理学・感性
工学・人間科学
芸術・デザイン・
メディア工学
図書館学・人文学
人文系学術分野
デジタルデータ化，
認知・認証,
監視・見守り,
映像表現，…

16
コンピュータに画像が保存されるまでの処理
～標本化，量子化，そして圧縮
いわゆる「アナログ→ディジタル変換」と画像圧縮

17
標本化：
デジタル画像生成の第一歩
点（画素）の集合連続的
アナログ世界デジタル世界

18
標本化の方法：
有限個の撮影素子のそれぞれが光強度をセンシング
九州大学数理・データサイエンス教育研究センター／年月版2018 4http://www.kayoo.org/home/mext/joho-kiki/ より引用

19
標本化周期（解像度）による画像の変化
640x480 320x240
160x120 80x60
信号の細かさに比べ解像度が
低すぎて生じる偽信号(エリアシング)

標本化に関する余談：
条件を満たせば完全にアナログ情報を戻せる
 「シャノンの標本化定理」
 ＝「もともとの模様の細かさ(周波数)が分かっていれば，それ以上に細かく標本
化すれば，元に戻せる」
点（画素）の集合連続的
アナログ世界デジタル世界

2121
量子化(quantization)の概念
 連続量→（四捨五入的処理)→離散量
 必ずロスが発生（元には戻らない）
量子化
0
1
2
3
4
(4,0,4,4,3,3,3,1,2,1,0)(1.74, -2.034, 2.897, …..)
量子化
誤差
標本化された信号標本化＋量子化された信号

22
量子化レベルによる画像の変化
256(8bit)
64(6bit)
32(5bit)
16(4bit)

23
量子化レベルによる画像の変化(つづき）
8(3bit)
4(2bit)
2(1bit)

24
量子化レベルによる画像の変化
RGB各256レベル
(8bit×3=24bit)
64(6bit×3)
32(5bit×3)
16(4bit×3)

25
量子化レベルによる画像の変化(つづき）
RGB各8レベル
(3bit×3)
4(2bit×3)
2(1bit×3)

2626
画像圧縮～種類と応用先
 可逆符号化 X=X’
 医用画像，文化財（古文書）保存，リモートセンシング画像
 圧縮率 1/2 ~ 1/3 程度
 非可逆符号化 X≠X’ but X≒X’
 通信用画像(Web上の画像，デジカメ画像)，動画
 圧縮率1/10 ~ 1/50 ~....
画像X → 圧縮 → 復元 → X’
普通のJPEGは
こちら

27
画像は各周波数に分解できる
低高
低
高
水平周波数
垂直周波数

28
JPEGの原理:小ブロック毎に周波数分解
低高
低
高
水平周波数
垂直周波数
周波数
成分に
分解
値の大きな成分は低周波数域に集中する（energy compaction)
8x8ブロック

29
最も低い周波数成分だけで表現

30
もう少しだけ使って表現

31
拡大版
ブロック歪みが良く見えます

32
なぜ圧縮できる？
（濃淡画像）こちらを
送らずに
（周波数成分）
こちらを送る
ここは
捨てる
圧縮
復元
しかしブロック歪には要注意！
画像処理はブロック歪に弱い！
さらに
この部分を
量子化

33
以前やった，以下の話と全く同じ！
高周波数
成分が
相当する

34
ブロック歪み(block-noise)
量子化粗量子化密

35
モスキートノイズ(mosquito noise)
原画像
JPEG圧縮後

可逆圧縮 PNG
 汎用圧縮方式 (LZ77圧縮)が中心技術
 似たパターンが繰り返し出現することに着目した手法
 GZIP等でも利用
 画像特有の性質を積極的に活用した手法ではない
 色は24ビットRGB
 RGB各8ビット=JPEGと同じ
http://itpro.nikkeibp.co.jp/article/COLUMN/20061012/250605/?P=7

37
画像の2値化
濃淡画像を，白画素と黒画素にする

3838
画像の２値化
 濃淡画像を白と黒の2階調に変換
 利用目的の例
 前景（物体）と背景の分離，各種成分抽出（連結成分解析，後述）
 ノイズ除去
 画像の高速処理，画像の圧縮蓄積
原画像（濃淡画像） 2値画像（白黒画像）
領域境界が
ハッキリする

39
2値化の手がかり：ヒストグラム（頻度）
黒白
画素数
どうもこの辺が
「白線」部分？
キリン(?)の表皮
(濃淡画像)

40
2値化の手がかり：ヒストグラム
黒白
どこに
「しきい値」
(threshold)
を設定？

4141
モード法
 ヒストグラムの谷＝しきい値
黒(0)
画素数
白(255)

4242
大津の二値化
 最適しきい値を決定
黒白
分散A 分散B
左部分の平均右部分の平均
分散C
分散A 分散B
分散C
＋
評価基準
これを最大化
するように
しきい値を
決定九州大学数理・データサイエンス教育研究センター／年月版2018 4

4343
Pタイル法
 「画像中のp%が前景」→既知なら使える方法
 全体的に明るさが変わってもOK!
１００％
p ％

4444
連結成分解析
 連結成分＝黒(or 白)画素の塊
 全体での数や，各成分の面積や形が定量化できるようになる！
Fiji sample image “Blobs”
64個
総黒画素面積 22243
平均面積 347.547
面積
個数

45
４連結と8連結：
どこまでを「隣」とみるか？
 ４連結での「隣」
 8連結での「隣」
 4連結か，8連結かで変わる
(黒の）連結成分数は何個？
(白の）連結成分数は
つながっている!?

46
膨張・収縮による2値化後のノイズ除去
膨張膨張膨張
膨張膨張
収縮
収縮収縮収縮収縮収縮
http://imagingsolution.blog107.fc2.com/blog-entry-101.html
小さなギャップを埋められる
小さな孤立点を潰せる

47
より進んだ二値化：局所二値化
原画像
全体で二値化
局所二値化
局所領域
輝度値
#画素数
前景背景

より進んだ二値化：背景推定
平滑化による補完
絶対前景と思われる
黒画素領域
（多少余計にとってもOK)

より進んだ二値化：最適化に基づく方法
 評価関数：
 元の色を維持したい＋隣と同じ色にしたい
 グラフカットによる最適化が一般的
[石川SSII-2007]

50
画像の領域分割
写っているものを個々に分離する
[Krähenbühl NIPS-2011]

51
古典的方法1：ヒストグラムを用いた多値化

5252
古典的方法2： Region Growing法
1. 初期画素K個を選び、それぞれ(大きさ1の)領域とみなす
2. 各領域1…Kについて、領域に隣接する画素が似た性質を持てば
領域に加える
3. 2.を繰り返す。ただし2領域が接触した場合、統合判定を行う
九州大学数理・データサイエンス教育研究センター／年月版2018 4http://astro.temple.edu/~siddu

53
古典的方法4： Split-and-Merge法
http://codezine.jp/static/images/article/167/concept.gif
http://astro.temple.edu/~siddu

54
古典的方法5： Watershed(分水嶺)法
(二値化利用型)
分水嶺
領域境界
からの距離

55
古典的方法5： Watershed(分水嶺)法
(輝度勾配変化利用型)
原画像輝度勾配画像
（変化の大きいところ→明るい）
３D表示
分水嶺（尾根線）
http://en.wikipedia.org/wiki/Watershed_%28image_processing%29

56
Watershed，アニメーションで
http://cmm.ensmp.fr/~beucher/wtshed.html
注目
入力処理過程
（アニメ）
結果

57
より最近のセグメンテーション法
Mean-shift (座標＋色でクラスタリング) Grabcut (ユーザースケッチ＋グラフカット)
Superpixel
条件付きランダム場+最適化
(セマンティックセグメンテーション)
[Krähenbühl NIPS-2011]
[Mori ICCV-2005]

58
ディープニューラルネットワークによる
“セマンティック”セグメンテーション
[Badrinarayanan+, “SegNet: A Deep Convolutional Encoder-Decoder Architecture for Image Segmentation”, TPAMI2017]九州大学数理・データサイエンス教育研究センター／年月版2018 4

59
画像のフィルタリング

60
フィルタリング
何かしらの
計算結果
画像の全画素に
ついて計算

6161
最も基本的なフィルタ：平滑化 (1/2)
まずは1次元で考えてみる
フィルタ
マスク
原信号
13 3 33 3 00 1 03 0
1/31/3 1/3
2.3
2.3
1/31/3 1/3
2.3
1/31/3 1/3
1
1/31/3 1/3
3
1/31/3 1/3
2
1/31/3 1/3
1.3
1/31/3 1/3
0.3
1/31/3 1/3
1.3
1/31/3 1/3
1.3
1/31/3 1/3

6262
最も基本的なフィルタ：平滑化 (2/2)
画像の場合
1/9 1/9 1/9
1/9 1/9 1/9
1/9 1/9 1/9
平滑化用
フィルタマスク
(3x3)
10 10 10
10 20 10
10 10 10
1/9 1/9 1/9
1/9 1/9 1/9
1/9 1/9 1/9
10 10 10
10 11 10
10 10 10
内積
マスク原画像平滑化後

63
最も基本的なフィルタ：平滑化

64
基本的なフィルタ：エッジ検出
まずは1次元で考えてみる
フィルタ
マスク
原信号
33 3 33 3 00 0 00 0
-1/2-1/2 1
0 0 0 0
3/2
-3/2
0 0 0 0 0

6565
エッジ検出例
 横方向と縦方向でエッジを出して，それらを合成(Sobel)

6666
非線形フィルタ：メディアンフィルタ
 各局所領域の「中央値」を採る処理
 中央値＝濃淡値を大小順に並べ、その中で真ん中の値
 内積型ではないフィルタの代表例
http://www.mvision.co.jp/WebHelpIM/_RESOURCE/Filter_Mvc_Median.html
フィルタサイズ＝３ｘ３１０ｘ１０

6767
非線形フィルタ：バイラテラルフィルタ
 エッジは保存しながら細かい変化を平滑化
[Tomasi+, ICCV1998]

バイラテラルフィルタ，どうやってエッジを保存？
 現在の画素との輝度差が大きい部分の平滑化を抑える！
f:平滑化
g:輝度差による重み
f・g
http://scien.stanford.edu/
輝度
重み小
重み大
注目画素

69
ディープニューラルネットワークによるフィルタリング：
ノイズ除去
[Mao+, “Image Restoration Using Convolutional Auto-encoders with Symmetric Skip Connections”, arXiv2016]九州大学数理・データサイエンス教育研究センター／年月版2018 4

70
白黒画像のカラー化
Iizuka＋, “Let there be Color!: Joint End-to-end Learning of Global and Local Image Priors for Automatic Image Colorization with Simultaneous Classification”. TOG2016]九州大学数理・データサイエンス教育研究センター／年月版2018 4

71
こんなことまでできる！
昼→夜への変換
[Isola+, “Image-to-Image Translation with Conditional Adversarial Networks," arXiv2016]
地図⇔衛星画像の相互変換

72
物体追跡
（トラッキング）

73
トラッキングの例
データ提供：鈴木利治先生(北大薬学)

74
トラッキングの原理
時間
追跡対象
0 Tt-1 t
追跡対象と類似した
箇所をつないでいく

7575
最も簡単な方法：
テンプレートマッチング
 何をもって「似ている」とするかがカギ
 隠れや極端な変形→見失う九州大学数理・データサイエンス教育研究センター／年月版2018 4
テンプレート
時刻t時刻t-1
時刻t-1での位置の周囲で，
テンプレートに最も似た領域
→時刻tでの位置

76
その他，代表的なトラッキング手法
 テンプレートマッチング
 最も基本
 Mean Shift
 一般にカラーヒストグラムで物体を表現
 形状変化に頑強
 カルマンフィルタ
 前時刻までの移動状況から次時刻位
置を予測
 パーティクルフィルタ
 複数候補を並列的に探索
 動的計画法
 最適経路問題として解く
 ネットワークフローによるトラッキング
 多物体同時追跡も可能
リアルタイム処理型
時々刻々と位置を決定していく
オフライン処理型
全フレームを利用して一括決定
(リアルタイム性↓，精度↑)

77
動き解析

7878
どこが動いたか？
フレーム間差分を用いるのが簡単！
 動きの有無がわかるだけ
 それでも結構役立つ場合も
時刻t 時刻t+1 動いていない
部分は消える
動いた
部分が残る

79
フレーム間差分の例
差分画像
時間

Motion History Image
 数フレーム分の背景差分を画像化したもの
 ２フレーム間の差分よりは，長い時間変化を捉えられる
[Bobick & Davis, IEEE TPAMI, 2001]

背景差分
(これも簡単で便利です)
画像は http://www.ipa.go.jp/jinzai/esp/2006mito1/mdata/10-13.html より引用
現在の画像背景画像

82
より本格的な動き解析：オプティカルフロー
２フレーム間における「画素レベル」の動き
時間
トラッキング
時間
オプティカルフロー

83
オプティカルフローの例
(ImageJのflowJ利用)
時間
……

84
テンプレートマッチングによるオプティカルフロー
各画素を中心としたテンプレートのマッチングにより
対応点を決定

85
動き推定結果
テンプレートマッチングによるオプティカルフロー
時間

86
開口問題：
画像情報だけでは完全なオプティカルフローは困難
時刻t 時刻t+1
？
人間ですら…

データサイエンス概論第一=7 画像処理

More Related Content

What's hot

Similar to データサイエンス概論第一=7 画像処理

More from Seiichi Uchida

データサイエンス概論第一=7 画像処理