静岡Developes勉強会のコンピュータビジョン9章の資料です。

1. 実践コンピュータビジョン
9章 画像の領域分割

2. はじめに
 本資料は静岡Developeｒs勉強会「コンピュー
タビジョン vol.9」のための資料です。
 オライリー社の実践コンピュータビジョン
www.oreilly.co.jp/books/9784873116075/
を教科書として使います。

3. 自己紹介
 やじゅ＠静岡・・・漢字名は「八寿」
平口 八寿人(https://www.facebook.com/yasuhito.hiraguchi)
アラフォーエンジニア、元ＭＳＭＶＰ(Visual Basic)
静岡県島田市のＳＬ(大井川鉄道)が走っている所に在住
Twitter：yaju はてなID：Yaju3D
http://blogs.wankuma.com/yaju/
http://yaju3d.hatenablog.jp/ (数学と物理を基礎からやり直す)

4. 開発環境
 共通開発環境
python 2.7 (3.x系では本書に沿わないのでNG)
環境変数 Path
「C:¥Python27;C:¥Python27¥Scripts;」を追加
 私の開発環境
OS Windows 8.1
IDE pyCharm 3.0.2 (Community Edition FREE)
http://www.jetbrains.com/pycharm/download/

5. 事前準備 その１
 サンプルソースコード
実践コンピュータビジョンのWebサイトの関連ファイ
ルタブからダウンロードしてください。
 画像データ
原著者のサイトから pcv_data.zip をダウンロード
してください。

6. 事前準備 その２
 NumPy、Matplotlib、SciPy、 PILインストール(Windows)
NumPy、Matplotlib、 SciPyのインストール
http://qiita.com/mojaie/items/995661f7467ffdb40331
PIL インストール Python2.7用
http://www.pythonware.com/products/pil/index.htm
 easy_installのインストール(Windows)
https://pypi.python.org/pypi/setuptools/1.1.5#installing-and-using-setuptools
setuptools-1.1.5.tar.gzを解凍し、ez_setup.pyをダブルクリック
C:¥Python27¥Scripts内にeasy_install関連のファイルが入る。
 pipのインストール(Windows)
http://www.lifewithpython.com/2012/11/Python-package-setuptools-pip.html
easy_install pip をコマンドプロンプト上で入力する。

7. 事前準備 その３
 サンプルソースコードと画像データを展開
PycharmProjects (私の場合のフォルダ構成)
├─pcv_data （画像データ pca_data.zipを展開）
├─chap8
├─chap9 （サンプルソース pcv_j.zipを展開）
 Phython-graphパッケージのインストール
http://code.google.com/p/python-graph/ からDLするより
「easy_install python-graph-core」でインストールが簡単

8. 事前準備 その４
pca_data.zipから、empire.jpgを展開してカレントディレクトリ
(chap9)に置きます。
http://research.microsoft.com/en-
us/um/cambridge/projects/visionimagevideoediting/segmentat
ion/grabcut.htmの「Ground truth database」の「Labelling -
Rectangle」をクリックし、boundary_GT_rect.zipをダウンロード
カレントディレクトリ(chap9)に展開します。
376043.bmp 兵隊用、86016. bmp 庭用、 153077. bmp 水泳用

9. 事前準備 その５
http://www.eecs.berkeley.edu/Research/Projects/CS/vision/
grouping/segbench/の「Downloads Segmentation Dataset」の
[images]をクリックして、BSD300-images.tgz をダウンロード
BSD300/images/test/の下記ファイルをchap9内に展開します。
376043.ｊpg 兵隊、86016.ｊpg 庭、 153077.ｊpg 水泳
8章から「Sebastien Marcel Static Hand Posture Database」の
shp_marcel_test.tar.gzから下記ファイルをchap9内に展開します。
C/uniform/C-uniform03.ppm

10. 基礎知識
 画像の領域分割
 グラフ
 ベイズの定理

11. 画像領域の分割
画像を意味のある領域に分割する処理のこと
例 犬のいる背景画像から、犬の領域を取り出す

12. グラフ
グラフは主に、2つ以上の要素(人物、駅、場所など)を結んで行
き、節点同士の関連性を見いだすことに用いられます。
下図の線の数値は各地点を移動にかかる時間(分)である。
線に時間などの重みを持ったグラフを「重み付きグラフ」と言う。

13. グラフ
A地点→C地点に速く着くには？
A地点からC地点に速く着く時間を考えてみる。
今回の場合、4通り行き方があるのでその全てを列挙してみる。
A(上)→Cまでかかる時間:17分
A(下)→Cまでかかる時間:19分
A(左)→B→Cまでかかる時間:5分+11分=16分
A(右)→B→Cまでかかる時間:7分+11分=18分

14. 第3章の目次
 9.1 グラフカット
9.1.1 画像からグラフを構成する
9.1.2 ユーザー入力を用いた領域分割
 9.2 クラスタリングを用いた領域分割
 9.3 変分法
 9.4 演習問題

15. 実行ファイル説明
 9.1.graphcut.py 小さなグラフの最大フロー／最小カットを計算
 9.1.1.graphcut.py empire.jpgを使って、グラフを作成する
 9.1.2.graphcut.py グラフカットによる画像領域を行う
 9.2.ncut.py クラスタリングを用いた画像領域分割を行う
 9.3.chanvese.py Chan-Veseモデルの最小化による画像領域分割を行う

16. 9.1 グラフカット
 グラフカットとは
有向グラフを２つの部分集合に分離すること
有向グラフ・・・辺が向きを持つグラフ
無向グラフ・・・辺が向きを持たないグラフ
グラフカットは、ステレオ画像の奥行き復元、画像のステッチン
グ（つなぎ目を滑らかにする）、画像の領域分割などにコン
ピュータビジョンのさまざまな問題を解決するのに使うことが出
来る。

17. 9.1 グラフカット
 グラフカットとは
参照 大人になってからの再学習 グラフカット（Graph Cut）

18. 9.1 グラフカット
 9.1.graphcut.py の実行
※python-graphパッケージは、「easy_install python-graph-core」でインストール
小さなグラフの最大フロー／最小カットを計算
ノード0：始点(ソース)
ノード3：終点(シンク)
flow is: {(0, 1): 4, (1, 2): 0, (1, 3): 4, (2, 3): 3, (0, 2): 3}
cut is: {0: 0, 1: 1, 2: 1, 3: 1} … 戻り値は、0と1のみ

19. 9.1.1 画像からグラフを構成する
最も単純な４近傍(きんぼう）ピクセルを用い、２つの画像領域
（前景と背景）に分ける。4近傍とはピクセルの上下左右です。
（左）モデルの学習に用いるラベル画像。
（中）画像に重ねた訓練データ領域。（右）領域分割結果

20. 9.1.1 画像からグラフを構成する
最も単純な４近傍(きんぼう）ピクセルを用い、２つの画像領域
（前景と背景）に分ける。4近傍とはピクセルの上下左右です。

21. 9.1.2 ユーザー入力を用いた領域分割
ユーザーが四角形領域や「投げ縄」ツールで領域選択して、前
景と背景を指定するのを模擬した情報をグラフカットに適用して、
ユーザー入力による領域分割を模擬します。

22. 9.1.2 ユーザー入力を用いた領域分割
ユーザーが四角形領域や「投げ縄」ツールで領域選択して、
前景と背景を指定するのを模擬した「注釈情報」をグラフカット
に適用して、ユーザー入力による領域分割を模擬します。
注釈情報は下記のようなピクセル値を持つビットマップ画像
として符号化されています。

23. 9.4 演習問題
 1.グラフカットを最適化するために、エッジの数を減らせば計算を高速化すること
ができます。このようなグラフの構築法が文献[16]の4.2節で解説されています。
これを試して、本書の単純な構築法と、グラフの大きさや領域分割にかかる時間
を比較してください。
 2.グラフカットによる領域分割のために、ユーザーインタフェースを作るか、ユーザ
ーが領域を選択するのを模擬してください。それから、重みに大きな値を設定して
、強制的に背景と前景を設定してください。
 3.グラフカットによる領域分割において、特徴量ベクトルをRGB値のベクトルから
他の記述子に変更してください。領域分割結果を改善できますか？
 4.現在の領域分割結果を次の前景と背景のモデル学習に用いる「繰り返し型の
領域分割」を実装してください。本章で用いた画像について領域分割の品質を向
上できますか？

24. 3.4 演習問題
 5.マイクロソフトリサーチのGrabCutデータセットには、領域分割の正解デ
ータが含まれています。領域分割の誤差を測定する関数を実装して、設
定の違いや演習問題1.～4.のアイデアを評価してください。
 6.正規化カットのエッジの重みのパラメータを変更して、固有ベクトルと領
域分割結果にどのような影響があるか調べてください。
 7.正規化カットの第1固有ベクトルに画像勾配を計算してください。この勾
配画像を組み合わせて物体の画像輪郭を検出してください。
 8.Chan-Vese領域分割のノイズ除去画像の閾値を線形探索するプログラ
ムを実装してください。閾値ごとにエネルギーE(Γ)を保存して、最小値に
なる場合の領域分割を選びます。

25. 終了
ご清聴ありがとうございました！