関西CVPRML勉強会の資料です．

1. 多重高周波照明による
半透明物体内部のスライス可視化
田中賢一郎1,2，向川康博2，久保尋之2，松下康之1,3，八木康史1
1Osaka University, 2Nara Institute of Science and Technology, 3Microsoft Research Asia
Accepted to CVPR 2015 as oral

2. 自己紹介
• 名前
• 田中 賢一郎 / Kenichiro Tanaka
• 所属
• [学籍] 大阪大学 八木研究室
• [普段] 奈良先端大 向川研究室
• 学年
• D2
• Research interest
• Computational Photography
• 光学＋計算機  カメラの限界を超える
• Webpage
• http://osku.jp/q000
2

3. 3

4. 層構造を持つ半透明物体
• 絵画
• 下書き層
• 隠された油絵
• 汚れやカビに覆われた壁画
• 書類
• 貼り付いてしまった古文書
• 洪水などの被害にあった書類
油絵
近赤外で撮影古文書の例
4

5. 半透明物体の見え
• すべてのレイヤの足し合わせ
• 各レイヤは散乱によってボケている
• 深さによってボケ方は異なる
絵の具層
下書き層
𝐿 𝑜 =
𝑑
(𝑅 𝑑 ∗ ℎ 𝑑)
復元したい（ボケていない）スライス
深さ依存のPSF
観測画像
5
ボケて，かつ
重ねあわされた観測
ボケ関数（PSF）

6. 提案手法：概略
• ゴール
• ボケていないスライスの復元
• 提案手法
• 複数の空間周波数のパターンの投影
6
異なる周波数のパターン 対応する高周波成分
を分離
表面のスライス
内部のスライス
成分解析

7. 高周波成分の分離（高周波照明[Nayar et al.]）
• 細かい（高周波な）パターンを投影
• 高周波成分
• 投影パターンを保持
• 鮮明な画像
• 低周波成分
• パターンは消える
• ボケた画像
• 投影パターンを反転させる
• 変化した観測：高周波成分
• 変化しなかった観測：低周波成分
• 演算により成分を分離
7
高周波成分
低周波成分

8. 層構造物体における高周波成分の分離
• パターンの細かさ 𝑝 における高周波成分の分離
8
高周波成分 低周波成分
𝐷(𝑝) 𝐺(𝑝)
通常近赤外撮影
高周波照明法で
成分分離
𝐷 𝑑1(𝑝)
𝐷 𝑑2(𝑝)
∑
𝐺 𝑑1(𝑝)
𝐺 𝑑2(𝑝)
∑
𝑑 = 𝑑1
𝑑 = 𝑑2
∑
各レイヤの成分
≈ 𝜶 𝒅 𝟏, 𝒑 𝑹 𝒅𝟏
≈ 𝜶 𝒅 𝟐, 𝒑 𝑹 𝒅𝟐
復元したい画像 𝑅 𝑑

9. 複数の空間周波数で分離
• 投影パターンの空間周波数を変えて，それぞれの高周波成分を分離
9
=
=
+
+
𝑝1
𝑝2

10. 複数の空間周波数で分離
• 投影パターンの空間周波数を変えて，それぞれの高周波成分を分離
10
=
=
+
+
𝑝1
𝑝2
𝛼(𝑝1, 𝑑1) 𝛼(𝑝1, 𝑑2)
𝛼(𝑝2, 𝑑1) 𝛼(𝑝2, 𝑑2)

11. 複数の空間周波数で分離
11
=
𝛼(𝑝1, 𝑑1) 𝛼(𝑝1, 𝑑2)
𝛼(𝑝2, 𝑑1) 𝛼(𝑝2, 𝑑2)

12. スライスの復元
• Least squares
12
=
𝛼(𝑝1, 𝑑1) 𝛼(𝑝1, 𝑑2)
𝛼(𝑝2, 𝑑1) 𝛼(𝑝2, 𝑑2)
-1

13. 行列の推定
• 復元したいスライスは疎に存在するはず
• 最適化
13
𝛼(𝑝1, 𝑑1) 𝛼(𝑝1, 𝑑 𝑛)
𝛼(𝑝2, 𝑑1) 𝛼(𝑝2, 𝑑 𝑛)
興味の無い層
…
…
𝑅1
𝑅 𝑛
⋮
ほとんどの成分が０
𝐷 − 𝐴𝑅 2
2
+ 𝜆 𝑅 1
𝑅 ≽ 0
arg min
subject to
𝑅
適当な 𝑑𝑖 から計算

14. 油絵に対する実験結果
• 油絵のシーン
14
通常の近赤外撮影 内部のスライス
絵の具層
下書き層
上部のスライス
スライス復元

15. 油絵に対する実験結果２
• 画家のサインの復元
15
表面のスライス 内部のスライス絵画の一部

16. 可視光を用いた実験結果
16
壁画を模したシーン
内部のスライス
上部のスライス

17. 重ねた紙に対する実験結果
• サブミリの厚さの違いも識別可能
17
半透明のシートを重ねたシーン
通常の撮影
上部のスライス
下部のスライス

18. CVPRにアクセプトされるまで
18

19. まとめ
• ゴール
• ボケていない内部のスライスの可視化
• 手法
• 複数の周波数のパターン投影＋計算
19
異なる空間周波数
の投影パターン
それぞれの
高周波成分
表面のスライス
内部のスライス