多元計算解剖学若手研究者議論会での発表資料 IEEE-TSP, CVPR 2017, CVPR 2018 などで発表した成果も紹介しています

1. Priorに基づく画像／テンソルの復元
名古屋工業大学
横田達也
第4回多元計算解剖学若手研究者議論会 (2018.9.26)
1

2. 学歴
2005-2009: 東京工業大学工学部卒業
2009-2011: 東京工業大学大学院理工学研究科修士課程修了
2011-2014: 東京工業大学大学院理工学研究科博士課程修了
2014.3: 学位取得：博士(工学)
職歴
2011-2014: 理化学研究所 大学院生リサーチアソシエイト
2014-2016: 理化学研究所 脳科学総合研究センター 研究員
2015-2016: 理化学研究所 トヨタ連携センター 客員研究員(兼務)
2016(H28)-現在: 名古屋工業大学 助教 (2年6ヶ月)
2017.2-3: ハーバード大学医学大学院 訪問研究員
2
自己紹介

3. 3
これまでに関わった学術コミュニティ
機械学習(ML)
NIPS, ICML
国内 IBIS
信号処理(SP)
ICASSP
国内 SIP
ビジョン(CV)
CVPR, ICCV, ECCV
国内 PRMU, CVIM
医用画像(MI)
MICCAI
国内 MI

4. 研究内容の紹介
研究の背景
自身の研究紹介 [CVPR2017] [IEEE-TSP] [CVPR2018]
平滑Prior
低ランクPrior
埋め込み空間上での低ランクPrior
CVPRの注目Paper
4
目次

5. 5
研究背景
テンソル = 多次元配列 (ベクトル  行列  テンソル)
テンソルデータの例
・
・
・
・
・
・
・
・
・
・
・
・
・・・
・・・
・・・
1階テンソル 2階テンソル 3階テンソル 4階テンソル 5階テンソル
2階テンソル：多ch信号，画像，スぺクトログラム，Webデータ
3階テンソル：多chスペクトログラム，3D画像(MRI,CT,PET)，動画像
4階テンソル：機能的MRI，動的PET，ベクトル場
5階テンソル：拡散テンソル画像，行列場
ID 001
ID 002
ID 003
ID 004

6. 代表的なテンソル処理の例
6
研究背景
損失復元 背景モデリング低次元化(情報圧縮)
全てにおいて数理モデルが基盤になっている
低ランクモデル 平滑モデル
[Yokota+, IEEE-TSP, 2016]
[Yokota+, CVPR, 2017,2018]
基底関数
スパースな係数
エンコード
[Yokota+, SCIS&ISIS, 2014]
分解モデル
背景
前景
低ランク スパース ノイズ
[Qibin+, IEEE-TNNLS, 2016]

7. 7
研究紹介

8. 8
画像復元の問題
Original Missing Recovered
Original data
20% of data
was lost
Observed
incomplete data
Completion
Completed data
-- Concept of completion problem --
+ noise
・観測値と未観測値の間に，関係を表す事前知識(prior)がなければ不可能
・どんな関係があるか？：連続性，低ランク性
・観測ドメインについて分かっている情報：画素値は非負，ノイズの有無

9. アプローチ①：線形補間，多項式補間，スプライン補間…
他の要素との組み合わせが難しい
行列，テンソルへの拡張，ランダムな損失の復元などに壁
アプローチ②：Total Variation (TV)正則化
9
Smoothness prior
7.09 × 10^4 2.81 × 10^5 5.33 × 10^53.14 × 10^41.69 × 10^44.92 × 10^3
Low-TV High-TV

10. TVノルムの定義
画像の各ピクセルでの微分ベクトルのl2ノルムの総和
10
Smoothness prior (cont’d)
1
2
3
.
.
.
I1
.
.
.
.
.
.
N
Image representation
by N dimensional vector
.
.
.
.
.
.
.
. . . .
.
1
2
3
.
.
.
.
.
.
.
.
.
.
N
....

11. 11
Smoothness prior (cont’d)
TV is a convex function
TV-regularization is a method to find a smoothed estimator by minimizing
f(x) + TV(x).
観測信号との整合性と保ちながらTVノルムを小さくする
f(x)
TV(x)
観測信号
平滑化された信号

12. 12
Smoothness prior (cont’d)
Noisy observation:
Reconstruction:

13. 13
Smoothness prior (cont’d)
Blurred observation:
Reconstruction:

14. 14
Smoothness prior (cont’d)
Missing observation:
Reconstruction:

15. 15
Smoothness prior (cont’d)
目的
ノイズ除去 Denoising
ボケ復元 Deconvolution
補完 Completion
Differentiable Un-differentiable
最適化問題

16. 16
Smoothness prior (cont’d)
最適化アプローチのいろいろ (めくるめく最適化技術
の進化の歴史)
Relaxation, smooth approximation
Sub-gradient methods
Proximal gradient methods
Augmented Lagrangian methods (ADMM etc)
Dual-methods
Primal-dual splitting (PDS) methods
(Stochastic Gradient Descent?)
ADMMが一般的に強力
PDSが特殊な場合にとても強力

17. PDSの説明
17
Smoothness prior (cont’d)
微分可能
微分不可能，劣微分可能，近接写像がある
主双対最適化問題へ変換
主パラメータx, 双対パラメータy を交互に更新
近接写像
POCSの関数バージョン
X
Projection onto convex set (POCS)
凸集合への射影
収束までの時間を左右する
ステップサイズ

18. 仕事①：ステップサイズ適合法の研究 [国際会議APSIPA 2017 で発表]
18
Smoothness prior (cont’d)
There are two important strategies
1. Keeping balance between primal and dual residuals
2. Accelerate and Backtrack based on angle between current-gradient and last-update
Optimality condition From proximal mapping
Primal and Dual residuals
We do not prefer
-- Acceleration -- -- Backtrack --
Evaluated parameter for angles

19. 収束が高速化された結果
19
Smoothness prior (cont’d)

20. 画像が低ランクであるという仮定
本質とは少し遠いが，有用ではある．TVと組み合わせるものが多い
Shi, Feng, et al. "Low-rank total variation for image super-
resolution." MICCAI. Springer, Berlin, Heidelberg, 2013.
S. Gandy, B. Recht, and I. Yamada. Tensor completion and low-n-rank tensor
recovery via convex optimization. Inverse Problems, 27(2), 2011.
20
Low-rank prior

21. アプローチ１：核ノルム正則化
21
Low-rank prior (cont’d)
1st mode
2nd mode3rd mode
Definition of mode matrix unfolding

22. 核ノルム正則化のアルゴリズム
ADMMが主流
22
Low-rank prior (cont’d)
Penalty parameter is updated non-decreasing way
for fast convergence
観測との誤差
核ノルム

23. 仕事②: LRTV × ノイズ制約 × 非負画素値制約 × PDS
T. Yokota, H. Hontani. . In Proceedings of IEEE Conference on Computer Vision
and Pattern Recognition (CVPR2017), 2017.
23
Low-rank prior (cont’d)
Indicator functions
Smoothness prior
Low-rank prior Non-negativity prior Noise prior
Convex Optimization (PDS)

24. 24
Low-rank prior (cont’d)
Missing
rate
proposed GTV LNRTC SPCQV SPCTV
citrus 10% 25.646 25.186 23.852 23.743 23.706
citrus 30% 23.410 22.920 20.948 22.251 22.115
citrus 50% 20.919 20.644 18.112 20.459 20.162
tomato 10% 27.980 27.865 26.231 24.896 24.890
tomato 30% 27.187 26.782 24.516 24.492 24.460
tomato 50% 26.014 25.429 22.785 23.825 23.717
origina
l
LNRTCGTVproposed SPCTVSPCQV
original missing (30%)
自然画像，MRI，その他さまざまなテンソルデータを対象に実験

25. 25
Low-rank prior (cont’d)
自然画像，MRI，その他さまざまなテンソルデータを対象に実験
Missing
rate
proposed GTV LNRTC SPCQV SPCTV
10% 31.045 30.947 28.820 30.018 30.021
30% 28.942 28.485 26.920 29.642 29.659
50% 26.750 26.101 25.006 28.995 29.996
SPCQV
missing (30%) LNRTC
proposed
GTVoriginal
SPCTV

26. アプローチ１：核ノルム正則化
アプローチ２：テンソル分解
26
Low-rank prior (cont’d)
=
=
== + + +・・・行列分解
テンソルの
CP分解
テンソルの
Tucker分解

27. 仕事③：CP分解 × smoothness prior
[IEEE Transactions on Signal Processingで発表]
低ランクCP分解に基づくテンソル補完
基底ベクトルに平滑性の制約を付加(TV，QV)
27
Low-rank prior (cont’d)
ランク1テンソルの数Rをなるべく少なくしたい
TV:
QV:

28. 28
Low-rank prior (cont’d)
固定ランクCP分解(平滑制約付き) 最適なRを求める基準
・ Smoothness constraint
・ PARAFAC decomposition
・ Low rank based model selection

29. Algorithm [Yokota et al., IEEE-TSP 2016]
階層的交互最小二乗法 (HALS)
インクレメンタルなアプローチでRを求める
29
Low-rank prior (cont’d)
RR+1ランク増加

30. 30
Low-rank prior (cont’d)
未完画像
(text masked)
補完結果

31. 31
Low-rank prior (cont’d)
補完結果
未完画像
(Scratched)

32. 32
Low-rank prior (cont’d)
補完結果
未完画像
(ランダム80%)

33. 33
Low-rank prior (cont’d)
補完結果
未完画像
(ランダム95%)

34. 34
Low-rank prior (cont’d)
incomplete
(99%missi
ng)
Lowrank
＋
TV
STDC
(existing
state of
the art)
Proposed

35. 35
Low-rank prior (cont’d)
=
=
・・・
・・・
 すごく滑らか -------------------------- 滑らかでない 
0 20 40 60 80 100 120
ランク1テンソル
のスケール減衰

36. 36
Low-rank prior (cont’d)
Figure is referred from [Geng et al., 2011 ]
Data size:
30 × 11 × 21 × 1024
peoples, poses,
illuminations, pixels

37. 37
Low-rank prior (cont’d)
HaLRTC [Liu et al. 2013] STDC [Chen et al. 2014] Proposed (SV)
95% missing
-- Signal to Distortion Ratio [dB] --

38. 38
Low-rank prior (cont’d)
未完MRI (4スライス) 補完結果 (4スライス)

39. 仕事④: テンソルの遅延埋め込み × low-rank prior
T. Yokota, et. al. Missing Slice Recovery for Tensors Using a Low-rank Model in
Embedded Space. In Proceedings of CVPR 2018. 2018.
ハーバード大学医学大学院(Boston Children’s Hospital)に訪問して，遅延埋め込
みのアイデアを得て，完成させた成果．
39
Hankelization
埋め込み
モデリング
低ランク スパース
平滑 ノイズ
高階テンソルHankelization

40. 埋め込みとは？
時系列信号の遅延埋め込み
＝ベクトルのハンケル行列化
テンソルへ一般化
テンソルの高階埋め込み
＝高階ハンケルテンソル化
40
Hankelization (cont’d)
埋め込み空間信号空間 遅延埋め込み
(1)低ランク
(2)滑らかな多様体
としてモデリング
=
複製行列による多重線形変換 高階化
遅延と複製を繰り返す
ことによってハンケル
行列を生成

41. 41
Hankelization (cont’d)

42. 埋め込み+低ランクモデリングによる時系列信号の復元実験
42
Hankelization (cont’d)
遅延埋め込み 低ランク行列補完 擬似逆変換
損失信号
TV正則化による復元 QV正則化による復元
提案アプローチによる復元
復元後の信号

43. 43
Hankelization (cont’d)

44. 埋め込みを用いた画像復元の流れ
44
Hankelization (cont’d)
(2)Low-rank Tucker decomposition (3)Inverse MDT(1)MDT
Incomplete tensor
Incomplete high
order Hankel tensor
completed high
order Hankel tensor

45. 45
Hankelization (cont’d)
(256,256,3) (32,225,32,225,3) (R1,R2,R3,R4,3) (256,256,3)

46. 46
Hankelization (cont’d)
・・・
・・・
Initialization is very important !!(32,225,32,225,3)

47. 47
Hankelization (cont’d)
核ノルム正則化 核ノルム＋TV
正則化
Total-variation
(TV) 正則化
正則化付き
Tucker分解
平滑CP分解 提案アプロー
チ
95%
損失画像原画像
99%

48. fMRIの補完
48
Hankelization (cont’d)

49. 動画像の補完
49
Hankelization (cont’d)

50. 50
Hankelization (cont’d)

51. さまざまな画像のPriorについて議論
Smoothness prior
Low-rank prior
Low-rank prior in embedded space
今年のCVPRの注目Paper
“Deep image prior”
51
まとめ
Deep image prior
私のポスター