2016年度9月MI研究会の招待公演で発表しました。

1. Tensor Completion based on
Low-rank and Smooth Structures
低ランク性および平滑性を用いた
テンソルデータ補完
横田 達也
名古屋工業大学
2016年9月16日 MI研招待講演
1

2. 行列・テンソル補完の研究について紹介
主な研究成果
行列補完
T. Yokota, A. Cichocki. A fast automatic rank determination algorithm for
noisy low-rank matrix completion. In Proceedings of Asia-Pacific Signal and
Information Processing Association Annual Summit and Conference
(APSIPA ASC 2015), pp. 43-46, 2015.
テンソル補完
T. Yokota, A. Cichocki. Tensor Completion via Functional Smooth
Component Deflation. In Proceedings of 41st International Conference on
Audio, Speech, and Signal Processing (ICASSP2016), pp. 2514-2518, 2016.
T. Yokota, Q. Zhao, C. Li, and A. Cichocki. Smooth PARAFAC
Decomposition for Tensor Completion, IEEE Transactions on Signal
Processing, vol. 64, issue 20, pp. 5423-5436, 2016.
2
本日の講演内容

3. 3
導入編

4. データ(配列)の失われた値を埋め完全なデータにすること
失われた値(missing values)を埋めるためには，
参照可能値(available values),
構造的事前情報(priors),
を活用する．
4
補完とは
損失(20%) 補完
補完されたデータ
原データ
(未知)
観測データ
(未完データ)
カラ松
名 姓
松野
ID
9612
チョロ松9613
カラ松
名 姓
松野
ID
9612
チョロ松 松野9613
事前情報: 彼らは兄弟である.
おそ松 松野9611 おそ松 松野9611
-- 補完問題 --
-- 例 --
参照可能
空白
参照可能
推定値

5. リコメンデーション (Netflix問題)
データ：商品(動画)を購入したユーザがつけた評価ポイント (1~10)
問題：ユーザが次に買ってくれそうな商品(動画)はどれか？
5
補完の例①
User ID 001
User ID 002
User ID 003
User ID 004
10 92
10
89
8 13
1
…
…
…
…
……
…
…
…
…

6. 画像穴埋め (Image Inpainting)
パッチ処理 (局所的類似性)を用いるアプローチ [Criminisi+ 2008]
6
補完の例②
原画像 未完画像 復元画像
[Criminisi+ 2008] A. Criminisi, P. Patrick, and K. Toyama. "Region filling and object removal by
exemplar-based image inpainting." IEEE Transactions on image processing, 13.9 (2004): 1200-1212.

7. 画像補完 (Image completion)
ランク最小化(凸最適化) を用いるアプローチ [Gandy+ 2008]
7
補完の例③
原画像 未完画像 復元画像
[Gandy+ 2008] S. Gandy, B. Recht, and I. Yamada. "Tensor completion and low-n-rank tensor
recovery via convex optimization." Inverse Problems 27.2 (2011): 025010.

8. 補完(completion)：不完全なものを「完全」にすること
補間(interpolation)：「間」を埋めること
補間といっても良いし，補完といっても良い例は多い．
(私の認識) 補間は特殊，補完は一般， 補完⊃補間
要素の「位置」に意味がある場合には補間と言って良い
要素の「位置」を任意に入れ替え可能な場合は補間とは言わない
Netflix問題は「補間ではない補完」の代表的な例
8
補完と補間の違い
User ID 001
User ID 002
User ID 003
User ID 004
User ID 001
User ID 003
User ID 002
User ID 004
入れ替え可能 入れ替え可能
入れ替え可能
入れ替え可能

9. 9
理論編

10. ベクトルデータ補完 (補間または回帰)
未完データを完全にしたい(補完)
事前情報 : この信号変化は滑らかである(隣り合う値の差が小さい)
“線形補間” および “多項式補間” による補完
10
ベクトルの補完(補間)

11. 行列補完技術
11
行列の補間
1 0 1 1 1 0
0
1 1
1 011 1
0
01 1
1 0
1
1
1
0 01
1
10 1
1
1
0
01 1
1 0 1 1 1 0
0
1 1
入力 出力行列
観測行列
指示行列
復元作用素

12. ベクトル補完ができれば，行列補完もできるじゃん？？
No !!
ダメ，絶対!!
ダメな理由：行列でしか定義できない構造があるから
行列ランク
横方向の連続性
縦方向の連続性
etc
12
行列補完 vs ベクトル補完
・・・
・・・
ベクトル展開
行列化
ベクトル補完行列補間

13. リコメンダーシステム (Netflix 問題)
Netflix, Amazon, 楽天…
Rating (1~10)
13
低ランク性に基づく補完の例
User ID 001
User ID 002
User ID 003
User ID 004
10 92
10
89
8 13
1
…
…
…
…
……
…
…
…
…

14. 14
未完行列の低ランク近似
User ID 001
User ID 002
User ID 003
User ID 004
青いタイプの商品を好む
赤いタイプの商品を好む
青いタイプのみの成分行列 赤いタイプのみの成分行列
青のユーザ
分布ベクトル
…
…
青の代表スコアベクトル
赤のユーザ
分布ベクトル
…
…
赤の代表スコアベクトル

15. 15
未完行列の低ランク近似 (2)
User ID 001
User ID 002
User ID 003
User ID 004
青の成分行列 赤の成分行列
= +
≒ + + +・・・
一般化
(I*J)-行列
ランク-R 行列近似

16. 与えられた未完行列が「低ランク」であると仮定する
問題を定式化
16
低ランク性に基づく行列補完
+ + +・・・
ランク-R 行列
≒
NP困難 [Gillis+ 2011]
-- アプローチ1 --
固定ランクの行列モデル
を使って未完行列を近似する
-- アプローチ2 --
ランク最小化の代わりに
核ノルムを最小化する

17. R-ランク行列モデル
最適化問題
最急降下法，凸最適化，多様体最適化などを用いて解く．
17
ランク近似による行列補完
≈I
J
I
J
R
R

18. 行列核ノルム
定義：
最適化問題
核ノルムは凸だが微分できないため近接分離(proximal splitting)に基づ
いた凸最適化手法が用いられる．
18
核ノルム最小化による行列補完
=

19. 19
低ランク性に基づく行列補完(例)
原画像 未完画像 復元画像
[Li+ 2014] W. Li, L. Zhao, Z. Lin, D. Xu, and D. Lu. "Non‐Local Image Inpainting Using Low‐Rank Matrix Completion."
Computer Graphics Forum. Vol. 34, No. 6, pp. 111-122, 2015.

20. 対象とするデータによって異なる
Netflix問題：本質だと思われる．
理由：人の趣味嗜好には偏りがあり，それはいくつかのパターンに分
けることができそうだから．
画像補完問題：部分的には使える (がおそらく本質ではない)
理由：例えば，物体が回転するとランクが変わってしまう．
とは言え，潜在的にフルランクの自然画像はほとんどない．
20
低ランク性は本質か？
ランク1の画像
中の物体が回転
高ランクの画像
(しかし，フルランクではない)
ランクが増加

21. 平滑性
画像に関しては，核ノルムより本質
Total Variation(TV) による平滑性の評価
最適化問題
TVノルムは凸だが微分できないので近接分離
(proximal splitting)に基づいた凸最適化手法が
用いられる．
21
平滑性を用いた行列補完
-- [Li+ 2014] --
Smooth(TV) method
Original
Missing
Results

22. 22
低ランクと平滑性の組み合わせ
原画像 未完画像
核ノルム&TV
-- An example of result by LTVNN method
[Han et al., 2014] --
核ノルムのみ TVのみ

23. スパース性
ある配列があってそのほとんどの値がゼロである．
スパース性を担保するための代表的な枠組み
L1ノルム正則化
変数Xに線形作用素Lをかけたものがスパースになる．
L()が行列Xの特異値を出力する線形作用素の場合：核ノルム正則化
L()が行列Xの微分値を出力する線形作用素の場合：TVノルム正則化
核ノルム正則化，TVノルム正則化はどちらも信号の「ある空間」
でのスパース性を仮定したモデルになっていることが分かる．
23
スパース制約としての特徴付け

24. 24
理論編その二：テンソル補完

25. テンソル：添え字のついた数，多次元配列
スカラー，ベクトル，行列は全部テンソル
例,
添え字の数： オーダー (階数)
スカラー：0階テンソル
ベクトル：1階テンソル
行列：2階テンソル
・・・
25
テンソルとは ?

26. 例
0階テンソル：
1階テンソル：
2階テンソル：
3階テンソル：
26
テンソルデータ
ベクトル
-スカラーを並べたもの
行列
-ベクトルを並べたもの
-行列を並べたもの

27. 3階テンソルを 直方体 のようにイメージすると
4階テンソル
3階テンソルを並べたもの
5階テンソル
4階テンソルを並べたもの
N階テンソル
(N-1)階テンソルを並べたもの
27
高階テンソル
・
・
・
・
・
・
・
・
・
・
・
・
・・・
・・・
・・・

28. 28
テンソルデータの例
Time series signal
Multiple channels of time series signal
1階テンソル(ベクトル)
筋電図、心電図
モノラル音声
2階テンソル(行列)
脳電図、脳磁図
X線、濃淡画像
3階テンソル
MRI、CT、PET
カラー画像
4階テンソル
機能的MRI
カラー動画像
Gray-scale image Color image
・・・
MRI，Functional MRI
時間軸

29. 与えられたデータが高次元配列(高階テンソル)の場合でも，行列展開
してから行列補完技術を適用すれば補完自体はできる．しかし，それ
が良いアプローチかというとそうではない．
例: カラーRGB画像 (3階テンソル)
29
テンソル補完 vs 行列補完
comp.
comp.
comp.
comp.
未完カラー画像
・赤チャネル
・青チャネル
・緑チャネル
復元後の
カラー画像
…
…
comp.
①
②
③
①
各チャネル画像間の類似性
を活用できない
②
赤の列，青の列，緑の列の
間の類似性を活用できない
③
単一チャネル画像の低ラン
ク性を活用できない

30. テンソルはテンソルのまま補完するべき！
30
テンソル補完
comp.
入力テンソル
指示テンソル
出力テンソル

31. テンソルのランクには2種類の定義がある．
CPランク
テンソルをランク1テンソルの和で表すときに必要な最小のランク1テ
ンソルの数(図はランクRテンソル)
Tuckerランク(多重線形ランク)
テンソルをあるモードに対して行列化した時の行列ランク
31
テンソルの低ランク
=
第1モードランク
第2モードランク
第3モードランク
第1モード
第2モード
第3モード

32. 主に2つの分解モデルがある
CP分解(ランクR)
Tucker分解(ランク-(R1,R2,R3))
32
テンソル分解モデル
=
=

33. テンソル核ノルムの2つの定義
CP分解に基づくテンソル核ノルム
Tucker分解に基づくテンソル核ノルム
33
テンソル核ノルム
CP分解の計算自体がNP困難であり，これの最小化は難しい．
テンソルの第nモードに対する行列化
凸関数になっており，最適化と相性が良い．

34. HaLRTC [Liu et al., TPAMI 2013]
34
テンソル核ノルム最小化による補完
最適化問題
Augmented Lagrangian function
重み付きテンソル核ノルム

35. STDC [Chen et al., TPAMI 2014]
35
Tucker分解に基づくテンソル補完
最適化問題
Augmented Lagrangian function
低ランクなTcuker分解
因子行列Uについての制約

36. 低ランクCP分解に基づくテンソル補完
基底ベクトルに平滑性の制約を付加(TV，QV)
36
私の最近の仕事
ランク1テンソルの数Rをなるべく少なくしたい
TV:
QV:

37. 37
最適化問題
固定ランクCP分解(平滑制約付き) 最適なRを求める基準
・ Smoothness constraint
・ PARAFAC decomposition
・ Low rank based model selection

38. Algorithm [Yokota et al., IEEE-TSP 2016]
階層的交互最小二乗法 (HALS)
インクレメンタルなアプローチでRを求める
38
最適化アルゴリズム
RR+1ランク増加

39. 39
応用編(実験結果)

40. 40
人工データ

41. 41
Results: Color Image Completion
Matrix completion Tensor completion New
80%
95%
Text
Scratch

42. 42
Results: Color Image Completion
Matrix completion Tensor completion New
95%
99%

43. 43
拡大(提案手法)
未完画像
(text masked)
補完結果

44. 44
拡大(提案手法)
補完結果
未完画像
(Scratched)

45. 45
拡大(提案手法)
補完結果
未完画像
(ランダム80%)

46. 46
拡大(提案手法)
補完結果
未完画像
(ランダム95%)

47. 47
拡大(提案手法)
未完画像
(ランダ
ム99%)
行列補完
核ノルム
＋
TVノルム
STDC法
テンソル補完
Tuckerモデル
＋
チコノフ正則化
提案法
テンソル補完
CPモデル
＋
基底ベクトル
に対する平滑
制約

48. 48
CP分解の中身
=
=
・・・
・・・
 すごく滑らか -------------------------- 滑らかでない 
0 20 40 60 80 100 120
ランク1テンソル
のスケール減衰

49. 49
Results: Face Filling Problem
Figure is referred from [Geng et al., 2011 ]
Data size:
30 × 11 × 21 × 1024
peoples, poses, illuminations,
pixels

50. 50
Results: MRI completion
HaLRTC [Liu et al. 2013] STDC [Chen et al. 2014] Proposed (SV)
95% missing
-- Signal to Distortion Ratio [dB] --

51. 51
拡大
未完MRI (4スライス) 補完結果 (4スライス)

52. テンソル補完の技術を医用画像へ導入，応用することでど
んなことができそうか？
おそらく，そのまま使うだけは得策ではない．
Low-rank, TVは一般的すぎる．
医用画像に適した事前情報(prior)を積極的に使うべき．
応用１：超解像
信号空間の穴埋めではなく，周波数空間の高周波成分の穴埋め問
題として定式化できる．適切なPriorを用いて高周波成分を復元．
応用2：圧縮センシング
MRIの測定時間の削減など
応用3：アーチファクトの除去(手動)除去領域の復元
52
医用画像への応用について