名古屋工業大学の若手シンポジウムで発表した内容です． テニュアポジション獲得を目指す他分野の様々な若手教員が聞くことを想定して作ってあります．

1. 自己相似な情報モデリング
情報工学教育類
発表者 横田 達也
メンター 本谷秀堅
2019年6月27日 若手イノベータ養成センターシンポジウム
1

2. 東工大附属高校(機械科)
ガス溶接，アーク溶接，旋盤…
魚ロボットの開発
東工大(学士，修士，博士) 【2005-2014】
５類に入学 (電気電子情報系)
機械学習，パターン認識の研究
論文誌：[Applied Optics, IF=1.8], [IEEE-TNNLS, IF=6.1]
理研(JRA，研究員) 【2011-2016】
脳信号処理，数理的情報モデリングの研究
論文誌：[SigPro, IF=3.1], [IEEE-TSP, IF=4.3], [IEEE-TSP, IF=4.3], [SciRep, IF=4.2]
研究費：科研費若手B(代表)
名工大(助教) 【2016-現在】
医用画像処理，数理的情報モデリングの研究
論文誌：[IEEE-Access, IF=3.1], [Brain Stimulation, IF=6.1]
トップ会議：[CVPR2017], [CVPR2018]
研究費：堀財団，JST-ACT-I，科研費基盤B(分担)
2
簡単な略歴＋主な研究業績
実際に作った魚ロボット (高3の夏)

3. 3
分野ごとの研究業績
MLDM2011
ICONIP2011
IJCNN2013
IEEE-TNNLS
IEICE
Applied Optics
パターン認識 行列・テンソル分解
数理的情報モデリング
医用画像処理 その他
Signal Processing
Cognitive Comp.
IEEE-TSP (awarded)
IEEE-TSP Entropy
Scientific Reports
IJ. Biomed. Imag.IEEE-Access
Brain Stimulation
ICCV2019 ICCV2019
IJCCI2012ICONIP2012
ICONIP2014
ICIS-ISIS2014 (awarded)
Low-rank Opt. APSIPA2015
ICASSP2016
ICAICS2014
CVPR2017
IFMIA2017VISAPP2017
APSIPA2017
CVPR2018 APSIPA2018
SPIE-MI2018
COMPAY2018 COMPAY2018
APSIPA2018
IFMIA2019
IFMIA2019
査読中
2009
2010
2011
2012
2013
2014
2015
2016
2017
2018
2019
学術論文（ファースト） 学術論文（共著） 国際会議（ファースト） 国際会議（共著）
IJCARS

4. 4
その他
IEEE 計算知能 (2014) 理研 (2016)
IEEE 人工頭脳 (2017)
- 査読者として -
IEEE 信号処理 (2018)

5. 研究の話
「自己相似な情報モデリング」
5

6. 人間が脳内で行っている情報処理を模倣(モデル化)したい
6
研究動機
自動運転 掃除ロボット将棋ロボット
生産ロボット 医療診断支援

7. これを踏まえてクイズ
空欄の中はどのようになっているでしょう？
解は無数にある…
7
問題提起
？

8. これを踏まえてクイズ
空欄の中はどのようになっているでしょう？
これは１つの解
8
問題提起

9. これを踏まえてクイズ
空欄の中はどのようになっているでしょう？
これも１つの解
9
問題提起

10. これを踏まえてクイズ
空欄の中はどのようになっているでしょう？
これも１つの解
10
問題提起

11. これを踏まえてクイズ
空欄の中はどのようになっているでしょう？
これが「自然」な答えなきがする  なぜ？
11
問題提起

12. これを踏まえてクイズ
空欄の中はどのようになっているでしょう？
これが「自然」な答えなきがする  なぜ？
「自己相似性」が暗に仮定されている．
12
問題提起

13. 自己相似性による脳内補完の例
自然言語
イラスト
13
問題提起
カラ松 松野
チョロ松 ？
カラ松 松野
チョロ松 松野
おそ松 松野 おそ松 松野

14. 自然現象を観測(サンプリング)して処理する
サンプリングによって得られる多様な情報を処理
14
研究提案
「自己相似性」を活用したい
これもサンプリング?
脳波の記録 画像の撮影 MRIの撮影 会議の記録録音 天体の観測
高階埋め込みテンソルモデリング
JST ACT-I 情報と未来 採択課題 (H30-R1)

15. カオス解析：遅延埋め込み空間での信号表現
遅延埋め込み (ハンケル化)
15
自己相似性を捉えるための信号処理
遅延埋め込み
低ランク／滑らかな多様体
非低ランク／滑らかでない
ベクトル x X1, X2, X3, …………………………………………………, XT
X1, X2, X3, …., Xτ ………………………, XT－τ+1
X2, X3, ….., Xτ, …………………………, XT－τ+2
X3, ….., Xτ,………………………………, XT－τ+3
Xτ, Xτ+1, Xτ+2, Xτ+3, ……………………, XT
…………………..…………………………
ハンケル行列 H τ
T－τ+1
H = DE(x, τ)
雑音

16. 16
自己相似性による時系列信号の復元
損失信号
missing&noisy
ハンケル行列 低ランク行列分解
逆変換
復元信号
モデリング埋め込み変換
（ハンケル化）

17. 自己相似性による時系列信号(1次元)の復元ができた．
問題：2D画像，3D画像，高次元データに適用できるのか?
課題１：遅延埋め込み(ハンケル化)をどのように拡張するか？
課題２：ハンケル化した高次元データをどのように処理するか？
17
問題提起
？
？

18. 課題１：遅延埋め込みをN次元データへ一般化
一般化する埋め込みの概念
「局所領域」を「スライド」させて「コピー」する
18
N次元データへの拡張
？
遅延埋め込み 高階埋め込み (N階テンソル)
局所領域 長さτの小区間 サイズ(τ,τ,…,τ)のN次元矩形領域
スライド １方向にスライド N方向にスライド
コピー 1方向に並べる N方向に並べる

19. 普通の遅延埋め込み
線形演算＋行列化で実現可能
多重線形遅延埋め込み
多重線形演算＋テンソル化で実現可能
数学的に解析可能
3階テンソルへの例：
19
多重線形遅延埋め込みの実装
=
=
I
τ*(I-τ+1)
I-τ+1
τ
3階テンソル
3つの複製行列で多重線形変換 テンソル化
複製行列で線形変換
行列化
(I1, I2, I3)

20. 課題２：どのようにモデリングするか？
提案①：低ランクテンソルとしてモデリング
Tucker分解による低ランク(多重線形部分空間)近似
20
高階埋め込みテンソルの低ランクモデリング
？
テンソル分解の概念図：N=3の例

21.  テンソルの遅延埋め込み × low-rank prior
【トップ会議で発表】T. Yokota, et. al. Missing Slice Recovery for Tensors Using a Low-rank
Model in Embedded Space. In Proceedings of CVPR 2018. 2018.
21
テンソル補完問題へ適用
(2)低ランクTucker分解 (3)逆変換(1)埋め込み変換
“ハンケル化”
未完テンソル
未完埋め込みテンソル 完全埋め込みテンソル
完全テンソル

22. 22
テンソル補完問題へ適用(cont’d)
核ノルム正則化 核ノルム＋TV
正則化
Total-variation
(TV) 正則化
正則化付き
Tucker分解
平滑CP分解 提案アプロー
チ
95%
損失画像原画像
99%

23. fMRIの補完
23
テンソル補完問題へ適用(cont’d)

24. 動画像の補完
24
テンソル補完問題へ適用(cont’d)

25. 25
テンソル補完問題へ適用(cont’d)

26. 課題２(again)：どのようにモデリングするか？
提案②：多様体モデリング
AutoEncoder(自己符号化器)による低次元多様体モデリング
26
高階埋め込みテンソルの多様体モデリング
？
…
それぞれが低次元
多様体上の点にな
るように近似

27. 補完問題を題材として理論を展開する
27
多様体モデリングの理論
観測信号 復元信号観測要素のみを通すフィルタ
埋め込み作用素
（行列を出力）
低次元多様体
…
…
ベクトル表現

28. 課題：多様体Sをどのように定義するか？
提案：自己符号化器を通してr次元の部分多様体を定義
点群{ht}を良く近似するr次元部分多様体Srを以下の式で定義する．
28
多様体モデリングの理論(cont’d)
… ……エンコード デコード

29. ただし， は自己符号化器
最適化問題を再定義
以下で，自己符号化器も同時に最適化する
一般的なニューラルネットワークの最適化法(AdamOptimizer)などを用
いて最適化が可能
29
多様体モデリングの理論(cont’d)
再定義

30. 低ランクモデリング と 多様体モデリングを比較
30
時系列信号での予備実験
原信号 観測信号 低ランク 多様体
低ランクモデリングでは平坦な部分空間による再構成
多様体モデリングでは中心のくぼみまで表現

31. 31
学習したパッチ多様体の低次元表現

32. 32
画像補完の結果
損失画像(50%) 損失画像(70%) 損失画像(90%)

33. 33
画像補完の結果
損失画像(95%)

34. 34
画像補完の結果
損失画像(99%)

35. 35
画像補完の結果
損失画像(99%)

36. 36
画像補完の結果
損失画像(99%)

37. 37
画像補完の結果
損失画像(99%)

38. 38
比較(99%損失)
損失画像 LRTV凸最適化 テンソル分解
提案法①低ランク Deep Image Prior 提案法②多様体

39. 39
比較(99%損失)
損失画像 LRTV凸最適化 テンソル分解
提案法①低ランク Deep Image Prior 提案法②多様体

40. 40
3D-MRI (90%損失) での比較実験
提案法

41. 41
プロジェクトの未来ビジョン
「自己相似性」のモデリング
補完・補間
ノイズ除去
超解像
圧縮センシング
未来予測
×
音声
画像
医療データ
生体データ
物性データ
環境データ
Webデータ
…
さまざまな分野の情報解析に貢献！

42. トップ会議(採択率30%以下)で採択される研究の質を常に意識
トップ会議CVPR2017で発表
海外訪問で得たアイデアを発展，論文化
2017.2-3 ハーバード大学医学大学院(ボストン)
トップ会議CVPR2018で発表
共同研究を学術論文化
脳波処理(理研，塩野義)  Sci. Rep. (IF=4.3)
TMS(平田研)  Brain Stimulation (IF=6.1)
Aiming High, Rejectでも妥協しない
(2013) IEEE-TNNLS(reject)IEEE-TNNLS(accept)
(2015) Neural Computation (reject)  Signal Processing (accept)
(2016) IEEE-TPAMI(reject)IEEE-TNNLS(reject)IEEE-TSP(accept)
(2017) IEEE-TSP(accept)
(2018) Scientific Reports(accept)
(2019) IEEE-JTSP (reject)  SIGPRO (reject)  IEEE-Access (accept)
(2019) Neuro Image (reject)  Brain Stimulation (accept)
本谷先生(メンター)からのサポート(配慮)に感謝
42
名工大3年間の研究への取り組みについて
情報分野 h5-index IF
CVPR 188
NIPS 134
ICCV 124
IEEE-TPAMI 118 9.455
ICML 113
ECCV 104
IEEE-TIP 101 5.071
IEEE-TCYB 88 8.803
IEEE-TSP 88 4.300
IEEE-TNNLS 87 7.982
ICASSP 79
青：トップ会議赤：有名論文誌
参考 h5 IF
Nature 362 41.577
Science 345 37.205
Nature
Communications
240 12.353
Scientific Reports 151 4.122

43. Q&A
ご清聴ありがとうございました．
43