Recommended
More Related Content
Recently uploaded
Recently uploaded (8)
Featured
Featured (20)
Tensor Representations
- 1. 2.2 Tensor Representations 2.3 Supra-adjacency Representations 電気通信大学 大学院情報システム学研究科 社会知能情報学専攻 栗原研究室所属 M１ 芦原佑太 1
- 2. 自己紹介 • 電気通信大学大学院 M1 • 卒業研究は「ある二次元波動方程式に対するRayleigh波 の構成」 →数学コースの出身です．ネットワーク？知りません． • Red Bull 中毒者 • 今年から栗原研究室，そして今年からDeep Learning の 研究をします． 2
- 4. 序論ーそもそもテンソルー • 階数の数だけ軸の数が増えた配列と考えると分かりやす い． • ０階のテンソルはスカラー量 • １階のテンソルはベクトル • ２階のテンソルは行列 • ３階のテンソルは，行列の重なりのようなもの • ３階テンソルの見た目は次スライドで 4
- 6. 2.2 テンソル表現 • グラフの理論の話から，ノードの集合Ｖとアスペクト数 がｄの時で，マルチレイヤネットワークがnode-aligned であるとき，隣接テンソルは以下のように表される • このテンソルの階数は２(ｄ+１)である． 6
- 7. 2.2 テンソル表現 • テンソルの表記と成分が持つ値を定義する．前の節で定 義したα={α1，α2，…，αｄ}，βを用いて表せば • また，Ｗは辺の重みを成分とする隣接重みテンソルであ る． 7
- 8. 2.2 テンソル表現 • 上記で定義されたテンソルは node-aligned であるマル チレイヤネットワークにおいてのみ適切な表現であった が, によれば,空のノード (他のどのノードとも隣接しな いノード) を追加することによって, それ以外のネット ワークにおいても上記のテンソルを採用することがで きる． 8
- 9. 2.2.1 制約 • テンソルの低ランク表現を可能にするために，いくつか の制約を加えてテンソルの持ついくつかの要素を０にす る． • 例えば，レイヤが同じでなければ，あるいはノード名が 同じでなければ，テンソルの要素を０にする，といった 制約である． • 上記の制約を設ければ，前者のテンソル，後者のテンソ ルをそれぞれ で定義できる． 9
- 11. 2.2.2 テンソルの平滑化 • ｉと ｊの 基本レイヤを新しい ｈ という基本レイヤに合 わせることで基本レイヤの数を減らすことができる. この時, レイヤの表現は以下のようになる • 処理を1回行うと,基本レイヤ数 ｄ のネットワークに対 して,平滑化後では,数 を (ｄ − １) に変更することができ る. 11
- 12. 2.3 Supra-adjacency Representation • グラフをテンソルによって表現し(2.2節)，制約と平滑化 によって，最終的には, supra-adjacency matrixという行 列による表現に落とし込むこと． • 隣接行列から,supra-Laplacian matrix を引き出すことが できる.node-layer の強さ (あるいは多重度)を ＤM とい う行列で表現し, supra-adjacency matrix を ＡM で表現す ると,supra-Laplacian matrix は で表される． 12
- 13. 2.3 Supra-adjacency Representation • 平滑化を行う関数を一般にｆとして定義して • これにより，テンソル積を×f として を定義する． 13
- 14. 2.3 Supra-adjacency Representation • 前のページで作られたsupra-Laplacian matrix は，一般 のラプラシアン行列と同じ性質を持つので，固有値に重 要な性質を持つ．まず，ラプラシアン行列についての例 を述べる． 14
- 16. 2.3 Supra-adjacency Representation • 次に，非連結のグラフについて見てみると • ラプラシアン行列は • 二つの行列成分に分割できる． 16
- 17. 2.3 Supra-adjacency Representation • 固有値を計算してみると • 固有値０は二重根である． つまり，グラフを部分的に分割できるかどうかは，０固 有値の数によって分かる． 17