深層学習、第7章を理解するためのテンソル代数の導入

1. 1
（深層学習）
テンソル代数
泰岡研究室 M1 小野 祐為
2018年 5月２５日 機械学習輪講

2. 2
イントロ
深層学習 第７章 をやろうと思ったが…
「ゼロから分かる」よりも煩雑な
行列（テンソル）の式変形がたくさん出てくる
とりあえず、式変形に付いていける様な知識を
身につける（テンソル代数）
⇒
⇒

3. 3
テンソルと
Einsteinの縮約記法

4. 4
テンソルとは
： 0階テンソル ⇒ スカラー
： １階テンソル ⇒ ベクトル
： 2階以上のテンソル（２階テンソル ⇒ 行列）
テンソル ⇒ スカラーやベクトルを更に拡張した概念
2
階
１
階
１
階
１
階
１
階
0
階

5. 5
積の種類
積
内積（ドット積）
テンソル積
（スカラーの積）
（２階テンソル（行列）の積）
（ベクトルの内積）
（テンソルの内積）
（テンソル積）

6. 6
テンソル積
２つのベクトルから2階テンソル（行列）を作る

7. 7
テンソル積
2階テンソルを成分と基底に分けると…
成分 成分 成分

8. 8
Einsteinの縮約記法（指標表示）
やる理由 ⇒ テンソル（行列）の式変形が非常に楽になる
0階：スカラー
1階：ベクトル
2階：テンソル

9. 9
指標の種類
指標
ダミー指標：１つの項の中で、ペアがいる指標
自由指標：１つの項の中で、ペアがいない指標
自由指標の数が、テンソルの階数を表す。

10. 10
Einsteinの縮約記法（指標表示）
0階：スカラー
1階：ベクトル
2階：テンソル（行列）
（自由指標がない）
（自由指標が１つ）
（自由指標が2つ）

11. 11
指標のルール
一、同じ指標は最高２つまで
二、項同士で自由指標が一致しなくてはいけない
三、ダミー指標は他のアルファベットに置き換えられる

12. 12
ベクトルの指標表示
ベクトル
自由指標に基底をかけ、足し込めば、元に戻る
縮約記法はベクトルやテンソルを簡略化して書いた形
⇒

13. 13
テンソルの指標表示
テンソル

14. 14
Einsteinの縮約記法（指標表示）と
各種演算の表記

15. 15
テンソル積の指標表示
指標表示は
数字の入れ替え可能

16. 16
転置の指標表示
指標が入れ替わるだけ
転置（ ）

17. 17
線形変換の指標表示

18. 18
線形変換の確認

19. 19
テンソルの積の指標表示

20. 20
内積の指標表示
クロネッカーのデルタ
その項の i を j に、または j を i にする処理

21. 21
演算のまとめ
テンソル積
転置
を を
線形変換
行列の積

22. 22
演算のまとめ
内積（ベクトル）
内積（テンソル）
※やってないけど補足※
トレース

23. 23
簡単な記述練習
①
②
③

24. 24
問題
問題１
問題2
を示せ
を示せ
内積 テンソル積
転置した線形変換 線形変換

25. 25
Einsteinの縮約記法（指標表示）と
微分演算の表記

26. 26
微分
ただの微分
ベクトルの微分
ベクトルで微分
ベクトルをベクトルで微分
※場合によっては転置され
て定義されることもある

27. 27
微分の指標表示
ただの微分
ベクトルの微分
ベクトルで微分
ベクトルをベクトルで微分

28. 28
ベクトルの自分自身の微分

29. 29
微分の問題
自分自身の微分 自分自身の微分0
⇐積の微分公式を使用
を示せ

30. 30
７章に出てくる式変形
線形回帰問題の損失関数が
のとき、その解が↓になるらしい。
つまり、下の式が成り立つ場合の を求めれば良い

31. 31
７章に出てくる式変形

32. 32
まとめ
Einsteinの縮約記法（指標表示）を用いることで、
複雑なテンソル（行列）式の変形を比較的容易に
行うことができるようになった。
「深層学習」の本はまったく進まなかった。