2018.1.13 NIPS 読み会. Deep Sets

1. Deep Sets
2018/1/13
NIPS 読み会
ABEJA, Inc. 高橋智洋

2. 自己紹介
• 高橋智洋
• 所属: ABEJA, Inc.
• Github: takat0m0
• 好きな framework は tensorflow
• 興味を持っていること
• 学生時代 -> 一般相対論，特に black hole physics
• 前のお仕事 -> 数理計画，特に混合整数計画問題
• 今のお仕事 -> 機械学習

3. 学生時代
• Einstein 方程式 を満たす4次元の擬リーマン多様
体を探すお話．通常対称性を課す．
二次元の球対称性を課すと
Black hole 解が得られる．
空間的な一様等方性を課すと
宇宙の発展方程式を得られる．
(https://en.wikipedia.org/wiki/Black_hole) (https://www.astrosociety.org/education/astronomy-resource-guides
/cosmology-the-origin-evolution-ultimate-fate-of-the-universe/)

4. 前のお仕事
• 混合整数計画問題をやっていた．
• 一般的な解法は branch and bound
• 興味を持っていたのは，対称性．
• 例えば，変数 z_0 と z_1 を入れ替えても問題が変わらないことが分かっ
た場合に，tree に調べる必要のない部分がある．
• orbital branching という綺麗な手法が提案されていたりする．
…
…
z_0 = 0 z_0 = 1
z_1 = 0 z_1 = 1 z_1 = 0 z_1 = 1

5. 今のお仕事
• 機械学習の research に従事．
• 機械学習においても，対称性でなんかできないかなぁ

6. 今日の論文
(以下，画像の引用はこの論文からしている．)

7. 概要
• Deep learning において対称性がある系で対称性を保証するためには
network などがどのような制限を受けるかを議論．
• 2つのケースについて考えている．
• Invariant model (今日は触れない．隠し slide 参照)
• m個の input に対して scalar を返す関数が input の permutation
に対して変わらない．
• Equivariant model (今日の main の話)
• 次の slide 以降で．

8. Equivariant model
• m 個の input に対して m 個の output がある
• Input の permutation に伴って output も同じように
permutation するようなケースを考える．

9. 例えば
• Set anomaly detection (仲間はずれ探し)
Inputs
Outputs ○ ○ ○ ×
この問題においては，equivariance が要求される．

10. R^M，一層の場合
x_1
x_2
x_3
y_1
y_2
y_3
(x_i, y_i ∈ R)
これを以下のように書くことにする．
このとき，以下が成立する．
f が permutation equivariance
<=>
(σは何らかの non-linear function)

11. 証明の前に
• Permutation equivariance は と書ける．
• さらに，以下に注意すれば，
x_1
x_2
x_3
y_1
y_2
y_3
(x_i, y_i ∈ R)
これを以下のように書くことにする．
(σは何らかの non-linear function)

12. 証明 前半
=>
• 任意の permutation は 互換の積で書けるので，互換だけ見れば十分
• 互換が OK なのは例えば以下の例を見れば明らか．

13. 証明 後半1
=>
• まずは対角成分が一致することを確認．
• Permutation として (k, l) の互換を持ってくると，以下のように見れ
ば， が言える．
k
l
k l
k
l
k l

14. 証明 後半2
=>
• 非対角成分の一致は二つの互換の積 を使えば良い
．
i
i’
j
j’
i i’ j j’
i
i’
j
j’
i i’ j j’

15. 拡張 -次元-
x_1
x_2
x_3
y_1
y_2
y_3
(x_i, y_i ∈ R)
x_1
x_2
x_3
y_1
y_2
y_3
(x_i ∈ R^D, y_i ∈ R^D’)
D 次元 vector D’ 次元 vector
• 同様に考えれば，次元も拡張できる．

16. これを積み上げれば
• この構造を積み上げれば，permutation equivariant に M
個の D 次元 vector -> M 個の scalar
256次元 vector1
256次元 vector2
256次元 vector3
Scalar output1
Scalar output2
Scalar output3

17. 画像を入力としたければ
• 「画像 -> D 次元 vector」 という deep neural network を
かませば良い．ただし，共有する必要あり．
DNN
DNN
DNN
共有の DNN
Scalar output1
Scalar output2
Scalar output3

18. 確率値としたければ
• Softmax 層は permutation equivariant
probability1DNN
DNN
DNN
共有の DNN
probability2
probability3
Softmax

19. 実験
• データ
• CelebA をベースに作成．このデータには各 figure に 40 種類の boolean 属性が付いてい
る．
• 16 枚 の1セットを 18,000 セット作成．
• 各セットを作成する際に，属性を 2 つ random に選び，1つ目の属性を満たすものを
15 枚，もう一つの属性を満たすものを 1 枚選んでいる．
• Train set に出てきている人は test set には出てこないようにしている．
• Network
• 先のやつと同じ．
• Softmax は，仲間外れの入力番目が 1 となるように学習．

20. 実験結果
Test accuracy = 75% 程度

21. 比較実験結果
• 比較のために以下を行なった．
• 同じデータ．
• permutation equivariant layer を対応する fully connected layer に
変更．
• 結果は以下の通り．
Test accuracy = 6.3% 程度
(random choice とほぼ同じ)

22. まとめ
• Permutation equivariance という条件がある場合に network がどのよ
うな制限を受けるかを見た．
• 今後としては，別の条件の時にはどう制限を受けるのかが気になる．
• 画像の回転に対して invariant な output を出力する network ?
• Graph の node の permutation に対して invariant な output を出力
する network ?
• Graph の対称性を detect できる Mackey’s algorithm まで絡んで
くると面白そう．

24. Invariant Model
• m 個の input に対して，scalar 量を返す関数を考える．
• このとき，input の permutation に対して不変になるよう
にしたい．

25. Invariant Model
• Wierstrass の近似定理と対称式の基本定理を用いると先
の f は以下のような形で近似的に書ける．
• このことは以下の network で表すことができる．

26. Wierstrass の近似定理
• 有界閉集合上の連続関数は，任意精度で多項式近似でき
る．
• この定理を使えば，invariant な関数は対称多項式で近似
できると考えられる．

27. 対称式の基本定理
• 任意の対称多項式は基本対称式系 の積の和で表すこ
とができる．
• ここに基本対称式とは以下．
…

28. 基本対称式の別表現
• 基本対称式は でも表すことができる．
• 以上まとめると

29. 書き換えると
• さらに， を用意すると
• 以上より，

31. 拡張1 -maxpooling-
• Maxpooling などは明らかに input の permutation に対して
同じ値を出力する．なので例えば以下の拡張は可能．