More Related Content
What's hot
What's hot (20)
Similar to Reasoning with neural tensor networks for knowledge base completion
Similar to Reasoning with neural tensor networks for knowledge base completion (10)
More from Junya Kamura
More from Junya Kamura (9)
Reasoning with neural tensor networks for knowledge base completion
- 1. Reasoning With Neural Tensor Networks for Knowledge Base Completion Richard Socher, Danqi Chen, Christopher D. Manning, Andrew Y. Ng 2017/04/25 論文輪講 嘉村準弥
- 2. agenda • 概要 • 手法 • 関連手法 • 実験 • まとめ
- 3. 概要
- 4. 概要 • 2エンティティ間の関係を予測するモデルである Neural Tensor Networkを提案＋初期化方式の改良 による性能向上 • 知識ベースにおける2単語を基に関係性予測を行っ たところ既存のモデルを上回り、WordNetで86.2%、 FreeBaseで90.0%の精度を得ることが出来た
- 5. エンティティ間の関係性
- 6. Neural Tensor Network (NTN) • 2単語 が特定の関係Rである確率を求める e.g. (Bengal tiger, has part, tail) = true (e1,e2 ) f = tanh WR [1:k] ∈ d×d×k = テンソル slice_i = 1,...,k = テンソルのスライス 以下はニューラルネットワークの標準形式 VR ∈ k×2d U ∈ k bR ∈ k
- 7. 提案手法
- 8. Neural Tensor Network f = tanh WR [1:k] ∈ d×d×k slice_i = 1,...,k • テンソルの各スライスは関係性それぞれ示していると見なすことが出来る。 →違う分野においても同様の関係として学習できる （「has part」と言う関係においてBengal tiger→tailとcar→brakeは 同様な関係と見なすことができる) VR ∈ k×2d U ∈ k bR ∈ k
- 9. 関連手法
- 10. 関連手法(Distance Model) • 2単語間のL1距離を測ることによって関連性を推測 →スコアが低いほど関連性が強い • 問題点として2つのエンティティベクトルのパラメー タが相互作用しない WR,1,WR,2 ∈ d×d
- 11. 関連手法(Singule Layer Model) • 単一層ニューラルネットワーク(非線形) • 2つのエンティティベクトル間の弱い相互作用しか表現 できない • 提案手法におけるテンソル=0の状況 f = tanh WR,1,WR,2 ∈ k×d uR ∈ k×1
- 12. 関連手法(Hadamard Model) • 複数の線形積を介してエンティティベクトルと相互 作用する単一のベクトルとして表現 f = tanh W1,Wrel,1,W2,Wrel,2 ∈ d×d b1,b2 ∈ d×1 eR = relacion_ specific_ parameter
- 13. 関連手法(Bilinear Model) • 双線形形式であり、線形相互作用のみをモデル化す ることができる。より複雑なモデルに適合できない • 提案モデルにおけるパラメータ設定を変更した場合 と同義 g(e1,R,e2 ) = e1 T WRe2 WR ∈ d×d
- 14. 提案モデルの利点 • bilenear modelと比較して大きいデータベースの場 合に特に有用な表現力を備える • より小さいデータセットの場合、スライスの数を減 らすことができ、関係間で変更することが可能
- 15. 初期化について • ランダム初期化でも良いが、さらなる向上を目指す ・単語ベクトルでエンティティベクトルを表現 ・事前に教師なし訓練された単語ベクトルで初期化 • エンティティベクトルは単語ベクトルを平均化する と性能が向上 Vhomo sapiens = 0.5（Vhomo + Vsapiens）
- 16. 実験
- 17. データセットと各データ数 • 不要な関係は除外して学習を実行 （言い換えの関係「みかんとオレンジは似ている＝オレンジとみかんは似ている」など） • Wordnetは2つの単語を自由に設定可能 • Freebaseは関係性毎に単語が制限されている （関係性がgenderであればもう片方の単語はmale or femaleに制限される
- 18. テストデータ • テストデータの関係性をランダムに入れ替えること によって 2×#Test トリプレットを作成 →ポジティブ、ネガティブデータを用意 • Freebaseに於いてはあり得る単語の組み合わせタ イプのみ用意。 （Pablo Picaso、国籍、スペイン）→ポジティブ （Pablo Picaso、国籍、米国）→ネガティブ （Pablo Picaso、国籍、Gogh）→不適当(テスト未使用)
- 19. テスト方法 • 各モデルとの精度を比較 • 開発データを用いてクロスバリデーションを行い、 最適なハイパーパラメータを算出) 1. vector initialization 2. λ＝0.0001 3. 隠れ層d=100 (single layer, NTN) 4. training iterations T=500 5. NTNにおけるスライス数=4