Understanding Artificial Intelligence - Major concepts for enterprise applica...
Your SlideShare is downloading.
×
Check these out next
深層リカレントニューラルネットワークを用いた日本語述語項構造解析
- 1. 深層リカレントニューラルネットワーク を用いた日本語述語項構造解析 大内 啓樹 進藤 裕之 松本 裕治 ouchi.hiroki.nt6@is.naist.jp 奈良先端科学技術大学院大学 自然言語処理学研究室 2016/12/22 (木) 情報処理学会 第229回 自然言語処理研究会
- 2. 本研究の概要 2 単語分割 品詞付与 係り受け 述語項構造 入力文 既存研究 ×深層RNN 日本語 述語項構造解析 複数の述語を考慮 可能なRNNの提案 入力文 本研究 78.15 80.90 79.23 81.22 IM09 MA14 OU15 DRGM 単語などの 表層情報のみ使用 最先端の解析器を 上回る性能を達成 単語分割 述語項構造
- 3. 述語項構造とは？ 3 「誰が 何を 誰に どうした」 • 花子は太郎を殴った。 • 太郎は花子に殴られた。 殴る ガ 花子 ヲ 太郎 ニ None 述語項構造は表層の違いを正規化する 述語 出来事や状態を表す語や句 項 出来事や状態を表すのに必要な語や句 格 述語項間の意味的役割
- 4. 項の種類 4 コロッケを受け取った彼女は、急いで食べた。 （φが）ジュースも飲んだ。 ガヲ ガ ヲ ヲ ガ • 係り受け有 精度: 85-90% • 文内ゼロ 精度: 30-55% • 文間ゼロ 精度: 10-20% 3種類の項 本研究の 解析対象
- 5. 関連研究
- 6. 日本語述語項構造解析手法 6 Taira+ 08 SVM + Decision List Maximum Entropy Model Tournament Model Markov Logic Network 点推定アプローチ 同時推定アプローチ Graph-Based Joint Model + Hill Climbing Imamura+ 09 Hayashibe+ 11 Yoshikawa+ 11 Sasano+ 11 Ouchi+ 15 Shibata+ 16 Ouchi + Neural Net Iida+ 16 Convolutional Neural Net Log-Linear Model + Case Frames
- 7. 点推定アプローチ 7 Imamura+ 09 述語ごとに独立に項を推定 警察は 犯人を 逮捕したが、 数日後に 逃走した。 ガ格 逮捕する 警察 犯人 数日後 2.8 3.9 1.3 NULL0.6 ガ格 逃走する 警察 犯人 数日後 2.9 2.6 0.7 NULL0.5
- 8. 同時推定アプローチ 8 警察 犯人 数日後 逮捕する 逃走する NULL 逮捕する 逃走する ガ 警察 ヲ 犯人 ニ NULL ガ 犯人 ヲ NULL ニ NULL ガ ヲ ニ Ouchi+ 15 文内の全述語項を同時に推定
- 9. 点推定と同時推定 9 警察 犯人 数日後 逮捕する 逃走する NULL 警察 犯人 数日後 逮捕する NULL 警察 犯人 数日後 逮捕する NULL 警察 犯人 数日後 逮捕する NULL 警察 犯人 数日後 逃走する NULL 警察 犯人 数日後 逃走する NULL 警察 犯人 数日後 逃走する NULL 点推定 同時推定
- 10. 深層リカレントモデル
- 11. 問題設定 11 <単語> 彼女 は コロッケ を 食べた 。 <ラベル> GA NONE WO NONE PRED NONE • 各単語にラベルを付与する多値分類問題 • ラベルは {GA, WO, NI, NONE, PRED} の5つ
- 12. モデルの概要 12 • RNN (GRU) を使用 • 単語素性がスパースになることを防ぐため • 長距離の依存関係をとらえる必要があるため 文内ゼロ項の解析には，長距離の 依存関係を考慮する必要がある 長距離依存の例 モデルのイメージ • 係り受け有 • 文内ゼロ
- 13. 使用する素性 13 <単語> 彼女 は コロッケ を 食べた 。 Arg Pred Pred Context Mark 1 彼女 食べた を 食べた 。 0 2 は 食べた を 食べた 。 0 3 コロッケ 食べた を 食べた 。 0 4 を 食べた を 食べた 。 1 5 食べた 食べた を 食べた 。 1 6 。 食べた を 食べた 。 1 • Pred Context: 述語とその周りの単語 • Mark: Pred Context に含まれているか否か
- 14. 素性ベクトルの作り方 14 Word Emb Mark Emb Concat 1 彼女 食べた を 食べた 。 0 𝒙 𝟏
- 15. ネットワークアーキテクチャ 15 RNN Layer 2 RNN Layer 1 Output Layer 𝑥1 𝑥 𝑡 𝑥 𝑇 ・・・ ・・・ ・・・ Input Layer 彼女 コロッケ 。・・・ ・・・ ・・・ ・・・ Input GA 0.2 WO 0.1 NI 0.2 NONE 0.4 PRED 0.1 • 双方向型RNN (GRU) を使用 ラベルの確率
- 16. DRMにおける複数述語を含む文の解析 16 朝 起きて 、 彼女 は コロッケ を 食べ 、 学校に 向かった 。 NONE PRED NONE GA NONE NONE NONE NONE NONE NONE NONE NONE 朝起きて、彼女はコロッケを食べ、学校に向かった。 朝 起きて 、 彼女 は コロッケ を 食べ 、 学校に 向かった 。 NONE NONE NONE GA NONE WO NONE PRED NONE NONE NONE NONE 朝 起きて 、 彼女 は コロッケ を 食べ 、 学校に 向かった 。 NONE NONE NONE GA NONE NONE NONE NONE NONE NI PRED NONE ※ 各述語に対して異なるターゲットのラベル列が決まる
- 17. DRMにおける複数述語を含む文の解析 17 朝 起きて 、 彼女 は コロッケ を 食べ 、 学校に 向かった 。 𝒙 𝟐,𝟏 𝒙 𝟐,𝟐 𝒙 𝟐,𝟑 𝒙 𝟐,𝟒 𝒙 𝟐,𝟓 𝒙 𝟐,𝟔 𝒙 𝟐,𝟕 𝒙 𝟐,𝟖 𝒙 𝟐,𝟗 𝒙 𝟏,𝟏𝟎 𝒙 𝟏,𝟏𝟏 𝒙 𝟏,𝟏𝟐𝒙 𝟏,𝟏 𝒙 𝟏,𝟐 𝒙 𝟏,𝟑 𝒙 𝟏,𝟒 𝒙 𝟏,𝟓 𝒙 𝟏,𝟔 𝒙 𝟏,𝟕 𝒙 𝟏,𝟖 𝒙 𝟏,𝟗 𝒙 𝟐,𝟏𝟎 𝒙 𝟐,𝟏𝟏 𝒙 𝟐,𝟏𝟐 𝒙 𝟑,𝟏 𝒙 𝟑,𝟐 𝒙 𝟑,𝟑 𝒙 𝟑,𝟒 𝒙 𝟑,𝟓 𝒙 𝟑,𝟔 𝒙 𝟑,𝟕 𝒙 𝟑,𝟖 𝒙 𝟑,𝟗 𝒙 𝟑,𝟏𝟎 𝒙 𝟑,𝟏𝟏 𝒙 𝟑,𝟏𝟐 𝒙 𝟏,𝟑𝒙 𝟏,𝟏 𝒙 𝟏,𝟐 𝑫𝒆𝒆𝒑 𝑹𝑵𝑵 Label Label Label 𝒙 𝟐,𝟑𝒙 𝟐,𝟏 𝒙 𝟐,𝟐 𝑫𝒆𝒆𝒑 𝑹𝑵𝑵 Label Label Label 𝒙 𝟑,𝟑𝒙 𝟑,𝟏 𝒙 𝟑,𝟐 𝑫𝒆𝒆𝒑 𝑹𝑵𝑵 Label Label Label 朝 起きて 、 彼女 は コロッケ を 食べ 、 学校に 向かった 。 朝 起きて 、 彼女 は コロッケ を 食べ 、 学校に 向かった 。 素性ベクトル作成 各系列ごとに計算
- 18. 問題点・解決策 18 深層リカレントモデル (DRM) 複数の述語を同時に考慮できない× 複数の述語を同時に考慮できる〇 深層リカレントグリッドモデル (DRGM)
- 19. 深層リカレントグリッドモデル
- 20. モチベーション 20 • 複数の述語を考慮できるモデルの提案 • 解決策: RNNをグリッド状に連結する モデルのイメージ グリッド連結のイメージ 素性ベクトルの計算を 系列間でも行う
- 21. DRMとDRGMの違い 21 DRM 𝒙 𝟐,𝟏 𝒙 𝟐,𝟕 𝒙 𝟏,𝟏𝟐𝒙 𝟏,𝟏 𝒙 𝟏,𝟕 𝒙 𝟐,𝟏𝟐 𝒙 𝟑,𝟏 𝒙 𝟑,𝟕 𝒙 𝟑,𝟏𝟐 𝒙 𝟏,𝟏𝟐𝒙 𝟏,𝟏 𝒙 𝟏,𝟕 𝑫𝒆𝒆𝒑 𝑹𝑵𝑵 Label Label Label ・・・ ・・・ ・・・ ・・・ 𝒙 𝟐,𝟏𝟐𝒙 𝟐,𝟏 𝒙 𝟐,𝟕 𝑫𝒆𝒆𝒑 𝑹𝑵𝑵 Label Label Label ・・・ ・・・ ・・・ ・・・ 𝒙 𝟑,𝟏𝟐𝒙 𝟑,𝟏 𝒙 𝟑,𝟕 𝑫𝒆𝒆𝒑 𝑹𝑵𝑵 Label Label Label ・・・ ・・・ ・・・ ・・・ 𝑫𝒆𝒆𝒑 𝑹𝑵𝑵 Label Label Label・・・ ・・・ Label Label Label・・・ ・・・ Label Label Label・・・ ・・・ DRGM ・・・ ・・・ ・・・ ・・・ ・・・ ・・・
- 22. 使用する素性 22 朝 起きて 、 彼女 は コロッケ を 食べ 、 学校に 向かった 。 𝒙 𝟐,𝟏 𝒙 𝟐,𝟐 𝒙 𝟐,𝟑 𝒙 𝟐,𝟒 𝒙 𝟐,𝟓 𝒙 𝟐,𝟔 𝒙 𝟐,𝟕 𝒙 𝟐,𝟖 𝒙 𝟐,𝟗 1 2 3 4 5 6 7 8 9 10 11 12 1 2 p t 朝 起きて 、 彼女 は コロッケ を 食べ 、 学校に 向かった 。 3 朝 起きて 、 彼女 は コロッケ を 食べ 、 学校に 向かった 。 𝒙 𝟏,𝟏𝟎 𝒙 𝟏,𝟏𝟏 𝒙 𝟏,𝟏𝟐𝒙 𝟏,𝟏 𝒙 𝟏,𝟐 𝒙 𝟏,𝟑 𝒙 𝟏,𝟒 𝒙 𝟏,𝟓 𝒙 𝟏,𝟔 𝒙 𝟏,𝟕 𝒙 𝟏,𝟖 𝒙 𝟏,𝟗 𝒙 𝟐,𝟏𝟎 𝒙 𝟐,𝟏𝟏 𝒙 𝟐,𝟏𝟐 𝒙 𝟑,𝟏 𝒙 𝟑,𝟐 𝒙 𝟑,𝟑 𝒙 𝟑,𝟒 𝒙 𝟑,𝟓 𝒙 𝟑,𝟔 𝒙 𝟑,𝟕 𝒙 𝟑,𝟖 𝒙 𝟑,𝟗 𝒙 𝟑,𝟏𝟎 𝒙 𝟑,𝟏𝟏 𝒙 𝟑,𝟏𝟐 朝起きて、彼女はコロッケを食べ、学校に向かった。
- 23. ネットワークアーキテクチャ 23 𝑥1,1 𝑥2,1 𝑥3,1 Input Layer 𝑥1,𝑡 𝑥2,𝑡 𝑥3,𝑡 𝑥1,𝑇 𝑥2,𝑇 𝑥3,𝑇 Grid Layer 1 ・・・ ・・・ ・・・ ・・・ ・・・ ・・・ ・・・ ・・・ Grid Layer 2 ・・・ ・・・ ・・・ ・・・ ・・・ ・・・ ・・・ ・・・ ・・・ ・・・ Output Layer ・・・ ・・・ ・・・ ・・・ ・・・ ・・・ ・・・ ・・・ ・・・ GA 0.2 WO 0.1 NI 0.2 NONE 0.4 PRED 0.1 ラベルの確率
- 24. 各グリッド層 24 ℎ1,2 (𝑙) ℎ1,1 (𝑙) ℎ1,3 (𝑙) ℎ1,4 (𝑙) ℎ1,5 (𝑙) • 単語間の接続 深層リカレントモデルと同様
- 25. 各グリッド層 25 ℎ1,2 (𝑙) ℎ1,1 (𝑙) ℎ2,1 (𝑙) ℎ3,1 (𝑙) ℎ1,3 (𝑙) ℎ1,4 (𝑙) ℎ1,5 (𝑙) ℎ2,2 (𝑙) ℎ2,3 (𝑙) ℎ2,4 (𝑙) ℎ2,5 (𝑙) ℎ3,2 (𝑙) ℎ3,3 (𝑙) ℎ3,4 (𝑙) ℎ3,5 (𝑙) • 系列にまたがる接続
- 26. 実験・結果・結論
- 27. 実験設定 27 データセット NAIST Text Corpus Ver. 1.5 訓練 25,000 開発 5,000 評価 9,000 実装 ライブラリ: Theano ハイパーパラメータ 単語/隠れ層の次元: 32次元, ランダム初期化 最適化手法: Adam L2正則化: [0.0001, 0.0005, 0.001]
- 28. 実験結果: F値 28 中間層数 開発 評価 深層リカレント モデル (DRM) 2 80.14 80.58 4 80.66 80.91 6 80.52 80.37 8 80.74 80.70 深層リカレント グリッドモデル (DRGM) 2 80.43 80.63 4 80.78 80.93 6 81.14 81.22 8 80.90 81.06 • DRM < DRGM • 複数の述語を考慮することによる効果
- 29. 実験結果: 先行研究とのF値比較 29 Imamura+ 09 78.15 Matsubayashi+ 14 80.90 Ouchi+ 15 79.23 DRM 80.70 DRGM 81.22 NAIST Text Corpus 1.5を用いた先行研究との比較 • 先行研究の性能を上回る結果
- 30. 実験結果: 格ごとのF値 30 係り受け有 文内ゼロ ガ ヲ ニ ガ ヲ ニ DRM 88.74 92.90 64.84 51.24 35.13 8.90 DRGM 88.66 93.95 66.50 51.57 38.06 9.44 Imamura+ 09 86.50 92.84 30.97 45.56 21.38 0.83 Matsubayashi+ 14 87.8 94.0 63.7 49.0 27.7 25.7 Ouchi+ 15 88.13 92.74 38.39 48.11 24.43 4.80 • 係り受け有 • 文内ゼロ
- 31. 結論 31 1. 深層RNNを用いた述語項構造解析モデルの提案 2. 最先端の解析器を上回る精度を達成 https://github.com/hiroki13/neural-pasa-system ソースコード 今後の課題 まとめ • 本モデルの詳細なエラー分析 • 文間にまたがる述語項の同定
