Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

ニューラルネットワークに基づく並列句表現の学習と構造解析

1,243 views

Published on

並列句解析の主たるタスクは複数の並列する句の範囲を同定することである。並列構造は文の構文・意味の解析において有用な特徴となるが、並列構造の曖昧性を解消する決定的な手法は現在においても確立されておらず、構文解析の誤りの主要な原因となっている。本論文では、近年自然言語解析に広く使用されているリカレントニューラルネットワークを用いて、並列句の候補の表現を学習し、並列構造の範囲を予測する手法を提案する。

Published in: Engineering
  • Be the first to comment

ニューラルネットワークに基づく並列句表現の学習と構造解析

  1. 1. ニューラルネットワークに基づく 並列句表現の学習と構造解析 寺西 裕紀 進藤 裕之 松本 裕治 奈良先端科学技術大学院大学 自然言語処理学研究室 2017年7月19日(水) 情報処理学会 第232回自然言語処理研究会
  2. 2. • 等位接続詞などの並列キーに対して、連接する句の範囲 (begin, end) を同定するタスク 7/19/17 ニューラルネットワークに基づく並列句表現の学習と構造解析 2 並列構造解析 I have a pen and an apple . I have [a pen] and [an apple]. (3, 4) (6, 7) (begin, end)
  3. 3. • 等位接続詞などの並列キーに対して、連接する句の範囲 (begin, end) を同定するタスク • ただし、並列キーが並列の役割を果たしていない場合が ある – 出力は並列句の範囲ではなく NONE となる 7/19/17 3 並列構造解析 [Larry lives in Chicago], but [Ally lives in Boston]. The test was anything but difficult. ・接続詞のbut ・前置詞のbut - but: (1, 4), (7, 10) - but: NONE 例) ニューラルネットワークに基づく並列句表現の学習と構造解析
  4. 4. • 並列句が2つに限らない • 並列句が入れ子になる 7/19/17 4 並列構造解析の困難さ I have [a pen], [an apple] and [a pineapple]. [John has a pen] and [Mary has (an apple) and (a pineapple)]. - and: (3, 4), (6, 7), (9, 10) - and: (1, 4), (6, 12) - and: (8, 9), (11, 12) ニューラルネットワークに基づく並列句表現の学習と構造解析
  5. 5. • 類似性 – 並列句は類似した構造・意味を持つ • 可換性 – 並列句は互いに入れ替えても文が成立する 7/19/17 NP NP NP DT the JJ high NN level PP IN of NP NN performance , , NP NP DT the JJ compositional NNS talents PP IN of NP NNP Mr. NNP Douglas , , CC and NP NP DT the JJ obvious NN sincerity SBAR WHPP-1 IN with WHNP WDT which S ... 5 並列句の性質 I have [a pen] and [an apple]. I have [an apple] and [a pen]. ニューラルネットワークに基づく並列句表現の学習と構造解析
  6. 6. 関連研究
  7. 7. • 系列アラインメントを使用して句の類似性をとらえる – 素性は単語の表層形や品詞、形態的な情報に基づいて人手で設 計された素性を用いる • 複数の並列構造・並列句は構文木のルールによって矛盾 (入れ子とならずに一部の範囲だけが重なり合うこと) なく導出される • 問題点 – 素性設計のコスト – 類似性を持たない並列句 (例.文の並列)をうまく とらえられない 7/19/17 7 Hara et al., 2009 [Hara et al., 2009] ニューラルネットワークに基づく並列句表現の学習と構造解析
  8. 8. • 並列句の範囲の候補は、類似性、可換性、並列句候補の 生成確率の素性によってスコア計算される – 素性ベクトルの抽出・スコア計算にニューラルネットワークを 用いる – 並列句候補の生成確率は構文解析器によって割り当てられる • 3つのコンポーネントから成る – 並列構造の有無を判定する二値分類器 – 並列句の範囲の候補を生成する構文解析器 – スコア計算をするニューラルネットワーク • 問題点 – 構文解析器への依存 – 複数のコンポーネント間の誤り伝搬 7/19/17 8 Ficler and Goldberg, 2016 ニューラルネットワークに基づく並列句表現の学習と構造解析
  9. 9. 提案手法
  10. 10. • 並列構造の前部と後部を推定する • 長さ n の文において並列キーが k 番目に出現する場合 を仮定 • 前部の終点を k–1、後部の始点を k+1 に決め打ち – 前部の始点 i は 1≦ i ≦k–1 の k–1 通り、 後部の終点 j は k+1≦ j ≦n の n–k 通り – 並列キーに対して並列構造が存在しない場合 → 1 通り • (k–1)×(n–k)+1 通りの場合についてスコア計算を行い、 スコアの高い組み合わせを並列構造の範囲とする 7/19/17 10 前提 始点 i を推定 終点 j を推定 固定 ニューラルネットワークに基づく並列句表現の学習と構造解析
  11. 11. 7/19/17 11 モデルの概要 ニューラルネットワークに基づく並列句表現の学習と構造解析
  12. 12. 7/19/17 12 入力・RNN層 ニューラルネットワークに基づく並列句表現の学習と構造解析
  13. 13. • 入力層:単語・品詞系列のベクトルの割り当て • RNN層:多層双方向型LSTMを使って系列の隠れ状態のベ クトルを計算 7/19/17 13 入力・RNN層 ニューラルネットワークに基づく並列句表現の学習と構造解析
  14. 14. 7/19/17 14 特徴抽出関数 ニューラルネットワークに基づく並列句表現の学習と構造解析
  15. 15. • 類似性に基づく特徴ベクトルを計算 – 並列句候補の範囲のベクトルを要素ごとに平均化 7/19/17 15 特徴抽出関数(類似性) ニューラルネットワークに基づく並列句表現の学習と構造解析
  16. 16. • 類似性に基づく特徴ベクトルを計算 – 並列句候補の範囲のベクトルを要素ごとに平均化 – 平均化した2つのベクトルの要素ごとの 差の絶対値と積を計算 • 特徴ベクトル抽出関数 • 要素ごとの差の絶対値は距離を表す • 要素ごとの積は符号の比較を表す (符号が同じなら+、異なれば −) 7/19/17 16 特徴抽出関数(類似性) ニューラルネットワークに基づく並列句表現の学習と構造解析
  17. 17. • 可換性に基づく特徴ベクトルを計算 – 並列句外部との接続をベクトルで表現 – 接続の差を計算 7/19/17 17 特徴抽出関数(可換性) ニューラルネットワークに基づく並列句表現の学習と構造解析
  18. 18. • 可換性に基づく特徴ベクトルを計算 – 並列句外部との接続をベクトルで表現 – 接続の差を計算 • 交換可能 → 接続の差は小さい • 並列句の終点における接続の差も同様に計算 • 特徴ベクトル抽出関数 7/19/17 18 特徴抽出関数(可換性) ニューラルネットワークに基づく並列句表現の学習と構造解析
  19. 19. 7/19/17 19 出力層 ニューラルネットワークに基づく並列句表現の学習と構造解析
  20. 20. • フィードフォワードニューラルネットワークによるスコ ア計算 – 類似性・可換性の特徴ベクトルから計算 – (k–1)×(n–k) 通りの組み合わせについてスコアを 計算 7/19/17 20 出力層 始点 i を推定 終点 j を推定 固定 ニューラルネットワークに基づく並列句表現の学習と構造解析
  21. 21. • 並列キーに対する並列構造が存在しない場合についての スコアを計算 – 並列キーの隠れ状態ベクトルから直接スコアを計算 7/19/17 21 出力層 ニューラルネットワークに基づく並列句表現の学習と構造解析
  22. 22. • (k–1)×(n–k)+1 通りの並列構造の範囲の候補から最も スコアの高い候補を予測範囲として選択する – 学習は交差エントロピー誤差を確率的勾配法で最小化すること によって行う 7/19/17 22 出力層 ニューラルネットワークに基づく並列句表現の学習と構造解析
  23. 23. 実験
  24. 24. • データセット – Penn Treebank Coordination annotation extension [Ficler and Goldberg, 2016] • 対象の並列キー – and, or, but, nor, and/or • 並列キーの出現数 – 訓練(wsj02-21) 22670 (17893) – 開発(wsj22) 953 (848) – 評価(wsj23) 1282 (1099) 7/19/17 24 実験: Penn Treebank Extension ※括弧内は対応する並列構造が存在する (正解範囲がNONEでない)場合の集計 ニューラルネットワークに基づく並列句表現の学習と構造解析
  25. 25. • モデルの詳細とハイパーパラメータの設定 – Word Embedding: English Gigaword 5 (NYT section) をWord2Vecで事前学習 (200次元) – 品詞タグ: Stanford POS Taggerで10分割ジャックナイフ法で付与、embedding は区間[-1, 1]の一様分布でランダムに初期化 (50次元) – 双方向型RNN: 3層のbiLSTMを使用、隠れ状態ベクトルの次元数: {400, 600} – フィードフォワードニューラルネットワーク(FFNN): 隠れ層1層, 活性化関数ReLU, ユニット数 {1200, 2400} – ドロップアウト: Embeddingの出力, 各LSTMの入力, FFNNの隠れ層, ratio: {0.33, 0.50} – 最適化: Adam, バッチサイズ20, 正則化項 λ : {0.0001, 0.0005, 0.001} 7/19/17 25 実験: Penn Treebank Extension ニューラルネットワークに基づく並列句表現の学習と構造解析
  26. 26. • 並列キーの前後の並列句の始点・終点の一致について、 適合率、再現率、F値によって評価 • 提案手法では並列構造の前部の始点・後部の終点のみを 推定している – 個々の並列句を並列構造の前部・後部からカンマを区切りとし て復元することで評価 7/19/17 26 評価方法 I have [a pen], [an apple] and [a pineapple]. → (6,7), (9,10) Output: I have [a pen, an apple] and [a pineapple]. Decode: I have [a pen], [an apple] and [a pineapple]. (評価対象外) ニューラルネットワークに基づく並列句表現の学習と構造解析
  27. 27. • 全並列構造を対象とした評価ではFiclerらの結果を0.11上 回った • 名詞句並列のみを対象とした場合では0.79下回った → デコード時の誤りを減らす工夫が課題 7/19/17 27 結果 開発 評価 P R F P R F 全並列構造 Ficler+ 72.34 72.25 72.29 72.81 72.61 72.7 Ours 74.07 71.10 72.56 73.46 72.16 72.81 名詞句並列 Ficler+ 75.17 74.82 74.99 76.91 75.31 76.1 Ours 77.43 74.59 75.99 75.87 74.76 75.31 ニューラルネットワークに基づく並列句表現の学習と構造解析
  28. 28. • データセット、対象の並列キーと出現数 – Genia Treebank (beta) – and, or, but : 3598 (3598) • ハイパーパラメータ – Penn Treebankでの実験に準ずる(以下を除く) • Word EmbeddingはBioASQ提供の200次元ベクトル • POSはgold (50次元) • 正則化項 λ は 0.0005 • 評価 – 並列構造全体の始点・終点での一致の再現率について 5分割交差検定によって評価 7/19/17 28 実験: Genia Treebank (beta) I have [a pen], [an apple] and [a pineapple]. → (3,10) ※個々の並列句の範囲は評価しない ニューラルネットワークに基づく並列句表現の学習と構造解析
  29. 29. • 名詞句の並列 (類似性の高い並列)・文の並列 (類似性の 低い並列) ともに、先行研究を上回る結果となった 7/19/17 29 結果 種別 # Ours Ficler+ Hara+ 全体 3598 65.98 64.14 61.5 NP 2317 66.59 65.08 64.2 VP 465 63.87 71.82 54.2 ADJP 321 78.50 74.76 80.4 S 188 52.65 17.02 22.9 PP 167 53.89 56.28 59.9 UCP 60 50.00 51.66 36.7 SBAR 56 78.57 91.07 51.8 ADVP 21 85.71 80.95 85.7 Others 3 33.33 33.33 66.7 ニューラルネットワークに基づく並列句表現の学習と構造解析
  30. 30. • まとめ – 並列句の類似性・可換性に着目したニューラルネットワークモ デルの提案 – 外部のシソーラスや構文解析器に頼らず学習・解析が可能 – 先行研究の解析精度を上回る結果を達成 • 文の並列では精度が大幅に改善された • 今後の課題 – 3つ以上の並列句に対して個々の範囲を直接的に推定できるよう モデルを改善する – 同一文中の複数の並列構造を同時に推定する手法の考案 – 依存構造との同時解析 7/19/17 30 結論 ニューラルネットワークに基づく並列句表現の学習と構造解析

×