ACL読み会2015で使用した資料です

1. Orthogonality of Syntax and Semantics within
Distributional Spaces
Jeff Mitchell , Mark Steedman
ACL読み会2015：10/02
堺澤 勇也

2. 概要
 なにをやったか
 ベクトル空間を semantic な空間と syntax な空間が直交する
ように設計し，ベクトル空間を学習
 どのように学習したか
 word-order と morphological structure を利用することに
よって，ベクトルを分解した
 どのような結果をだしたか
 semantic-similarity，pos-induction，word-analogy の三つ
のタスクで精度向上がみられた

3. 従来のベクトル空間の考え
 同等の関係（semantic, syntax）
はベクトルの差が平行になる傾
向があることを利用

 semantic 的関係を示す

 syntax 的関係を示す

4. この論文の仮説
 平衡性 (Mikolov et al. 2013)：
 同じ関係が一貫して同じようにベクトル化されていることを示
すのに役立つ
 直交性（主張）：
 異なる関係は明らかに異なってベクトル化されていることを示
すのに役立つ
 今回は semantic と syntax の関係に焦点を当てる
 これらは最も異なる特性を持つとしている

5. 従来のモデル；CBOW
確率：
目的関数：
使用するベクトル：

6. 提案するモデル
 従来の単語ベクトルの学習は以下の点を考慮していない
 単語の語順
 単語の形態素情報
 CBOWを拡張し，上の欠点を補う4つのモデルを提案
 Continuous Sequence of Words (CSOW)
 Continuous Bag and Sequence of Words (CBSOW)
 Continuous Bag of Morphemes (CBOM)
 Continuous Bag and Sequence of Words and Morphemes
(CBSOWM)

7.  CSOW：
 単語の語順を考慮したモデル
 CBSOW：
 CBOWとCSOWを組み合わせたモデル
Si：単語ベクトルを連結したベクトル
CSOW・CBSOW

8. CBOM・CBSOWN
 CBOM：
 left (stem) と right (suffix) で分けて学習する (CELEXを使用)
 CBSOWM：
 全てのモデルを結合
 メインはCBSOWで以下の式を目的関数に加えて正則化
l：stemベクトル
r：suffixベクトル
実験ではλ = 0.1

9. 学習
 学習データ：
 English Wikipedia (データ量 : 17M, 120M, 1.6B)
 ベースライン：
 word2vec，Glove （両方とも300次元，窓長5, 10, 15）
 提案手法：
 CBOW を４つのモデルに拡張したもの
 次元：
 17M：10 ~ 1000
 120M・1.6B：200(semantic) + 100(syntax)
 CBSOW と CBSOWN は以下のようにベクトルを生成する

10. 直交性の実験・評価
 モデル：CBOW, Skip-gram, GloVe
 タスク：word-analogy (word2vec toolkit)
 類似度：

11. 提案モデルの実験・評価
 タスク：
① noun-verb similarity (Mitchell, 2013)
② clusters in relation to the POS classes (Penn Tree-bank)
③ word-analogy (word2vec toolkit)
result ① Result ②

12. 提案モデルの実験・評価
result ③
result ③

13.  まとめ
 ベクトル空間での直交性の有用さを示した
 意味的と構文的表現を分けるために単語順序と形態素を利用
 いろいろなタスクの精度向上を確認
 feature work
 他のタスクでも成功しそうなので応用したい
 形態素のところはもう少しリッチに学習するとさらにいいかもしれ
ない