3nd

1. Two/Too
Simple
Adapta0ons
of
Word2vec
for
Syntax
Problems
Wang
Ling,
Chris
Dyer,
Alan
W
Black,
Isabel
Trancoso
NAACL2015,
1142,
pp,1299-­‐1304,
2015
プレゼンテーション
関沢祐樹
2015/08/10
1

2. 概要
• 初期のWord2vec
– 語順を考慮しない
– 意味表現は可能
– 文法的タスクには弱い
• 提案するWord2vec
– 文法にも対応できる
– 品詞タグ付け、係り受け解析で良い成果
2015/08/10
2

3. 従来のWord2vec
2015/08/10
3

4. 提案手法１：Structured
Skip-­‐gram
単語w0周辺の
単語を予測する
出力層の
行列Oは
単語の位置ごとに
違っている
2015/08/10
4

5. 提案手法２：ConMnuous
Window
周辺単語から
１つの単語を予測
予測層では
各ベクトルを足さず
独立に計算、予測
単語の位置ごとに
違っている
2015/08/10
5

6. 実験１：品詞タグ付け
2015/08/10
6

7. 実験２：係り受け解析
2015/08/10
7

8. おわりに
• 初期のCBOW
– 文法的要素に弱い
• 提案したCBOW
– 語の位置を考慮できる仕組み
– 初期のものよりも文法的意味を保持可能
2015/08/10
8