kenkyuukai

1. NAACL読み会2015-­‐06-­‐24
A
Comparison
of
Word
Similarity
Performance
Using
Explanatory
and
Non-­‐explanatory
Texts
Lifeng
Jin;
William
Schuler
プレゼンテーション
関沢祐樹
2015/06/24
1

2. 概要
• 大きなデータセットからなる単語ベクトル表現
– 単語親密度タスクで良い成果
• この論文の手法
– 小さなデータセットからなるベクトル表現
• English
Wikipedia
と
Simple
English
Wikipediaを使用
– 十分な語彙意味情報を含む
• 提案手法の結果
– カテゴリ判定で等しい、あるいはより良い正解率
2015/06/24
2

3. はじめに
• 説明的テキスト
– 例：“◯
◯とは△△である”
– Full
English
Wikipedia
(FW)
– Simple
English
Wikipedia
(SW)
を使用
• 非説明的テキスト
– 単語などの説明部分がない
– Google
News
を使用
• 上記データよりも大規模なコーパス
2015/06/24
3

4. データ量（2014年12月時点）
• Wikipedia
– 記事数：４６０万以上
– 単語数：１６億以上
– かなりの大きさ、カバレージ。単語埋め込みに重要
• Simple
English
Wikipedia
– 単純な単語、文法で書かれた記事
– 記事数：約１２万
– 単語数：約２０００万
2015/06/24
4

5. Word2vec
• 単語の表現、単語埋め込みのためのベクトル
• ConGnuous
Bag-­‐of-­‐Words
(CBOW)
– 周囲の複数単語から１つの単語を推測
– 文脈依存の単語に有利
– 大規模コーパスで訓練された高頻度単語で良いパ
フォーマンス、高正解率
• Skip-­‐gram
（SG）
– １つの単語から周辺単語を推測
– 文脈的に優れたモデルを生成可能
– 少量の訓練データ、出現頻度の低い単語に良い
2015/06/24
5

6. 本論文の目的
• モデル同士を比較するのではない
• 訓練コーパスを比較するためにモデルを使用
• 単語埋め込みで、情報の違いがどのように現
れるかを見ていく
2015/06/24
6

7. 実験手法
• 似た単語ペアを高い順にランク付け
1. 単語埋め込みによるコサイン類似度の計算
• 類似度スコアの高い順にソート
2. 類似度単語ペアの最初のn％の中で、最後のペアを探す
3. 最後のペアを境界とするサブリストの類似単語ペアの
割合を決定
– ある再現率（１０％区切り）の時、類似単語ペアを成功した
探索として正解率を決定
2015/06/24
7

8. テストデータ
• WordSim353を使用
– 単語のペアを人手でアノテーションしたもの
– 似ているor関連しているか判定
• 類似単語ペア：１００
• 関連単語ペア：１４９
• 関係がほぼない、全くないペア：１０４
– 評価タスクでは、一番下のペアは不使用
• ２４９単語ペアのみを使用する
2015/06/24
8

9. モデル
• 全てのword2vec
の訓練にgensim
を使用
– python
で使う
word2vec
の構築
– Skip-­‐gram,CBOWは単語を５つずつ切り出す
– 単語出現回数５回以下は対象外
– 単語埋め込みの次元は３００
– Google
Newsからも、Skip-­‐gramを作成
– 訓練データに１００億単語を使用
• FW
の３０倍、SWの２４０倍
2015/06/24
9

10. 結果
• GN-­‐SGは最も大きいデータセットで訓練したが、
最も良い成果を出さなかった
• FWとSWの成果が、両手法でほぼ同じ
– FWを使ったことによる利益は成果としてでない
2015/06/24
10

11. 結果
• FW-­‐CBOWが全体的にもっともよい
– 最初の方は、等しい、あるいは少し悪い
2015/06/24
11

12. 結果のまとめ
• 小さいデータセットが良い結果である
– 主要ではない
• 小さい説明的訓練データセットの結果
– 大規模コーパスの結果と非常に近いこと
– これについて分析する
2015/06/24
12

13. 分析
• Google
Newsより優れた理由
– 機能的、シンタクス的類似度を測定するため
– シンタクス的情報が単語埋め込みの大部分要素
であるかどうかは明らかでない
• 類義語、下位語などの似ている単語
– 意味的な素性が似ている
– 文脈を見ると同じ単語が同じ位置によく出現
– 例：PHYSICSとCHEMISTRYのペア
• １つ前にquantumが多く出現
2015/06/24
13

14. 分析
• ある単語の一般的知識
– 説明的テキストで見つかる
• 繰り返し書かれている場合もある
– ニュース記事のような非説明的テキストにはない
• 書き手は、読み手の基礎知識を想定
• わざわざ説明の情報を載せる必要がない
– 説明的テキストの方が、データが少ないけれど、
一般的知識は伝わる
2015/06/24
14

15. FWとSWを比較
• FWとSWの違い：データ量
– FWの方が情報量は多い
– 実験結果はあまり変わらない
– 説明的テキストの性質が関係
– 概念を明らかにする要素がどちらにも存在
– FWで加えられる新しく、まばらな情報を支配
• SWでも出現する単語が支配している
2015/06/24
15

16. まとめ
• Wikipediaのような説明的テキストデータセット
からなるベクトル表現の正解率は、より大きな
ニュースコーパスの正解率以上であった
• 理由として、説明的テキストには、常識が広く
存在したことと分析した
• 将来の研究者が他の言語でも同様に
良いベクトルを生み出せると気づいてほしい
2015/06/24
16