8

1. Efficient
Es*ma*on
of
Word
Representa*ons
in
Vector
Space
Tomas
Mikolov,
Kai
Chen,
Greg
Corrado,
Jeffrey
Dean
In
Proceedings
of
Interna*onal
Conference
on
Learning
Representa*ons,
2013
プレゼンテーション
関沢祐樹
2015/06/26
1

2. 本研究が行ったこと
• 提案するモデル
– 非常に大きなデータからなる単語ベクトル表現
– 正解率、計算コストで比較
• １６億単語のデータセットから１日経たずに学習
– シンタクス的実験と、意味的実験を行った
– ニューラルネットワークよりも良い成果
2015/06/26
2

3. ニューラルネットワークモデル
• neural
network
language
model
(NNLM)
– 過去の単語から予測 （指定する必要あり）
– 入力層、予測層、隠れ層、出力層の４層
– 計算がかなり複雑
• Recurrent
Neural
Net
Language
Model
(RNNLM)
– 予測層がない、 過去の文脈を見る
– NNLMよりも、計算が少し簡単
• Parallel
Training
of
Neural
Networks
– 集中型サーバで基盤を複製して、並列処理をする
2015/06/26
3

4. 新たな対数線形モデル
• ConBnuous
Bag-­‐of-­‐Words
Model
（CBOW）
– NNLMに似ている
– 前後４単語ずつを用いると最も良い成果と判明
• ConBnuous
Skip-­‐gram
Model
– 遠い単語ほど、関連が少ない
– 遠いほど、重みを小さくする
– とる単語の範囲は最大１０として実験
2015/06/26
4

5. 今回のタスク
• テストセットを定義して、使用
– ５種類の意味的問題 問題数：８８６９
– ９種類のシンタクス的問題 問題数：１０６７５
– 手動で類似単語ペアのリストを作成
– リストからランダムに２つの単語ペアをとって作成
– ２語以上からなるものは対象外 （例：New
York）
2015/06/26
5

6. タスクの評価手法
• 全ての問題に対する正解率を使用
– 意味的問題とシンタクス的問題は切り離す
• それぞれに対する正解率を算出
– 問題の答えと、各手法が導いた最も近いとする
単語ベクトルが同じであるとき、正解とする
2015/06/26
6

7. 訓練データ単語数とベクトルの次元数の関係
• CBOWを用いた実験：正解率の変化の視覚化
– 問題：Google
Newsで頻度の高い３万語のみを含む
– どちらも多いほど、正解率向上
– 次元が５０→１００のとき、正解率が大きく変化
– 片方だけを大きくすると、悪くなることがある
2015/06/26
7

8. モデルの比較１
• 訓練データ・・・単語数：3.2億、語彙数：8,200
• ベクトル次元数：６４０
• 上記２つの条件を固定して実験
2015/06/26
8

9. モデルの比較２
2015/06/26
9

10. モデルの比較３
• CPUの数は推定
– 他のタスクの影響で若干の変動がある
• NNLMのベクトル次元数は１００
– １０００だと、時間がかかりすぎるため
• １００でも、かなり時間がかかっている
2015/06/26
10

11. まとめ
• 様々なモデルの単語ベクトル表現の質を見た
• ニューラルネットワークよりも単純なモデル
– CBOWとSkip-­‐gramを使用
– 質の良い単語ベクトルを生成できた
– 計算がより複雑でない
• 計算時間が早い
• 次元を大きくできる
2015/06/26
11