EMNLP読み会2015で使用した資料です。

1. Learning Better Embeddings for Rare Words
Using Distributional Representations
Irina Sergienya and Hinrich Schutze
EMNLP読み会2015：10/09
堺澤 勇也

2. 概要
 なにをやったか
 embedding–learning model の初期化に分布ベクトルを利用
 どのように学習したか
 Skip-gram model の入力層の部分に分布ベクトルを使用
 どのように評価・結果をだしたか
 word similarity タスクで rare word の embedding の質の向上
を示した

3. 従来の学習
 入力層に one–hot vector を使用 (one-hot initialization)
 少ない頻度の単語の学習が困難という問題がある

4. この論文での学習
 共起行列を作成し，入力層に distributional vector を使用
(distributional initialization)
 少ない頻度の単語の学習結果が向上
 共起行列の重み付け
 BINARY （共起回数10回以上で1）
 PPMI （スケールが1になるようにスケーリング）

5. 使用する共起行列
 二種類の共起行列を使用
 separate (左図)
 mixed (右図)
 k は頻度が閾値 θ を超えている単語数
 頻度が閾値以上の単語は従来通りone-hot vector を使用

6. Scalability
 通常の word2vec のO：
 O (ECWD log V)
 E：エポック，C：コーパスサイズ，W：windowサイズ，D：次元数，
V：語彙数
 Distributional vector を使用する場合，上の式にベクトル
内の平均要素数 I をかけて O は以下のようになる：
 O (IECWD log V)
 rare word の場合：I は小さい →計算効率の変化少ない
 高頻度の単語の場合：I は大きい → 計算効率悪くなる

7. 実験設定
 コーパス：ukWaC+WaCkypedia （前処理あり）
 タスク：word similarity
 評価データ：RG, MC, MEN, WS, RW, SL
 コーパス内の単語をランダムにθだけ選び、それ以外は他の
単語と見なすことでコーパスを downsampling （fire
→ **fire**)
 ※ θ は共起行列と評価データに対するパラメータ
 モデル：skip-gram (window 10, 次元 100)

8. 実験結果

9. 実験結果

10. 実験結果

11. Binary vs PPMI

12. Mixed vs Separate

13. One-hot vs Distributional

14. まとめ
 distributional vector を用いた分散表現の学習を提案
 実験結果からrare word に対してよい学習結果が得られる
ことがわかった
 高頻度のベクトルに対しては利益が得られなかったのでそ
こはfuture work