Recommended
Recommended
More Related Content
More from harmonylab
More from harmonylab (20)
Recently uploaded
Recently uploaded (11)
Enriching Word Vectors with Subword Information
- 1. Enriching Word Vectors with Subword Information 幡本 昂平 2018/5/16 DLゼミ
- 2. 論文概要 • Author • P. Bojanowski*, E. Grave*, A. Joulin, T. Mikolov (* These authors contributed equally.) • 初出 arxiv2016 • TACL(https://www.transacl.org/ojs/index.php/tacl) • May, 2017 • Word2Vecの改良系の論文 • 字面が近い単語のベクトルが近くなるようにWord2Vec を学習させるようにした • fasttext(https://fasttext.cc/)でライブラリとして簡単に 利用可能 1 Word2Vec論文 の著者 比較的最近できた NLPのトップ論文誌
- 3. 本日の内容 • 分散表現を使いたい人向け • 単語をベクトルで表せるとうれしいことが多い • 従来Word2Vecの説明 • 本論文の改良点の説明 • 実験結果等 2
- 4. 基礎知識 3 単語のOne-hot-vector 単語をOne-hot-vectorに割り当てる Word embedding 調和 工学 研究室情エレ 1 0 0 0 0 0 0 1 0 1 0 0 0 0 1 0 0.2 0.3 0.4 0.2 0.1 0.6 0.2 0.7 0.6 0.2 0.1 0.4 0.9 0.3 0.7 0.1 0 1 0 0 0.3 0.6 0.2 0.3 = 各列が単語のベクトル表現になっている
- 9. Subword model(提案手法) 8 skip-gramの内積計算部分を変える 𝑧 𝑔は与えられた単語の文字n-gramに対する特徴ベクトル where <wh, whe, her, ere, re> n-gramの特徴ベクトルを考えその全てについて内積を計算し その和をとる 文字n-gramの例 skipgramより1.5倍程度遅くなる <where>
- 10. 実験設定 9 比較対象はC実装のskipgramとcbow 多言語のWikipediaで学習 単語類似性 単語類推タスク morphological representationsとの比較 訓練データサイズの効果 N-gramサイズの効果 (言語モデルについての結果) 今回は省略 定性的分析 定量的分析 Nearest neighbors N-gramと形態素 データ外単語に対する類似度 最適化手法の説明は 省略します
- 11. 単語類似性〜subword information 10 人間がつけた単語の類似度と単語のベクトル表現のコサイン類似度 のスピアマンの順位相関係数で評価 データセット 相関係数×100 アラビア ドイツ 英語 スペイン フランス ルーマニア ロシア 提案モデルsisgが英語のWS353 データセットを除いてベースライン よりも良い性能 未知語にnull vectorを割り当てた 場合(sisg-)よりもn-gramを用いて 計算したほうがすべて良い性能 Subword information利用の有効性
- 13. 単語類似性〜英語の結果 12 データセット 相関係数×100 アラビア ドイツ 英語 スペイン フランス ルーマニア ロシア 英語はWS353では提案手法よりも ベースラインのほうがよい WS353はsubword infoがなくても ベクトル表現を獲得可能な簡単な データ RW(Rare word)では提案手法のほうが よく，subword infoの有効性が確かめ られる
- 14. 単語類推タスク 13 A is to B as C is to D でDを推定するタスク チェコ ドイツ 英語 イタリア Syntactic(構文的タスク)でベースラインよりも大幅に精度向上 Accuracy Semantic(意味的タスク)では精度が落ちている →n-gramのnによって精度が変わるが後述
- 15. morphological representationsとの比較 14 単語類似性タスクで他のsubword informationを組み込んだ手法と比較 提案手法での簡単な改良で他の手法よりも高い性能を発揮
- 16. 訓練データサイズの効果 15 未知語に対応したモデル 少ない訓練データでもうまくいくはず データを総数の1，2，5，10，20，50%と変化させながらスピアマンの順位相関係数 の変化を見る • 常にcbowよりも良い性能 • 提案手法sisgでは少ないデータでも良いベクトル表現が得られている
- 18. 質的分析〜Nearest neighbors 17 提案手法sisgとskipgramでそれぞれある単語に対し コサイン類似度が最も近いものを抽出 タイル張り 技術的に 有望な イングランド 生まれ 経営者が 細かいこと まで指示する 経営の レストラン 樹木状の Sisgのほうがいい表現が得られている?
- 24. まとめ • 文字n-gramを組み込んでsubword 情報を考慮したskip- gramモデルを提案 • 簡単な工夫なので，それほど遅くならず前処理等も必要 ない • Subword情報を使っていないモデル・形態素解析にもと づくモデルよりも良い性能 • 実装はオープンソース 23
- 25. おまけ • fasttextの使い方 • 日本語の学習済みモデルがダウンロードできます • https://fasttext.cc/docs/en/pretrained-vectors.html • pythonでモデルを利用するラッパーもいろいろありま す • gensim • pyfasttext • fasttext 0.8.3 • 更新止まってる 24 どれがいいのかは調査中
- 26. 参考文献 • 機械学習プロフェッショナルシリーズ 深層学習による 自然言語処理 坪井祐太・海野祐也・鈴木潤 • Enriching Word Vectors with Subword Information • P. Bojanowski*, E. Grave*, A. Joulin, T. Mikolov • 2017 25