サブカルのためのWord2vec

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

1
サブカルのためのword2vec
東北大学大学院情報科学研究科 M1 五十嵐祐貴
2017年9月19日～10月6日 DeNAインターン成果報告

2
五十嵐祐貴（いがらしゆうき）
• 東北大学工学部情報知能システム総合学科卒業
• 東北大学大学院情報科学研究科 M1
• 篠原・吉仲研究室
o 文字列（特にパターンマッチング）の研究
• アルバイト・インターンなど
o Preferr...

3
趣味・興味
• .NET Technologies
o .NET/Visual Studioに興味があります
o 登壇したり本を書いたり…
o Microsoft MVP for Visual Studio and Development ...

4
研究内容
• 文字列処理
o 特にパターンマッチングの研究
• New Variants of Pattern Matching
with Constants and Variables [Igarashi+ 2017, f]
o SOFS...

5
タスク概要と背景
一言でいうと…
アニメに関連したシノニムを獲得したい！
• ハッカドールではアニメの作品名と
略称・愛称を関連付けるための辞書を
手動で更新している
o この辞書は記事のタグ付けや検索で利用
• 例
o この素晴らしい世界...

6
タスク概要と背景
一言でいうと…
アニメに関連したシノニムを獲得したい！
• ハッカドールではアニメの作品名と
略称・愛称を関連付けるための辞書を
手動で更新している
o この辞書は記事のタグ付けや検索で利用
• 例
o この素晴らしい世界...

7
タスク概要と背景
• 利用可能なデータセット
o 日々のWeb記事のクロール結果
o アニメに関するタグ／キーワード集合
o ニコニコ辞書・Wikipediaをソースとして
毎日更新される形態素解析用辞書
o アプリ内の検索キーワード
ひと...

8
先行研究
• 同義語獲得／同義性判定関連の研究を調査
多くの論文が
一般名詞に対する同義語の獲得を扱っており
固有表現に対するシノニムの検出は少ない
（そのなかでグラウンディングを目的としている論文が多かった）
• 先行研究で用いられていた...

9
単語表記を考慮した同義語判定
単語正規化による固有表現の同義性判定 [高橋ら 2008,a]
• 同義語を以下の3つから生成されるものと仮定
o 定型文字列の追加：接頭／接尾辞等の文字列を追加
o 表記変換：読みを保存して表記を変換
o...

10
単語表記を考慮した同義語判定
単語正規化による固有表現の同義性判定 [高橋ら 2008,a]
• 同義語を以下の3つから生成されるものと仮定
o 定型文字列の追加：接頭／接尾辞等の文字列を追加
o 表記変換：読みを保存して表記を変換
...

11
周辺文脈を利用した同義語判定
Skip-gram [Mikolov+ 2013, e]
[e] Mikolov, Tomas, et al. "Efficient estimation of word representations in...

12
周辺文脈を利用した同義語判定
文脈限定 Skip-gram による同義語獲得 [城光ら 2017,b]
通常のSkip-gram 提案
[b] 城光英彰, 松田源立, and 山口和紀. "文脈限定 Skip-gram による同義語獲得....

13
検索クエリなどの関係情報を利用した同義語判定
A Framework for Robust Discovery of
Entity Synonyms [Kaushik+ 2012, c]
• 検索クエリ集合とWebドキュメント集合を用いて...

14
検索クエリなどの関係情報を利用した同義語判定
ClickSim [Cheng+ 2010, d]
検索クエリ 𝑟𝑒, 𝑠𝑒 が与えられたとき
ただし𝑎𝑢𝑥(𝑤)は検索クエリ𝑤によってクリックされたドキュメント集合
[d] Cheng, T...

検索クエリなどの関係情報を利用した同義語判定
Pseudo Document Similarity [Kaushik+ 2012, c]
検索クエリ 𝑟𝑒, 𝑠𝑒 が与えられたとき
ただし𝑎𝑢𝑥(𝑤)は検索クエリ𝑤によってクリックされたドキュメ...

16
先行研究の適用の検討
• ルールベースでの同義語ペアの抽出
過去約1年半のデータのなかで
「略称」「愛称」などのキーワードを含む記事
34,675 件（1.27%）
• 単語表記を考慮した同義語判定
アニメタイトルは他の固有表現と比べて...

17
先行研究の適用の検討
• ルールベースでの同義語ペアの抽出
過去約1年半のデータのなかで
「略称」「愛称」などのキーワードを含む記事
34,675 件（1.27%）
• 単語表記を考慮した同義語判定
アニメタイトルは他の固有表現と比べて...

18
先行研究の適用の検討
• 周辺文脈を利用した同義語判定
アプローチの方向性としては適切
しかし、たくさんのSkip-gramモデルを
学習するのは時間的に困難
また、教師データを用意するのは難しい
• 検索クエリなどの
関係情報を利用した...

19
予備実験オリジナルのSkip-gramモデルの学習
• データセット
o ドキュメント数 250,000 記事
o 単語数 172,257 単語
o のべ単語数 93,799,316 単語
• 主要なハイパーパラメータ
o 窓幅：5
o...

20
予備実験オリジナルのSkip-gramモデルの学習
ここでクイズ
それぞれ
あるアニメタイトル
の周辺5単語を
ソートしたものです。
何のアニメか
当ててください。

21
予備実験オリジナルのSkip-gramモデルの学習
ここでクイズ
それぞれ
あるアニメタイトル
の周辺5単語を
ソートしたものです。
何のアニメか
当ててください。
リゼロごちうさ

22
予備実験オリジナルのSkip-gramモデルの学習結果
• 結果：これじゃない！
• 雑感
o アニメ一般の概念は獲得できている様子
（アニメタイトルは集まる）
o 作品は全く考慮できていない

23
予備実験オリジナルのSkip-gramモデルの学習結果
• 結果：これじゃない！
• 雑感
o アニメ一般の概念は獲得できている様子
（アニメタイトルは集まる）
o 作品は全く考慮できていない
ごちうさ―リゼロ状態

24
予備実験オリジナルのSkip-gramモデルの学習
ここでクイズ
それぞれ
あるアニメタイトル
の周辺5単語を
ソートしたものです。
何のアニメか
当ててください。
ごちうさ
再掲
リゼロ
一般名詞においては重要だが
アニメにおいては
...

25
「ごちうさ‐リゼロ状態」の解決に向けて (1)
• なぜ「ごちうさ」は「リゼロ」に
近づくのか
o 声優？アニメ制作会社？もしかしてリゼ？

26
「ごちうさ‐リゼロ状態」の解決に向けて (1)
• なぜ「ごちうさ」は「リゼロ」に
近づくのか
o 声優？アニメ制作会社？もしかしてリゼ？
要因の一つとして…
どちらも大人気作品なので
イベント等では多数のグッズが頒布
⇒ イベントのグッ...

27
「ごちうさ‐リゼロ状態」の解決に向けて (1)
• キーワードを10個以上含む記事は
学習から除外
• 1記事あたり付与されたキーワード数
提案

28
予備実験オリジナルのSkip-gramモデルの学習
ここでクイズ
それぞれ
あるアニメタイトル
の周辺5単語を
ソートしたものです。
何のアニメか
当ててください。
ごちうさ
再掲
リゼロ
一般名詞においては重要だが
アニメにおいては
...

29
「ごちうさ‐リゼロ状態」の解決に向けて (2)
Skip-gram [Mikolov+ 2013, e]
𝑤𝑡−2 𝑤𝑡−1 𝑤𝑡 𝑤𝑡+1 𝑤𝑡+2… …
再掲
𝑤𝑡
𝑤𝑡−2
𝑾 𝒆
𝑾
𝑤𝑡−1
𝑤𝑡+1
𝑤𝑡+2Skip-gram

30
「ごちうさ‐リゼロ状態」の解決に向けて (2)
Skip-gram [Mikolov+ 2013]
𝑤𝑡 𝑤𝑡+𝑗
𝑾 𝒆
𝑤𝑡−2 𝑤𝑡−1 𝑤𝑡 𝑤𝑡+1 𝑤𝑡+2… …
Skip-gram
（簡略化された図）
再掲
𝑾

31
「ごちうさ‐リゼロ状態」の解決に向けて (2)
モデル1号
𝑤𝑡+𝑗𝑾
𝑘 𝑑,𝑗𝑾′
𝑤𝑡−2 𝑤𝑡−1 𝑤𝑡 𝑤𝑡+1 𝑤𝑡+2… …
𝑘 𝑑,1 𝑘 𝑑,𝑛…
Skip-gram
(Multitask)
提案
ある単語を入力として
...

32
「ごちうさ‐リゼロ状態」の解決に向けて (2)
モデル2号
𝑤𝑡
𝑤𝑡+𝑗
𝑾
𝑘 𝑑,1
𝑘 𝑑,𝑛
𝑾 𝒅
𝑤𝑡−2 𝑤𝑡−1 𝑤𝑡 𝑤𝑡+1 𝑤𝑡+2… …
𝑘 𝑑,1 𝑘 𝑑,𝑛
ドキュメントに付与された
キーワード
…
sum
...

33
「ごちうさ‐リゼロ状態」の解決に向けて (2)
モデル3号 Rev.A
提案
𝑤𝑡
𝑤𝑡+𝑗
𝑾
𝑘 𝑑,𝑗
𝑾 𝒅
𝑾 𝒆
concat
基本的にはモデル２号と同じ
モデル２号と比較してレイヤーが浅いため
𝑘 𝑑,𝑗の学習が進みやすいの...

34
「ごちうさ‐リゼロ状態」の解決に向けて (2)
モデル3号 Rev.B
提案
𝑤𝑡
𝑤𝑡+𝑗
𝑾
𝑘 𝑑,𝑗
𝑾 𝒅
𝑾 𝒆
𝑾(FC)
concat
基本的にはモデル２号と同じ
Rev.Aと比較して、concat後に１層のFC層を挟むた...

35
「ごちうさ‐リゼロ状態」の解決に向けて (2)
モデル3号 Rev.C
提案
𝑤𝑡
𝑤𝑡+𝑗
𝑾
𝑘 𝑑,𝑗
𝑾 𝒅
𝑾 𝒆
𝑾(FC)
concat add
基本的にはモデル２号と同じ
Rev.Bに加えて、FC層の後に
（ResNetの...

36
提案モデルの学習設定
• データセット（キーワード数で前処理済み）
o ドキュメント数 100,000 記事
o 単語数 331,138 単語
o のべ単語数 49,187,387 単語
o キーワード数 47,751 個
• 主要なハ...

37
提案モデルの学習結果
モデル1号が「ごちうさ‐リゼロ状態」を解消！

38
従来モデルと提案モデルの比較
従来手法提案手法

39
従来モデルと提案モデルの比較
従来手法提案手法

40
従来モデルと提案モデルの比較
従来手法提案手法

41
従来モデルと提案モデルの比較
従来手法提案手法

42
提案モデル雑感
• 周辺文脈だけでなく
ドキュメントのキーワードを考慮した
距離が算出できている
o 用いたデータはキーワードの基準として
アニメタイトルが多いため
アニメ作品に関するドメインが考慮されている
o キーワードをまたがるよ...

43
提案モデルの評価
• データセット
o ハッカドールに登録されている
シノニム辞書 5600組を使用
• 評価手法
o コサイン類似度
o k近傍一致度
o 相互ランク
• 評価対象
o 通常のSkip-gramモデル (Skip-gra...

44
提案モデルの評価手法
• コサイン類似度
シノニム組 𝑥, 𝑦 のコサイン類似度を集計
• k近傍一致度
シノニム組 𝑥, 𝑦 について
それぞれのk-近傍をとった時の単語集合を𝑆 𝑥, 𝑆 𝑦とし
集合𝑺 𝒙と𝑺 𝒚の類似度を集計
o ...

45
提案モデルの評価結果
モデル名
コサイン
類似度
k近傍
一致度
相互ランク
（平均）
相互ランク
（中央値）
従来手法 0.4041 0.0660 9523.5263 892.0
キーワードの
みモデル 0.5063 0.1918 57...

46
考察1: 相互ランクの値が大きい理由
• 全体的に相互ランクの値が大きい…？
o モデル1号の相互ランクに関するヒストグラム
一部の低い点数の項目によって
順位が下がっている
平均: 4926

47
考察1: 相互ランクの値が大きい理由
• 相互ランクの順位が低い項目の特徴
o 表記ゆれによる単語の重複
例：ニコ生, にこなまなど
o 評価データセットに古いデータが含まれている
例：（ワールドイズマイン, ワイズマ）など
o 評価デ...

48
考察1: 相互ランクの値が大きい理由
• 同じ単語で複数の意味を持つものが存在
例：私モテ, とある
o 区別できていないためEmbeddingの性能も悪化
o 曖昧性解消、いわゆる「凛」状態にもつながる
⇒ （ナイーブな）アイデアのみ提案

49
「凛状態」の解決に向けて
「どの凛を指しているかは
キーワードと周辺文脈から区別できる」
という仮定をもとに以下のアルゴリズムで学習
1. キーワードごとに異なる「凛」となるように区別
2. Skip-gramモデルを学習
3. 1 ep...

50
考察2: モデル2号と3号のスコアが低い理由
• なぜモデル2号と3号のスコアが低いのか
o モデル1号とキーワードのみは
キーワード情報からのロスを受けて学習
⇒ 2号と3号は周辺単語からのロスのみ
o 2号と3号の学習に使用したキーワ...

51
考察2: モデル2号と3号のスコアが低い理由
𝑤𝑡
𝑤𝑡+𝑗
𝑾
𝑘 𝑑,𝑗
𝑾 𝒅
𝑾 𝒆
𝑾(FC)
concat
再掲
モデル3号 Rev.B
𝑊𝑒と𝑊𝑑の様子を見てみます

52
考察2: モデル2号と3号のスコアが低い理由
モデル3号 Rev.Bの学習で得られた𝑾 𝒆では
ドメインに特化しない一般的な単語ベクトルの
獲得が行われている印象
𝑊𝑒を単語ベクトルとして用いたときの様子

考察2: モデル2号と3号のスコアが低い理由
モデル3号 Rev.Bの学習で得られた
𝑾 𝒅をキーワードベクトルとして使ってみると…
⇒ 何らかの知識が埋め込まれたベクトルが獲得できている！

54
考察2: モデル2号と3号のスコアが低い理由
𝑤𝑡
𝑤𝑡+𝑗
𝑾
𝑘 𝑑,𝑗
𝑾 𝒅
𝑾 𝒆
𝑾(FC)concat
モデル3号 Rev.B
𝑾 𝒅がアニメドメインに
関する知識を獲得
𝑾 𝒆が一般的な（ドメインに特化しない）
単語ベクト...

55
まとめ
• アニメに関連した
シノニムの自動獲得タスクに取り組んだ
• 現状のデータセットにSkip-gramモデルを
適用した場合の問題点を把握し
改善するためのモデルを提案した
• 実験の結果
従来のモデルよりも高い精度で
アニメ作品...

56
３週間で取り組んだ作業内容一覧
研究関連
• 先行研究の調査
• データセットの整形
• 既存のSkip-gramモデルの問題点の把握
• 提案モデルの実装と実験
• 提案モデルの評価
実装
• cupy.nonzerosにバグを見つけた...

Share Slideshare

LinkedIn
Facebook
Twitter

Embed

Size (px)

Show related Slideshows at end

WordPress Shortcode

Link

Share
Email

2024 Trend Updates: What Really Wor... by Search Engine Jou... 1060498 views
Storytelling For The Web: Integrate... by Chiara Aliotta 978090 views
Artificial Intelligence, Data and C... by OECD Directorate ... 916989 views
How to Leverage AI to Boost Employe... by SocialHRCamp 389109 views
2024 State of Marketing Report – by... by Marius Sescu 220145 views
Everything You Need To Know About C... by Expeed Software 236739 views

View on Slideshare

1 of 56 Ad

View on Slideshare

1 of 56 Ad