Topical Keyphrase
Extraction from Twitter
Wayne Xin Zhao, Jing Jiangm Jing He, Yang Song,
Palakorn Achananuparp, Ee-Peng L...
概要
● Tweetの要約
○ キーフレーズは文書のトピックを要約に有用
● Tweetからキーフレーズを抽出する最初の研究
● トピックのキーフレーズ抽出
○ Food: chicken rice, ice cream, fried chic...
背景
● ツイッターの2つの特徴
○ 1) 短い、有用な情報を含んでいるとは限らない
○ 2) 多様性がある
● 従来手法は各文書からトピックのキーフレーズを抽出
○ 1ツイートからのキーフレーズ抽出は意味がない
○ ツイート全体からではキーフ...
アプローチ
● グラフベースの教師なしキーフレーズ抽出
○ Liu et al. (2010) がベース
1) トピックの抽出
2) キーフレーズの抽出
● 提案点
○ Context-sensitive Topical PageRank
○ ...
Automatic Keyphrase Extraction via
Topic Decomposition, Liu et al. (2010)
1. LDAによるトピック抽出
2. Topical PageRankによるキーフレーズ抽出
A...
Automatic Keyphrase Extraction via
Topic Decomposition, Liu et al. (2010)
1. LDAによるトピック抽出
2. Topical PageRankによるキーフレーズ抽出
A...
トピック
rice
bread
chickenice
eat
TopicA
TopicC
game
football
match
win
arsenal
hot
rain
air
sun
morning
song
bieber
music
vi...
LDAによるトピック抽出
● LDA (Latent Dirichlet Allocation)
● 文書集合からトピックを抽出
○ トピック数Nは事前に与える
● トピックを抽出することにより、文書のトピックを推定も可能
Automatic ...
Automatic Keyphrase Extraction via
Topic Decomposition, Liu et al. (2010)
1. LDAによるトピック抽出
2. Topical PageRankによるキーフレーズ抽出
A...
Topical PageRankによるキーフレーズ抽出
1. 単語グラフの生成
2. Topical PageRankによるスコア計算
3. スコアを用いたキーフレーズ抽出
4. 文書のキーフレーズ取得
Automatic Keyphrase ...
単語グラフの生成
● 文書中の単語の共起性を利用して構築
○ ウィンドウ幅Wの共起数
○ 有向、無向かは性能には影響しない
We construct a word graph according to word co-occurrences w...
Topical PageRankによるスコア計算
● PageRankに基づく
Automatic Keyphrase Extraction via Topic Decomposition, Liu et al. (2010)
PageRank
● Webページの重要度を決定するアルゴリズム
○ 引用、被引用関係を利用
R(v): vのスコア
e(vj, vi): vjからviへのエッジの重み
O(vj): vjからの重みの総和
V: ノード数
λ: 制動係数 (0≦...
PageRank
● Webページの重要度を決定するアルゴリズム
○ 引用、被引用関係を利用
R(v): vのスコア
e(vj, vi): vjからviへのエッジの重み
O(vj): vjからの重みの総和
V: ノード数
λ: 制動係数 (0≦...
PageRank
● Webページの重要度を決定するアルゴリズム
○ 引用、被引用関係を利用
R(v): vのスコア
e(vj, vi): vjからviへのエッジの重み
O(vj): vjからの重みの総和
V: ノード数
λ: 制動係数 (0≦...
Topical PageRankによるキーワードスコアの計算
● PageRank
● Topical PageRank
Automatic Keyphrase Extraction via Topic Decomposition, Liu e...
キーフレーズスコアの計算
● Topical PageRankのスコアを利用
○ キーフレーズの候補: (形容詞)* (名詞)+
○ キーフレーズpのスコアは各キーワードの総和
Automatic Keyphrase Extraction vi...
文書のキーフレーズ抽出
● 文書のキーフレーズ取得
○ キーフレーズのスコアに
文書におけるトピックの割合をかける
Automatic Keyphrase Extraction via Topic Decomposition, Liu et a...
Topical PageRankによるキーフレーズ抽出
1. 単語グラフの生成
2. Topical PageRankによるスコア計算
3. スコアを用いたキーフレーズ抽出
4. 文書のキーフレーズ取得
Automatic Keyphrase ...
Topical Keyphrase Extraction from Twitter
1. Twitter-LDA(Zhao et. al, 2011)によるトピック抽出
2. Topical PageRankによるキーフレーズ抽出
Contex...
Context-sensitive Topical PageRank
● Topical PageRank
● Context-sensitive Topical PageRank
エッジのスコア計算でトピックを考慮
Keyphrase ranking by relevance and interstingness
● Relevance
○ 良いキーフレーズはトピックに強く関連
○ newsトピック: ○president obama, ×math cla...
Relevance
● キーフレーズ k=(w1,w2,...,wN)
全ツイート中のwの頻度
トピックtのツイート中のwの頻度
Relevance
● キーフレーズ k=(w1,w2,...,wN)
全ツイート中のwの頻度
トピックtのツイート中のwの頻度
疑問:PageRankを利用する場
合との本質的な違いは何か
Interestingness
● リツイートの割合を利用
● リツイートされてないツイートも考慮(add-one smoothing)
候補キーフレーズを含む
平均ツイート数
キーフレーズのスコアリング
● Liu et al.
● 提案
実験設定
● データ
○ 20週間のシンガポールのユーザのツイート
■ ストップワード、低頻度語、ツイート数の少ないユーザを除去
● トピック抽出
○ トピック数30でTwitter-LDA
○ 実験では、そのうち10のトピックを利用
評価実験
● 評価指標
○ MAP(mean average precision)
○ ランキング上位に適切なキーフレーズがあると高い
キーワードスコアリング キーフレーズスコアリング MAP
TPR (Liu et al.) キーワードスコア...
relevanceは有効?
キーワードスコアリング キーフレーズスコアリング MAP
TPR (Liu et al.) キーワードスコアの総和(Liu et al.) 0.5984
TPR (Liu et al.) キーワードスコアの積 0.6...
キーフレーズの取得例
Interestingnessの効果
● 固有名詞の取得数が増加
○ 固有名詞を含んだツイートのほうがリツイートされやすい
T5 (Movie-TV) T12 (News) T20 (Music) T25 (Sports)
Relevance ...
まとめ
● Tweetの要約のため、キーフレーズを取得
● グラフベースのキーフレーズ抽出
○ Context-sentive Topical PageRank
○ relevanceとinterestingnessを用いたスコアリング
コンテ...
Upcoming SlideShare
Loading in …5
×

Topical keyphrase extraction from twitter

1,061 views
938 views

Published on

社内輪読会で紹介した「Topical Keyphrase Extraction from Twitter」の資料

Published in: Technology
0 Comments
1 Like
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total views
1,061
On SlideShare
0
From Embeds
0
Number of Embeds
385
Actions
Shares
0
Downloads
8
Comments
0
Likes
1
Embeds 0
No embeds

No notes for slide

Topical keyphrase extraction from twitter

  1. 1. Topical Keyphrase Extraction from Twitter Wayne Xin Zhao, Jing Jiangm Jing He, Yang Song, Palakorn Achananuparp, Ee-Peng Lim, Xiaoming Li 2014/05/07 id:skozawa 論文輪読会
  2. 2. 概要 ● Tweetの要約 ○ キーフレーズは文書のトピックを要約に有用 ● Tweetからキーフレーズを抽出する最初の研究 ● トピックのキーフレーズ抽出 ○ Food: chicken rice, ice cream, fried chicken ○ Sports: manchester united, tiger woods, grand slam
  3. 3. 背景 ● ツイッターの2つの特徴 ○ 1) 短い、有用な情報を含んでいるとは限らない ○ 2) 多様性がある ● 従来手法は各文書からトピックのキーフレーズを抽出 ○ 1ツイートからのキーフレーズ抽出は意味がない ○ ツイート全体からではキーフレーズを正しく抽出できない ● トピックごとにキーフレーズを抽出
  4. 4. アプローチ ● グラフベースの教師なしキーフレーズ抽出 ○ Liu et al. (2010) がベース 1) トピックの抽出 2) キーフレーズの抽出 ● 提案点 ○ Context-sensitive Topical PageRank ○ relevance、interestingnessを考慮したスコアリング コンテキスト(トピック)を考慮することで キーフレーズ抽出の性能を向上
  5. 5. Automatic Keyphrase Extraction via Topic Decomposition, Liu et al. (2010) 1. LDAによるトピック抽出 2. Topical PageRankによるキーフレーズ抽出 Automatic Keyphrase Extraction via Topic Decomposition, Liu et al. (2010)
  6. 6. Automatic Keyphrase Extraction via Topic Decomposition, Liu et al. (2010) 1. LDAによるトピック抽出 2. Topical PageRankによるキーフレーズ抽出 Automatic Keyphrase Extraction via Topic Decomposition, Liu et al. (2010)
  7. 7. トピック rice bread chickenice eat TopicA TopicC game football match win arsenal hot rain air sun morning song bieber music video youtube TopicB TopicD iphone social twitter google media TopicE ● トピック=単語の集合
  8. 8. LDAによるトピック抽出 ● LDA (Latent Dirichlet Allocation) ● 文書集合からトピックを抽出 ○ トピック数Nは事前に与える ● トピックを抽出することにより、文書のトピックを推定も可能 Automatic Keyphrase Extraction via Topic Decomposition, Liu et al. (2010)
  9. 9. Automatic Keyphrase Extraction via Topic Decomposition, Liu et al. (2010) 1. LDAによるトピック抽出 2. Topical PageRankによるキーフレーズ抽出 Automatic Keyphrase Extraction via Topic Decomposition, Liu et al. (2010)
  10. 10. Topical PageRankによるキーフレーズ抽出 1. 単語グラフの生成 2. Topical PageRankによるスコア計算 3. スコアを用いたキーフレーズ抽出 4. 文書のキーフレーズ取得 Automatic Keyphrase Extraction via Topic Decomposition, Liu et al. (2010)
  11. 11. 単語グラフの生成 ● 文書中の単語の共起性を利用して構築 ○ ウィンドウ幅Wの共起数 ○ 有向、無向かは性能には影響しない We construct a word graph according to word co-occurrences within the given document. W=5の場合 We construct word graph co-ocurrences document Automatic Keyphrase Extraction via Topic Decomposition, Liu et al. (2010) 名詞と動詞のみで グラフを構築した場合
  12. 12. Topical PageRankによるスコア計算 ● PageRankに基づく Automatic Keyphrase Extraction via Topic Decomposition, Liu et al. (2010)
  13. 13. PageRank ● Webページの重要度を決定するアルゴリズム ○ 引用、被引用関係を利用 R(v): vのスコア e(vj, vi): vjからviへのエッジの重み O(vj): vjからの重みの総和 V: ノード数 λ: 制動係数 (0≦λ≦1)
  14. 14. PageRank ● Webページの重要度を決定するアルゴリズム ○ 引用、被引用関係を利用 R(v): vのスコア e(vj, vi): vjからviへのエッジの重み O(vj): vjからの重みの総和 V: ノード数 λ: 制動係数 (0≦λ≦1) λ=1 ID=1 ID=4 ID=5 ランダム
  15. 15. PageRank ● Webページの重要度を決定するアルゴリズム ○ 引用、被引用関係を利用 R(v): vのスコア e(vj, vi): vjからviへのエッジの重み O(vj): vjからの重みの総和 V: ノード数 λ: 制動係数 (0≦λ≦1) この計算を100回、もしくは、各ノードのスコ アの差分が0.001未満になるまで繰り返す
  16. 16. Topical PageRankによるキーワードスコアの計算 ● PageRank ● Topical PageRank Automatic Keyphrase Extraction via Topic Decomposition, Liu et al. (2010) トピックzを考慮(ランダムではなく、 トピックにバイアスをかける)
  17. 17. キーフレーズスコアの計算 ● Topical PageRankのスコアを利用 ○ キーフレーズの候補: (形容詞)* (名詞)+ ○ キーフレーズpのスコアは各キーワードの総和 Automatic Keyphrase Extraction via Topic Decomposition, Liu et al. (2010)
  18. 18. 文書のキーフレーズ抽出 ● 文書のキーフレーズ取得 ○ キーフレーズのスコアに 文書におけるトピックの割合をかける Automatic Keyphrase Extraction via Topic Decomposition, Liu et al. (2010)
  19. 19. Topical PageRankによるキーフレーズ抽出 1. 単語グラフの生成 2. Topical PageRankによるスコア計算 3. スコアを用いたキーフレーズ抽出 4. 文書のキーフレーズ取得 Automatic Keyphrase Extraction via Topic Decomposition, Liu et al. (2010)
  20. 20. Topical Keyphrase Extraction from Twitter 1. Twitter-LDA(Zhao et. al, 2011)によるトピック抽出 2. Topical PageRankによるキーフレーズ抽出 Context-sensitive Topical PageRank relevance and interestingness 1ツイート=1トピック なので不要
  21. 21. Context-sensitive Topical PageRank ● Topical PageRank ● Context-sensitive Topical PageRank エッジのスコア計算でトピックを考慮
  22. 22. Keyphrase ranking by relevance and interstingness ● Relevance ○ 良いキーフレーズはトピックに強く関連 ○ newsトピック: ○president obama, ×math class ● Interestingness ○ 良いキーフレーズはユーザの関心を惹く ○ musicトピック:justin bieber > song player Interestingness Relevance
  23. 23. Relevance ● キーフレーズ k=(w1,w2,...,wN) 全ツイート中のwの頻度 トピックtのツイート中のwの頻度
  24. 24. Relevance ● キーフレーズ k=(w1,w2,...,wN) 全ツイート中のwの頻度 トピックtのツイート中のwの頻度 疑問:PageRankを利用する場 合との本質的な違いは何か
  25. 25. Interestingness ● リツイートの割合を利用 ● リツイートされてないツイートも考慮(add-one smoothing) 候補キーフレーズを含む 平均ツイート数
  26. 26. キーフレーズのスコアリング ● Liu et al. ● 提案
  27. 27. 実験設定 ● データ ○ 20週間のシンガポールのユーザのツイート ■ ストップワード、低頻度語、ツイート数の少ないユーザを除去 ● トピック抽出 ○ トピック数30でTwitter-LDA ○ 実験では、そのうち10のトピックを利用
  28. 28. 評価実験 ● 評価指標 ○ MAP(mean average precision) ○ ランキング上位に適切なキーフレーズがあると高い キーワードスコアリング キーフレーズスコアリング MAP TPR (Liu et al.) キーワードスコアの総和(Liu et al.) 0.5984 CTPR (proposed) キーワードスコアの総和(Liu et al.) 0.6608 CTPR (proposed) relevance 0.6696 CTPR (proposed) relevance + interestingness 0.6694
  29. 29. relevanceは有効? キーワードスコアリング キーフレーズスコアリング MAP TPR (Liu et al.) キーワードスコアの総和(Liu et al.) 0.5984 TPR (Liu et al.) キーワードスコアの積 0.6379 CTPR (proposed) キーワードスコアの総和(Liu et al.) 0.6608 CTPR (proposed) キーワードスコアの積 0.6688 CTPR (proposed) relevance 0.6696 確率の積にしたのが有効であって、 relevanceの有効性はあまりない気もする
  30. 30. キーフレーズの取得例
  31. 31. Interestingnessの効果 ● 固有名詞の取得数が増加 ○ 固有名詞を含んだツイートのほうがリツイートされやすい T5 (Movie-TV) T12 (News) T20 (Music) T25 (Sports) Relevance 8 9 16 11 Relevance + Interestingness 10 12 17 14
  32. 32. まとめ ● Tweetの要約のため、キーフレーズを取得 ● グラフベースのキーフレーズ抽出 ○ Context-sentive Topical PageRank ○ relevanceとinterestingnessを用いたスコアリング コンテキストを考慮することにより キーワードスコアリングの性能向上 relevance, interestingnessを用いることにより キーフレーズスコアリングの性能向上 relevanceというよりは確率の積にしたことが有効そう

×