Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

トピックモデルの評価指標 Coherence 研究まとめ #トピ本

8,420 views

Published on

トピックモデルの評価指標 Coherence 研究まとめ

Published in: Data & Analytics
  • My personal experience with research paper writing services was highly positive. I sent a request to ⇒ www.HelpWriting.net ⇐ and found a writer within a few minutes. Because I had to move house and I literally didn’t have any time to sit on a computer for many hours every evening. Thankfully, the writer I chose followed my instructions to the letter. I know we can all write essays ourselves. For those in the same situation I was in, I recommend ⇒ www.HelpWriting.net ⇐.
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here
  • Hi there! I just wanted to share a list of sites that helped me a lot during my studies: .................................................................................................................................... www.EssayWrite.best - Write an essay .................................................................................................................................... www.LitReview.xyz - Summary of books .................................................................................................................................... www.Coursework.best - Online coursework .................................................................................................................................... www.Dissertations.me - proquest dissertations .................................................................................................................................... www.ReMovie.club - Movies reviews .................................................................................................................................... www.WebSlides.vip - Best powerpoint presentations .................................................................................................................................... www.WritePaper.info - Write a research paper .................................................................................................................................... www.EddyHelp.com - Homework help online .................................................................................................................................... www.MyResumeHelp.net - Professional resume writing service .................................................................................................................................. www.HelpWriting.net - Help with writing any papers ......................................................................................................................................... Save so as not to lose
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here
  • Follow the link, new dating source: ❤❤❤ http://bit.ly/39pMlLF ❤❤❤
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here
  • Sex in your area is here: ❤❤❤ http://bit.ly/39pMlLF ❤❤❤
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here
  • DOWNLOAD THAT BOOKS/FILE INTO AVAILABLE FORMAT - (Unlimited) ......................................................................................................................... ......................................................................................................................... Download FULL PDF EBOOK here { http://bit.ly/2m6jJ5M } ......................................................................................................................... .............. Browse by Genre Available eBooks ......................................................................................................................... accessibility Books Library allowing access to top content, including thousands of title from favorite author, plus the ability to read or download a huge selection of books for your pc or smartphone within minutes Christian, Classics, Comics, Contemporary, Cookbooks, Art, Biography, Business, Chick Lit, Children's, Manga, Memoir, Music, Science, Science Fiction, Self Help, History, Horror, Humor And Comedy, Suspense, Spirituality, Sports, Thriller, Travel, Young Adult, Crime, Ebooks, Fantasy, Fiction, Graphic Novels, Historical Fiction, Mystery, Non Fiction, Paranormal, Philosophy, Poetry, Psychology, Religion, Romance,
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here

トピックモデルの評価指標 Coherence 研究まとめ #トピ本

  1. 1. 【論論⽂文紹介】   トピックモデルの評価指標 Coherence  研究まとめ 2016/01/28 牧⼭山幸史 1
  2. 2. 発表の流流れ 1.  研究背景、基礎知識識 2.  既存研究の紹介(5つ) 3.  まとめ 2
  3. 3. 1.  研究背景、基礎知識識 •  トピックモデルの評価指標として Perplexity  と  Coherence  の 2 つが広く 使われている。 •  Perplexity:予測性能 •  Coherence:トピックの品質 •  確率率率モデルにおける Perplexity の定義は 明確だが  Coherence はどう定義するか? 3
  4. 4. Coherence とは •  和英辞典によると: ⾸首尾⼀一貫性 •  対義語:incoherence ⽀支離離滅裂裂 http://ejje.weblio.jp/content/coherence http://ejje.weblio.jp/content/incoherence4 ⾼高 Coherence 低 Coherence
  5. 5. Coherence とは •  抽出されたトピックが⼈人間にとって解釈 しやすいかどうかを表す指標 •  トピックを表す単語集合を考える { farmers, farm, food, rice, agriculture } { stories, undated, receive, scheduled } •  前者は  Coherence が⾼高い。後者は低い。 5
  6. 6. Coherence  研究 •  Coherence  の定義は明確ではない •  Coherence が⾼高いかどうかは⼈人間により 判断可能 •  Chang(2009)  ⼈人間による評価法を提案 •  Newman(2010) ⾃自動評価法を提案 •  その後、様々な⾃自動評価法が提案される 6
  7. 7. 発表の流流れ 1.  研究背景、基礎知識識 2.  既存研究の紹介(5つ) 3.  まとめ 7
  8. 8. 2.  既存研究の紹介 ① Chang (2009) ② Newman (2010) ③ Mimno (2011) ④ Aletras (2013) ⑤ Lau (2014) 8
  9. 9. ① Chang (2009) •  “Reading Tea Leaves: How Humans Interpret Topic Models” 紅茶茶占い:⼈人間はどうやってトピックモデルを解釈 するか •  トピックモデルの評価指標として   Coherence を提案した最初の論論⽂文 •  Word Intrusion(単語の押しつけ)という⽅方法 でトピックの  Coherence を⼈人間に評価させ る 9
  10. 10. ① Chang (2009) <研究背景> •  トピックモデルの評価指標として、 Perplexity  が広く使われている •  抽出されたトピックが解釈できないのは困る •  トピックの品質に関する指標が必要 •  ⼈人間の解釈可能性(Human-Interpretability) として  Coherence  を提案 10
  11. 11. Word Intrusion(単語の押しつけ) •  トピックの単語群の中に、⼀一つだけ別の 単語を混ぜて、⼈人間に⾒見見つけさせる •  仲間はずれはどれか?: {  dog, cat, horse, apple, pig, cow } {  car, teacher, platypus, agile, blue, Zaire } •  前者は Coherence が⾼高い。後者は低い。 •  複数⼈人に作業させ、発⾒見見成功率率率を算出 11
  12. 12. ① Chan (2009) •  CTM, LDA, pLSI  の  3つのトピックモデル に対して、発⾒見見成功率率率(Coherence)を測定 •  結果は次ページ •  CTM は Perplexity は良良いが(上表太字)、 Coherence が低い(下図⾚赤)という結果に CTM: Correlated Topic Model LDA: Latent Dirichlet Allocation pLSI: Probabilistic Latent Semantic Indexing 12
  13. 13. 13
  14. 14. ① Chang (2009)  まとめ •  Coherence  を定義した最初の論論⽂文 •  Word Intrusion  によって⼈人間に評価させ る •  Perplexity が良良いモデルでも  Coherence   が良良いとは限らない 14
  15. 15. 2.  既存研究の紹介 ① Chang (2009) ② Newman (2010) ③ Mimno (2011) ④ Aletras (2013) ⑤ Lau (2014) 15
  16. 16. ② Newman (2010) •  “Automatic Evaluation of Topic Coherence” トピックコヒーレンスの⾃自動評価 •  ①Chang(2009) では、⼈人間による Coherence の評価を⾏行行った •  この論論⽂文では、⼈人間を介さない Coherence の算出⽅方法を提案する http://www.aclweb.org/anthology/N10-101216
  17. 17. ② Newman (2010) <基本アイデア> •  Coherence  は単語間の類似度度に依存する { farmers, farm, food, rice, agriculture } { stories, undated, receive, scheduled } •  単語間類似度度をうまく定義できれば、   ⼈人⼿手を使わずに  Coherence  を算出できる 17
  18. 18. ② Newman (2010) •  トピックを代表する単語集合 w に対して、 単語間類似度度  D(wi, wj) の平均値もしくは 中央値を  Coherence とする •  ⼈人間による  Coherence  評価と同じような 結果になる単語間類似度度  D(wi, wj) を探す 18
  19. 19. ② Newman (2010) •  ⼈人間による Coherence の評価⽅方法は、 ①Chang(2009) と異異なり、直接的な⽅方法 •  トピックの単語集合を⾒見見せ、それらの単 語間の関連性を  3 段階評価させる 「良良い」「中間」「悪い」 •  ⼈人間による評価と単語類似度度による評価 のスピアマン相関を⾒見見る Gold-standard:  アノテータ間の相関 19
  20. 20. Downloaded BOOKS(12,000) from the Internet Archive 20
  21. 21. NEWS articles(55,000) from English Gigaword 21
  22. 22. ② Newman (2010) •  参照コーパスとして  Wikipedia、単語間 類似度度として PMI (⾃自⼰己相互情報量量)  を   使った場合が、⼈人間による評価と相関が 最も⾼高い ※ 10 words sliding window 22
  23. 23. (余談)Google-based similarity •  Google  検索索に基づく単語集合類似度度 •  単語集合 w の全ての単語を繋げたクエリ を作る +space +earth +moon +science +scientist •  このクエリを投げたとき、検索索結果の上 位 100 件のタイトル部分に w 内の単語が 出現する数をカウントする •  これを単語集合の類似度度とする 23
  24. 24. ② Newman (2010)  まとめ •  Coherence  を⼈人⼿手を使わずに算出する⽅方 法を提⽰示した •  この⼿手法は、UCI Coherence  と呼ばれ、 広く使われている 24
  25. 25. 2.  既存研究の紹介 ① Chang (2009) ② Newman (2010) ③ Mimno (2011) ④ Aletras (2013) ⑤ Lau (2014) 25
  26. 26. ③ Mimno (2011) •  “Optimizing Semantic Coherence in Topic Models” トピックモデルの意味的コヒーレンスの最適化 •  ②Newman(2010)では、参照コーパス (Wikipedia)を⽤用意する必要があった •  本論論⽂文では、学習コーパスのみを⽤用いた Coherence の算出⽅方法を提案する 26
  27. 27. ③ Mimno (2011) •  Framework  は②Newman(2010)と同じ •  単語間類似度度として、対数条件付き確率率率 •  学習コーパスを⽤用いる D(v):  単語出現⽂文書数  D(v1,v2): 単語共起⽂文書数 27
  28. 28. ③ Mimno (2011) •  ⼈人間による3段階評価との関係を⾒見見る •  ベースラインとして、そのトピックに割 り当てられたトークン数(ギブスサンプリ ングにより推定)と⽐比較 •  ⼈人間による評価に近い結果が得られた (※②Newmanとの⽐比較は⾏行行われていない) 28
  29. 29. 29
  30. 30. ③ Mimno (2011) •  (good) v.s. (bad + intermediate) •  ROC 曲線の AUC – トークン数: 0.79 – Coherence:0.87 •  ロジスティック回帰の AIC – トークン数: 152.5 – Coherence:113.8 – 両⽅方: 115.8 30
  31. 31. (余談) Word Intrusion の問題点 •  この論論⽂文では ①Chang が提案した Word Intrusion  の問題点が指摘されている •  トピックの単語が Chain している場合、 仲間はずれを⾒見見つけやすい { apple, apple-pie, meat-pie, meat, crab-meat, crab } •  しかしこのトピックの  Coherence は低い 31
  32. 32. ③ Mimno (2011)  まとめ •  参照コーパスを使わず、学習コーパスの みで  Coherence  を算出する⽅方法を⽰示した •  UMass Coherence  と呼ばれる •  genism に実装されている •  新語、専⾨門⽤用語に強いと思われる(予想) •  (本論論⽂文では、この評価指標を最適にする新しい トピックモデルも提案。関係ないので割愛) 32
  33. 33. 2.  既存研究の紹介 ① Chang (2009) ② Newman (2010) ③ Mimno (2011) ④ Aletras (2013) ⑤ Lau (2014) 33
  34. 34. ④ Aletras (2013) •  “Evaluating Topic Coherence Using Distributional Semantics” 統計的意味論論を使ったトピックコヒーレンスの 評価 •  統計的意味論論における単語間類似度度を   Coherence  の⾃自動算出に使ってみた 34
  35. 35. ④ Aletras (2013) •  Framework  は②Newman(2010)と同じ •  単語間類似度度の算出に  PMI  でなく、意味 空間(Semantic Space)上の類似度度を使う – コサイン類似度度、Dice係数、Jaccard係数 •  意味空間の作成に  Wikipedia を使う 35
  36. 36. 意味空間(Semantic Space) •  単語を共起情報を⽤用いてベクトル化 – ⽂文脈ベクトルと呼ぶ •  よく似た共起分布を持つ単語はよく似た 意味を持つ単語である 36
  37. 37. 意味空間(Semantic Space) http://www.slideshare.net/unnonouno/20140206-statistical-semantics 37
  38. 38. ④ Aletras (2013) •  意味空間を作るための単語の共起情報 •  PMI (⾃自⼰己相互情報量量) •  NMPI (Normalized PMI) (Bouma2009) ※それぞれ⼆二乗値を⽤用いる 38
  39. 39. ④ Aletras (2013) •  全ての単語では意味空間の次元が⼤大きい •  Reduced Semantic Space (Islam2006) – 各単語 wi に対して、トップ βwi 個だけ使⽤用 •  Topic Word Space – トピックに現れる単語のみを使⽤用 m: コーパスサイズ、σ: 補正変数(今回は3に固定) 39
  40. 40. ④ Aletras (2013) •  ⽂文脈ベクトル間の類似度度  3 つ •  コサイン類似度度 •  Dice  係数 •  Jaccard 係数 http://sucrose.hatenablog.com/entry/2012/11/30/132803 40
  41. 41. ④ Aletras (2013) •  ⽂文脈ベクトル集合の類似度度  1  つ •  トピックの全単語の⽂文脈ベクトルの重⼼心 (Centroid)を  Tc とするとき、重⼼心からの コサイン類似度度の平均値 41
  42. 42. ④ Aletras (2013) •  2 × 2 × (3+1) = 16 パターンについて、⼈人 間による評価とのスピアマン相関を⾒見見る •  ⼈人間による評価は  3 段階評価 •  学習コーパス 3 つを  LDA で学習 – NYT: New York Times articles(47,229) – 20NG: News Group emails(20,000) – Genomics: MEDLINE articles(30,000) MEDLINE:  医学論論⽂文データベース 42
  43. 43. ④ Aletras (2013) •  既存研究で良良いものをベースラインとする Average NPMI  が最も良良い Newman の PMI を NPMI に変えたもの 43
  44. 44. Reduced Semantic Space は既存研究より悪い 44
  45. 45. Topic Word Space は 既存研究より良良い 類似度度はコサイン類似度度が 総合的に良良い 45
  46. 46. ④ Aletras (2013)  まとめ •  意味的な類似度度を⽤用いた  Coherence  評価 •  Topic Word Space でコサイン類似度度を使 うと既存研究より良良くなった •  統計的意味論論によるアプローチの有効性 を⽰示した •  NPMI はコサイン類似度度以外でもいい値を 出しているので意味論論的アプローチに向 いている 46
  47. 47. 2.  既存研究の紹介 ① Chang (2009) ② Newman (2010) ③ Mimno (2011) ④ Aletras (2013) ⑤ Lau (2014) 47
  48. 48. ⑤ Lau(2014) •  “Machine Reading Tea Leaves: Automatically Evaluation Topic Coherence and Topic Model Quality” 機械で紅茶茶占い:トピックコヒーレンスと    ト ピックモデル品質の⾃自動評価 •  Coherence を算出する様々な⼿手法が提案さ れているが、どれが良良いか分からない •  これらの⼿手法を俯瞰的に⽐比較し、どれが良良い かを評価する http://www.aclweb.org/anthology/E14-1056 48
  49. 49. 既存研究まとめ モデル ⼈人間評価 類似度度 ⽐比較 ①Chang pLSI LDA CTM Word Intrusion ②Newman LDA 3段階 PMI なし ③Mimno LDA 3段階 LCP なし ④Aletras LDA 3段階 DS ②③ 49 LCP: Log Conditional Probability DS: Distributed Semantics
  50. 50. 既存研究の問題点 •  ①Chang(2009)  と誰も⽐比較していない ⇨ Word Intrusion  の⾃自動化 •  トピックモデルの評価指標のはずが LDA だけで評価 ⇨ pLSI, LDA, CTM の  3つ •  参照コーパスとして  Wikipedia  のみ ⇨ Wikipedia, New York Times の  2つ 50
  51. 51. 既存研究の問題点 •  モデルレベルで⾒見見た場合の  Coherence  と トピックレベルで⾒見見た場合の Coherence を分けて考えてない ⇨  分けて調査 51
  52. 52. モデルレベル Coherence •  モデルに対する Coherence はトピックに 対する Coherence の平均値とする •  pLSI, LDA, CTM のそれぞれをトピック数   50, 100, 150 で作成(合計  9 つ) •  9 つのモデルを⼈人間による評価と⽐比較 •  ピアソン相関 (relative difference) 52
  53. 53. モデルレベル Coherence •  ⼈人間による評価: – Word Intrusion(WI) – Observed Coherence(OC) : 3段階評価 •  この論論⽂文では、WI の⾃自動評価法を提案 •  OC については既存⼿手法を⽐比較 •  WI v.s. OC の⽐比較も⾏行行う 53
  54. 54. 学習データと参照コーパス •  学習データ: – WIKI: Wikipedia(10,000) – NEWS: New York Times(8,447) •  参照コーパス: – WIKI-FULL: Wikipedia(3,300,000) – NEWS-FULL: New York Times(1,200,000) 54
  55. 55. Word Intrusion の⾃自動化 <基本アイデア> •  Lau(2010) では、トピックの単語集合から 「最も良良くトピックを表す単語」を⾒見見つ ける⽅方法を⽰示した •  Word Intrusion は「トピックを表す単語 として最も悪いもの」を⾒見見つける作業で ある Lau(2010) Best Topic Word Selection for Topic Labelling 55
  56. 56. Word Intrusion の⾃自動化 •  Intruder word を含む単語の集合について SVM-rank で順位を学習 •  特徴量量 3 つ 56
  57. 57. モデルレベル(WI) •  PMI が良良い (※NPMI  は  特徴量量の PMI を NPMI に変たもの) •  参照コーパスは同じドメインが良良い 57
  58. 58. モデルレベル(OC) •  単語間類似度度として 4 つ •  PMI (②Newman) •  NPMI (Newman改) •  LCP (③Mimno) – ただし、参照コーパスを使⽤用 •  DS (④Aletras) – 意味空間上のコサイン類似度度 – Topic Word Space, PMI, Wikipedia 58
  59. 59. モデルレベル(OC) •  総合的には  NPMI  が良良い •  WIKI  に対しては LCP がベスト 59
  60. 60. モデルレベル(WI v.s. OC) •  WI-Human  と  OC-Human  は強い相関 ⇨ 2つのアプローチはほぼ同じとみなして良良い •  PMI 以外は WI とも相関が⾼高い •  参照コーパスは同じドメインが良良い 60
  61. 61. モデルレベル  まとめ •  WI と OC はほぼ同じとみなしてよい •  以下の⼿手法のどれも良良い – WI-Auto-PMI (WI でトップ) – OC-Auto-NPMI (OC でトップ) – OC-Auto-LCP (WIKI  でトップ) •  参照コーパスはドメインを同じにした⽅方 が良良い 61
  62. 62. トピックレベル Coherence •  9 つのモデルの 900 トピックに対して   モデルレベルと同様に⽐比較 •  モデルレベルに⽐比べて⾮非常に低い相関 •  本質的な難しさがある •  Human Agreement: 評価者を2グループ に分けて、その相関を算出 62
  63. 63. トピックレベル(WI) •  ⾮非常に低い 63
  64. 64. トピックレベル(OC) •  Human Agreement に勝利利 ⇨  ⼈人間と同レベルの評価が可能 •  OC-NPMI と  OC-DS が良良い 64
  65. 65. トピックレベル(WI v.s. OC) •  WI-Human と OC-Human の相関は低い •  WI-Human  に対して最も良良いのは OC-DS だが、Human Agreement より低い 65
  66. 66. (余談) WI の問題点 (太字:Intruder Word  四⾓角:⼈人間が選んだ単語) 1 & 2 ← 最初から仲間はずれが⼀一つある 3 & 4 ← 偶然関係のある単語が Intrude された 5 & 6 ← Intruder Word が浮いている 66 OC-Human*  および  WI-Human*  は  [0,1]  に正規化されている
  67. 67. ⑤ Lau(2014)  まとめ •  Coherence の⾃自動評価について、これま でに提案された様々な⼿手法を⽐比較した。 •  モデルレベルでは、WI  と OC に違いはな く、既存の OC-NPMI, OC-LCP および 我々の提案する  WI-PMI が良良い。 •  トピックレベルでは、WI  と OC には差が あり、OC に対しては OC-NPMI と OC- DS が⼈人間と同じレベルで評価可能。 67
  68. 68. 発表の流流れ 1.  研究背景、基礎知識識 2.  既存研究の紹介(5つ) 3.  まとめ 68
  69. 69. まとめ 69

×