Recommended
More Related Content
More from siramatu-lab
More from siramatu-lab (17)
白松研卒論発表_渡辺
- 6. 自動生成の評価 6
Editor's Notes
- それでは，表記の題目で白松研の渡辺が発表致します．
- 近年，社会問題を解決しようとする市民活動で情報技術やWebを活用する機会が増えています． 本研究の大目標は地域の社会問題やその解決策を共有することです． 社会問題に関する背景を検索する際，社会問題に関するタグがあれば効率的に検索することが出来ます． しかし，従来はタグの付与が手動で行われていたり，選択できるタグの種類が少ないという問題がありました． 本研究では，タグの生成とタグの付与を自動化することでこれらの問題の解決を目指します．
- まず，タグセットの生成について説明します． 本研究ではタグの抽出元として日本語版DBpediaを選択しました． DBpediaはWikipediaから情報を抽出してリンクトオープンデータとして公開するプロジェクトです． 社会問題に関するタグを抽出するため，社会問題カテゴリおよびその下層カテゴリに属するページを取得，ページタイトルをタグ名として抽出しました． しかし，これらのタグ名の中には社会問題とは関係のないものまで含まれてしまいます． そこで，抽出したページの中で，他の特定のカテゴリページ及びその下層カテゴリにも属するページを抽出対象から外すことにしました．
- 本研究では2種類のフィルタを用意しました． フィルタAは，フィルタリングしていない状態で取得したタグのリストを観察した上で，社会問題と関係がないと判断できるタグに見られる共通点を元に設計したフィルタです． フィルタBは，フィルタAで利用したカテゴリの中で社会問題に関連するものまで多くフィルタリングしてしまっていた「生物学の分野」というカテゴリをフィルタリングに利用しないようにしたフィルタです．
- 自動生成の評価では再現率と適合率を計算しました． 再現率の計算についてです． 6人の被験者にWikipedia上のページから社会問題に関するページを102個選択していただきました． 利用するフィルタと社会問題カテゴリから辿った階層数別に，取得できたリスト中に102個のタグが含まれる割合を計算しました． 続いて，適合率についてです． こちらは各手法で取得したタグの中から100個を無作為に選択し，被験者に社会問題だと思うかを判定していただき，社会問題だと判断できるものの割合を計算いたしました．
- 評価結果です． フィルタの有無に関わらず，3階層になった時点で大きく適合率が落ちています． また，フィルタを用いない状態で5階層まで辿っても再現率が84.3%しかならず，社会問題カテゴリに直接属しているページのみを取得したことを示すフィルタ無し1階層の適合率が，そのわりにはかなり低いという結果を得ました． タグ生成にDBpediaのみを用いるという点に関しても再検討すべきだと考えます．
- 次に，タグの自動付与についてお話しします． 自動付与にはタグ候補と同名のタイトルを持つWikipediaの記事を用います． タグを付与する対象となる記事と，タグ候補と同名のWikipedia記事のCos類似度を計算し， 閾値以上の類似度となるタグを付与タグとします． Cos類似度を計算するためのベクトルを作成する上で，本研究ではTF-IDFとパラグラフベクターという二つの手法を用いました．
- 自動付与の評価では，相関係数と正解率を計算しました． 各手法で作成したタグ付与システムに対し，10個の記事を与えCos類似度を計算しました． 計算されたCos類似度が上位10個以内かつ一定の値以上となったもの，および無作為に選択した3つのタグを被験者に見せ，7段階で評価していただきました． その評価を元に，相関係数と正解率を計算しました．
- 評価結果です． TF-IDFの散布図と正解率はこのようになり，相関係数は0.732と強い相関を示しました． アンケート評価値が7となったタグ候補のシステム評価値が0.589から0.154の範囲で大きくばらけました． これは類義語を扱えないTF-IDFの特徴によるものだと考えます． 正解率は閾値を0.2に設定した時に最大値である0.812を示しました． 類似度0.2以上と判定されたタグはアンケートを取った全タグ候補85個中37個存在し，1つの記事に対して平均3.7個のタグが付与される結果になりました. これは半自動でタグ付与を支援するには十分実用的な値であると考えます．
- パラグラフベクターの散布図はこのようになり，相関係数は0.346と弱い相関を示しました． 本研究では評価基準となる Wikipediaの記事をタグの分である102個しか用いておりませんでした． 文書数が不足していたため精度が出なかったのではと考えております． また，パラグラフベクターアルゴリズムでは語順を考慮しているので，文体の違いが影響している可能性があります 正解率は0.35になるまで上がり続け，0.3では0.814，0.35では0.824となりました． ただし，全タグ候補102個のうち，類似度0.3以上では17個，類似度0.35以上では8個しか該当するタグが存在しません． そのため，8割以上の正解率となるこれらの閾値は実用上適していないと考えております．
- まとめです． タグの自動生成に関しては，十分な値を得ることができませんでした． サポートベクターマシンや，DBpedia以外のデータセットであるWordNetを利用することで再現率，適合率を向上させることを今後の研究の課題とします． タグの自動付与ではTF-IDFを用いることで半自動でタグの付与を支援するには十分な値を得ることができました． しかし，一般的により精度が高くなるパラグラフベクターを用いた手法で満足な結果を得ることができませんでした． Wikipedia記事以外の文書を入力として用いることや，他の手法との組み合わせにより，精度を高めていくことを今後の研究の課題とします． 以上で発表を終わります．