A User-Oriented Splog Filtering Based on Machine Learning○Tokyo Denki University : Takayuki YoshinakaUniversity of Tokyo : Tomohiro FukuharaTokyo Denki University : Hidetaka MasudaUniversity of Tokyo : Hiroshi Nakagawa

AgendaBack groundCollect data sets from usersFeatureExperiment of A User-Oriented Splog FilteringConclusion

Backgroundスパムブログ（Splog）の大量発生ブログはユーザの興味や嗜好により必要とする情報が異なる“Gray blogs”の出現ユーザごとに判断が異なる一概に判断がつけられないこのようなブログの特性とユーザの興味や嗜好に対応できる柔軟なフィルタが必要である“A User-Oriented Splog Filtering”

SplogAffiliate Typeブログ記事中に悪意のあるアフィリエイトリンクを埋め込んだ商用目的のブログ大量生成 Typeブログ記事を一度に大量に生成しばらまく「Copy and Paste Type」 and 「Word Salad」サイト誘導による商用目的Adult Typeアダルト情報を掲載したブログ

Affiliate Type5

Copy and Paste Type6

Word Salad Type7

“Gray” Blogsアフィリエイト付きブログ悪意のあるアフィリエイトではないレビューがしっかりしてるニュースサイトやBBSのコピーブログ最新ニュースや気になるジャンルのニュースをコピーしそのまま転載したブログあるBBSにおけるスレッドをブログサイトに転載日誌などのプライベートな記事も・・・（?）言わば、コピーによるまとめブログサイト

Blogger’s ReviewBlog+AffiliateAffiliate link

C&P from BBSContents of BBS

A User-Oriented Splog Filteringユーザからの直接の判定情報を収集特徴の選定従来のSplogフィルタリングで使用される特徴（Kolari特徴）我々が提案する特徴（軽量的数値特徴）SVMを用いて学習モデルの作成上記2つの収集したデータを用いて学習を行う

A User-Oriented Splog Filtering System (Over View)ServerClientCommonFilterA User-Oriented Splog FilterOffer by Service (Web App etc.)Collect DataEach user’s FilterWebFeedback from Users and Re-learningPart of FilterLearning ModuleFeature Selection

AgendaBack groundCollect data sets from usersFeatureExperiment of A User-Oriented Splog FilterConclusion

Collect data sets from usersユーザからの直接の判定情報を収集することでユーザ適応型Splogフィルタリングのデータとして利用する被験者50人を募り、50件のテストブログ記事に対して判定を行わせる 以下user’s attributestest blog articles について説明を行う

User’s attributeWorkAge取締役管理職Over 55 age21-24 age35-44 age販売、サービス職コンピュータ関連技術職30-34 age25-29 age事務職、事務専門職

Test blog articles2種類のテスト記事を用意40件の共通記事被験者間で全員が共通に判定を行うテスト記事10件の個別記事被験者ごとに個別に選択が行えるテスト記事14カテゴリから2カテゴリを選択し判定を行う

How to judge2次元4値の判定軸を採用情報価値の尺度[value]5. 有益でなかった4. どちらかと言えば有益でなかった1. スパムでない5. スパムスパム度[spam]4. どちらかと言えばスパム2. どちらかと言えばスパムでない2. どちらかと言えば有益だった1. 有益だった被験者の判定傾向を詳細に分析する17

Result

40件の共通記事における判定結果judge_countvaluespam

10件の共通記事における判定結果judge_countvaluespam

Back groundCollect data sets from usersFeatureExperiment of A User-Oriented Splog FilterConclusionAgenda

Feature2種類のFeatureを使用する従来のSplogフィルタリングで使用される特徴（Kolari特徴）我々が提案する特徴（軽量的数値特徴）狙いKolari特徴をユーザ適応型に適応した場合にどのような傾向を表すのかを調査する2種類の特徴を比較することで軽量的特徴の有効性を示唆したい

Kolari特徴Bag-of-words品詞に関係なく抽出した形態素群値にはTFIDFを用いるBag-of-anchors<A>タグに囲まれた部分のテキスト情報<a href=http://affiliate.com >この部分</a>値にはBinary(1 or 0)を用いるBag-of-urls全URL情報を「.(ドット)」「/(スラッシュ)」で分割したものhttp://www.cdl.im.dendai.ac.jp/yoshinaka⇒「cdl」「im」「dendai」「ac」「jp」「yoshinaka」（「http://」「www.」は除く）

Kolari特徴Bag-of-kolaris「bag-of-words」「bag-of-anchors」「bag-of-urls」を複合した特徴Number of Dimension

軽量的数値特徴我々が提案する特徴全12次元であり、かつ抽出が容易に行えるKolari特徴同様全ての特徴はブログのHTMLデータから抽出が可能

軽量的数値特徴

複合特徴Kolari特徴と軽量的特徴を複合した特徴複合特徴=「bag-of-kolari」+「軽量的数値特徴」次元数16,119 + 12 = 16, 131つまり全部で「bag-of-words」「bag-of-anchors」「bag-of-urls」「bag-of-kolaris」「軽量的数値特徴」「複合特徴」6パターンの特徴を使用

AgendaBack groundCollect data sets from usersFeatureExperiment of A User-Oriented Splog FilteringConclusion

Experiment学習ツールLibSVMを用い、5分割交差検定により評価を行うカーネルは「Linear kernel」「Polynomial kernel(3D)」「RBF kernel」「Sigmoid kernel」にて行うオプションは全てデフォルト値を用いる評価の値には学習結果のSplogにおけるF値を用いる6パターン全ての特徴において各被験者ごとに学習を行い評価する

Result

Bag-of-wordsにおける学習結果Splog’s F-measureUser’s ID

Bag-of-anchorsにおける学習結果Splog’s F-measureUser’s ID

Bag-of-urlsにおける学習結果Splog’s F-measureUser’s ID

Bag-of-kolarisにおける学習結果Splog’s F-measureUser’s ID

軽量的数値特徴における学習結果Splog’s F-measureUser’s ID

複合特徴における学習結果Splog’s F-measureUser’s ID

考察若干ではあるが「bag-of-urls」の精度が良かったが、全体として見ればあまり特徴の変化に差は生じなかったカーネルの変化によりSplogF値が大きく変化する被験者が多くみられた「bag-of-kolaris」と「複合特徴」の結果はほぼ同様であったユーザ適応では軽量的数値特徴でも効果ありユーザごとには最適なカーネルが存在する複合特徴においては軽量的数値特徴の影響がない

考察特徴の変化によっても被験者ごとにSplogF値が変化しているユーザごとに最適な特徴が存在するそこで各被験者ごとの「最適なカーネル」における「最適な特徴」を算出する

最適特徴の算出「最適なカーネル」と「最適な特徴」を各被験者ごとに算出するSplogF値を元に算出するもし、SplogF値が同一の場合下記のランク表を元に特徴抽出コストが掛らない特徴を優先するランク表

Result

「最適カーネル」と「最適特徴」の出現回数PairFeaturekernel

「最適カーネル」と「最適特徴」における各被験者ごとのSplogF値0.316Splog’s F-measureUser’s ID

Conclusionユーザからの直接の判定情報を収集しユーザ適応型Splogフィルタリングの作成した2つの特徴「Kolari特徴」「軽量的数値特徴」を使用しユーザ適応型に適応することで、軽量的特徴の有効性を述べた各ユーザには「最適なカーネル」による「最適な特徴」を提供することが有効であると述べた

Feature Work規模の拡大判定情報データセットの拡大大規模なテストデータを作成してのユーザ適応型フィルタの評価特徴選定軽量的数値特徴の拡充