Recommended
More Related Content
Viewers also liked
Similar to ウェブ検索者の情報要求観点の集約と俯瞰に関する研究
Similar to ウェブ検索者の情報要求観点の集約と俯瞰に関する研究 (20)
More from utsuro_lab
More from utsuro_lab (20)
Recently uploaded
Recently uploaded (10)
ウェブ検索者の情報要求観点の集約と俯瞰に関する研究
- 1. 研究紹介スライド 筑波大学 システム情報系 知能機能工学域 自然言語処理研究室 （宇津呂研究室） ウェブ検索者の情報要求観点の 集約と俯瞰に関する研究 1
- 2. 研究の背景 ウェブ検索者 K さん 検 索 対 象 に 対 し て 、 幅 広 い 観 点 、 話 題 の 分 布 を 持 つ 有 用 な 情 報 を 収 集 す る ど の よ う に 情 報 を 収 集 す る の か 2
- 4. 研究の背景 ①執筆者に着⽬する コーラ ウェブ検索者 K さん 検索対象 ウェブ空間 • 膨⼤な量のウェブページを処理 しなければならない • 関連が薄いような、ウェブページ も収集される コーラに関連するウェブページ 4
- 6. 研究の背景 ②検索者に着⽬する 「コーラ 掃除」 「コーラ 都市伝説」 「コーラ 薬」 「コーラ 腹痛」 「コーラ レシピ オークション」 「コーラ 工場見学」 「コーラ メントス」 「コーラ 風邪」「コーラ 髪 染め」 他のウェブ検索者の関⼼事項に 着⽬することで、幅広い話題の 分布を持つ、有⽤な情報を収集する ウェブ検索者 K さん 6
- 7. 研究の背景 ②検索者に着⽬する 「コーラ 掃除」 「コーラ 都市伝説」 「コーラ 薬」 「コーラ 腹痛」 「コーラ レシピ オークション」 「コーラ 工場見学」 「コーラ メントス」 「コーラ 風邪」「コーラ 髪 染め」 他のウェブ検索者の関⼼事項に 着⽬することで、幅広い話題の 分布を持つ、有⽤な情報を収集する ウェブ検索者 K さん 他のウェブ検索者の関⼼事項を 収集するための⽅法は 7
- 10. 「コーラ 掃除」 「コーラ 都市伝説」 「コーラ 癌」 「コーラ 薬」 「コーラ スポーツ」 「コーラ 腹痛」「コーラ レシピ オークション」 「コーラ 依存症」 「コーラ 工場見学」 「コーラ メントス」 サジェストの作られ⽅ 「コーラ 風邪」 「コーラ 髪 染め」 サジェストは⽇本中のウェブ検索者の 検索履歴から作られています。 サジェストは⽇本中のウェブ検索者の 検索履歴から作られています。 10
- 11. 「コーラ 掃除」 「コーラ 都市伝説」 「コーラ 癌」 「コーラ 薬」 「コーラ スポーツ」 「コーラ 腹痛」「コーラ レシピ オークション」 「コーラ 依存症」 「コーラ 工場見学」 「コーラ メントス」 サジェストの作られ⽅ 「コーラ 風邪」 「コーラ 髪 染め」 つまり、ウェブ検索者の関心事項の集合 サジェストは⽇本中のウェブ検索者の 検索履歴から作られています。 サジェストは⽇本中のウェブ検索者の 検索履歴から作られています。 11
- 12. 研究の背景 「コーラ 掃除」 「コーラ 都市伝説」 「コーラ 薬」 「コーラ 腹痛」 「コーラ レシピ オークション」 「コーラ 工場見学」 「コーラ メントス」 「コーラ 風邪」「コーラ 髪 染め」 サジェストを提示することで 多様な話題の情報を 収集することができる ウェブ検索者 K さん 12
- 13. 研究の背景 「コーラ 掃除」 「コーラ 都市伝説」 「コーラ 薬」 「コーラ 腹痛」 「コーラ レシピ オークション」 「コーラ 工場見学」 「コーラ メントス」 「コーラ 風邪」「コーラ 髪 染め」 しかし、 サジェストと同等の情報が既にあるのでは ウェブ検索者 K さん サジェストを提示することで 多様な話題の情報を 収集することができる 13
- 14. Wikipediaの段落タイトルとの比較 検索対象「コーラ」 1 コーラの成分 2 コーラ文化 3 コーラの薬効成分 4 コーラ飲料史 5 コーラの種類 5.1 アルコール飲料 5.2 関係飲料 6 その他 6.1 健康上の課題 6.2 コーラ会社の規定に 関する裁判 ・「コーラ 脱⾊」 コーラに限らず、炭酸で脱⾊します。霧吹き に⼊れて髪全体を濡らし、15分位したら… http://detail.chiebukuro.yahoo.co.jp/... ・「コーラ ⼯場⾒学」 親しみ度抜群のコカコーラの⼯場は存分に 楽しめる⼤⼈気⼯場⾒学スポットです http://koujyou-kengauku.com/chiiki/... ・「コーラ 掃除」 トイレのしつこい汚れや、排⽔⼝の 詰まりに、コーラが効くというのだ http://soldbought111.blog.fc2.com/... Wikipediaの 段落タイトルより抜粋 サジェストを用いた ウェブ検索 「脱色」、「掃除」といった 一風変わった使用法や、 「工場見学」のような世間であまり 知られていない有用な情報も存在する 成分や種類といった「コーラ」に 関する学問的・社会的観点からの 項目が多い 14
- 15. Wikipediaの段落タイトルとの比較 検索対象「就活」 1 公務員への就職 2 民間企業への就職 2.1 中等教育機関の学生の 就職活動 2.2 高等教育機関・専門学校 各種学校の学生の就職活動 3 就活ぶっこわせデモ 4 就職活動の都市伝説 5 日本国外の就職活動 6 資料 7 就職活動を描いた作品 ・「就活 ⾃⼰分析」 「⾃分史を字数制限を設けずに書く」のは、 中でも有効な⽅法の⼀つ http://bylines.news.yahoo.co.jp/... ・「就活 業界研究」 就活で⾃分に合った会社を⾒つけるには、 仕事をイメージではなく、実際の業務内容... https://job.nikkei.co.jp/... ・「就活 髪型」 就活の⾝だしなみで⼤事なことは何より も「清潔感」 http://www.s-shiori.com/con2/... サジェストを用いた ウェブ検索 「就活」を今から始める人にとって、 有用性が高く、嬉しい情報 社会現象や歴史など「就活」に関する 社会学的観点からの項目が多い Wikipediaの 段落タイトルより抜粋 15
- 16. Wikipediaの段落タイトルとの比較 検索対象「猫」 1 起源 2 身体的特徴 2.1 年齢と寿命 2.2 体格 3 繁殖 4 食生 4.1 猫に与えてはいけない食べ物 5 自然生態系への影響 6 病気 7 習性 8 猫をとりまく社会 ・「猫 ⾃動給餌器」 ⾃動給餌器 ペット 餌 ⾃動 オートペットフィーダー 6⾷トレイ ディッシュタイプ お留守番でも安⼼♪ http://search.rakuten.co.jp/search/... ・「猫 洗濯ネット」 洗濯ネットに猫を⼊れる⽅法は猫の動きが 制限できるので、病院スタッフにとって 安全性が⾼いです。 http://catman.moo.jp/... ・「猫 超⾳波」 超⾳波でネコが来たら追い払えるマシンを 買った。効果は絶⼤で、… http://blog.livedoor.jp/... サジェストを用いた ウェブ検索 「猫」という生き物の身体的特徴や 習性など生物学的観点 からの項目が多い Wikipediaの 段落タイトルより抜粋 「超音波」といった「猫」とは普通、 結びつかないような言葉や、 「洗濯ネット」、「自動給餌器」のような世間で あまり知られていない情報も存在する 16
- 17. Wikipediaの段落タイトルとの比較 検索対象「猫」 1 起源 2 身体的特徴 2.1 年齢と寿命 2.2 体格 3 繁殖 4 食生 4.1 猫に与えてはいけない食べ物 5 自然生態系への影響 6 病気 7 習性 8 猫をとりまく社会 ・「猫 ⾃動給餌器」 ⾃動給餌器 ペット 餌 ⾃動 オートペットフィーダー 6⾷トレイ ディッシュタイプ お留守番でも安⼼♪ http://search.rakuten.co.jp/search/... ・「猫 洗濯ネット」 洗濯ネットに猫を⼊れる⽅法は猫の動きが 制限できるので、病院スタッフにとって 安全性が⾼いです。 http://catman.moo.jp/... ・「猫 超⾳波」 超⾳波でネコが来たら追い払えるマシンを 買った。効果は絶⼤で、… http://blog.livedoor.jp/... サジェストを用いた ウェブ検索 「猫」という生き物の身体的特徴や 習性など生物学的観点 からの項目が多い Wikipediaの 段落タイトルより抜粋 「超音波」といった「猫」とは普通、 結びつかないような言葉や、 「洗濯ネット」、「自動給餌器」のような世間で あまり知られていない情報も存在する Wikipediaでは得ることのできない ウェブ検索者の関心事項 が得られる 17
- 18. サジェストの収集⽅法 18
- 19. 「コーラ い」 「コーラ お」 「コーラ わ」 「コーラ う」 「コーラ あ」 「コーラ え」 「コーラ を」 「コーラ ん」 「コーラ きゃ」 「コーラ びゃ」 「コーラ」についてのサジェストを集めてみよう 19
- 20. 「コーラ い」 「コーラ お」 「コーラ わ」 「コーラ う」 「コーラ あ」 「コーラ え」 「コーラ を」 「コーラ ん」 「コーラ きゃ」 「コーラ びゃ」 「コーラ」についてのサジェストを集めてみよう 20
- 21. サジェストの収集⽅法 「コーラ い」 「コーラ お」 「コーラ わ」 「コーラ う」 「コーラ あ」 「コーラ え」 「コーラ を」 「コーラ ん」 「コーラ きゃ」 「コーラ びゃ」 サジェストを約1,000個収集することができる 21
- 22. サジェストの収集⽅法 「コーラ い」 「コーラ お」 「コーラ わ」 「コーラ う」 「コーラ あ」 「コーラ え」 「コーラ を」 「コーラ ん」 「コーラ きゃ」 「コーラ びゃ」 サジェストを約1,000個収集することができる ただし、1,000個のサジェストを すべて見ることは困難 22
- 23. 内定 面接 就職 ペプシ cm 音楽 一覧 曲 コード 音楽関連 製造法 作り方ラムネ 実験 フリスク メントス 爆発させる 財団 合併 会社そのものに関して 原材料 材料 実 ブリーチ 本社 髪染め 脱色 中毒性 悪影響 老化 寿命 健康有害 レシピ CM 製造方法 ⽇本中から収集した1,000個のサジェストを 100個のまとまりに集約 影響 フリスク 有害 内定 寿命 ラムネ 実験 メントス 原材料 健康 ブリーチ レシピ 実曲 コード 本社 「コーラ」の サジェストを集約、俯瞰 ⼈⼿によるサジェストの集約結果 検索対象「コーラ」 23
- 24. 適性診断 図形テスト 試験 あいさつ ノック 入室 選考辞退 脱いだコート 就活のマナー バイト 授業 塾講師 両立チャレンジしたこと 自己pr ゼミ名 エントリーシート お祈り 連絡が来ない 不採用手帳 便利グッズ 就活グッズ パソコン あるある 逆転 体験談 日記現実逃避 やめたい もうだめ もうやだ 休憩しんどい愚痴 長所 短所 面接 グループ面接 ⽇本中から収集した1,000個のサジェストを 70個のまとまりに集約 ネガティブな考え あいさつ ノック ⼊室 愚痴 チャレンジしたこと ⾃⼰pr もうだめ 逆転 あるある しんどい ゼミ名選考辞退 ゼミ名 「就活」の サジェストを集約、俯瞰 ⼈⼿によるサジェストの集約結果 検索対象「就活」 24
- 32. ⼿法の説明 32
- 36. サジェストの集約⽅法① 検索結果ページのスニペットからの⽂書ベクトルの⽣成 「コーラ ⼯場⾒学」 AND検索 「コーラ ⼯場⾒学」 「 ⼯場⾒学」 サジェスト単独 サジェストの集合 36
- 38. クラスタリング結果の評価 38
- 39. クラスタリング結果の評価 評価するにあたって • 評価を行う検索対象 • 「コーラ」、「猫」、「犬」 • クラスタリングの際の類似度下限値 • 0.1～0.9で、0.1刻み • 参照用データ • 人手により作成 • 評価 • 再現率、適合率、F値 • 3つの検索対象のマクロ平均、マイクロ平均 39
- 40. クラスタリング結果の評価 再現率・適合率 曲線(マクロ平均) • スニペット収集方法が、サジェスト単独とAND検索によるものを比較した場合、最適な類 似度下限値の場合には、再現率と適合率で大きな差は無かった • AND検索の場合、「工場見学」と「京都 見学」というサジェストが、 「京都にあるコーラの工場見学」という話題で同一のため、同じクラスタに クラスタリングされた 0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1 0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1 適合率 再現率 θ=0.1 θ=0.2 θ=0.3 θ=0.4 θ=0.5 θ=0.6 θ=0.7θ=0.8 θ=0.9 θ=0.1 θ=0.2 θ=0.3 θ=0.4 θ=0.5 θ=0.6 θ=0.7 θ=0.8 θ=0.9 スニペットの検索方法 「AND検索」 スニペットの検索方法 「サジェスト単独」 40
- 41. 表示するウェブページの選定 • 各ウェブページのコスト計算 • クラスタリングされたサジェストを用いた検索を行った際の検索順 位を用いて算出 • 多くのサジェストによって検索され、検索順位の高い ウェブページのコストを小さくする • 選定のアルゴリズム • 貪欲法によって、コスト最小のウェブページを順次選定 41