Downloaded 12 times
検索と自然言語処理
- 1.
- 2. SearchからDiscoveryへ • データの規模が大きくなると、検索した 結果の評価が難しくなる – 普通に検索しただけでは膨大な検索結果にな る。 –従来の適合率、再現率だけでは評価できない • 検索結果に何らかの「評価」を加えて、 そこから必要なものを「発見」する必要 がある • 分析、組織化、パーソナライズ、レコメン ド・・・ 参考 『Search Discovery & Analytics』が 提唱する企業でのビッグデータ
- 3. ディスカバリと検索技術 • 分析、組織化 – 関連度、重要度、利用度、出現頻度、ファ セット、クラスタリング、トピック（キー ワード）抽出など •パーソナライズ – 属性によるフィルタリングなど • レコメンド（レコメンデーション：推 薦） – 関連するもの、もしかして・・・、協調フィ ルタリング、利用履歴、提供側による重み付
- 4. 問題１ • ［経済×近代］というキーワード検索をし たとして、次の検索結果をキーワードと の関連度で並べ直してください。 ① 近代経済学と近代 ②近代経済学と経済学の近代 ③ 近代経済学と経済
- 5. 「近代」と「経済」の単語数でプ ロット近 代 経済 ① 近代経済学と近代 ② 近代経済学と経済学の近代 ③近代経済学と経済 キーワード： 近代×経済 ① ② ③
- 6. 答え • このグラフを単純に見れば、 – ② –①③ という順番に関連していることがパッと見て分 かります。
- 7.
- 8. その他類似度のアルゴリズムな ど • レーベンシュタイン距離 – 二つの文字列がどの程度異なっているかを示 す数値 •機械学習 – 確率論的 – 分類などなど • GETA（連想検索エンジン） – このツールを使うと、比較的簡単に文書と文 書の関連が分かる。
- 9. 類似度の応用 • 先ほどの例では、キーワードと検索結果の類 似度を使うと検索結果の並べ替えができた。 • ある本とその他の本の類似度を調べれば、あ る本に関連する本（似たような本）を関連す る順にピックアップできます（単純なレコメ ンド）。 •類似度によって関連するまとまり（クラスタ ＝葡萄の房）を自動的に抽出することもでき ます（クラスタリング）。 • 「もしかして」＝キーワードのサジェストも これの応用
- 10.
- 11. Ｎグラム法 • ひたすらｎ字づつキーワードに切ってい く – 2グラム（bigram）なら:近代代経 経済 済学 学は 、「 限界 界革 革命 」 以降 降の の経 経済 済学 学体 体系 系の のう うち 、マル ルク ク ス ス経 経済 済学 学以 以外 外の のも もの のの の総 総称 称で であ あり 、 ミク ロ経 経済 済学 学と マク クロ ロ経 経済 済学 学に に大 大別 別さ され れる。
- 12.
- 13.
- 14. さらに重要単語を抽出 • 単語の出現回数を数える – たくさんあれば重要？ •共起頻度を数える – いろんな文書を調べると「経済」と「近代」はか なりの頻度で一緒に現れるので関係が深いに違い ない • tf-idf法 – その文書（フレーズ）の中での単語の出現回数 （tf）を計算して、これに多くの文書に出現する ような一般的な単語を除外（idf）する。
- 15. もう少し単語の意味を・・・ • 複合語の処理 – 近接度、共起頻度 •係り受け解析 – 構文解析 • 活用語尾の処理 – 語幹の抽出 – ステミング、レマタイズ
- 16. レコメンド • 『近代経済学入門』の読者に次の本を推薦す るには？ ① 書名が同じか似ている本をとりあえず推薦する ②同じ本を借りた別の人が借りた本の中から貸出 回数が多い本を推薦する • 貸出回数以外の指標があればなおよい – クリック回数、タグやレビューがついた数、いいね！の 数など ③ ②の結果から、その人の属性や、状況（＝空気 を読む）が分かれば、それで絞る ④ 目次や抄録、内容紹介文があれば、それらの似 たものを推薦（類似度の応用） ⑤ この本を読んだら次に読む確率が高い本を推薦 する（機械学習の応用）