NLP x Lucene/Solr

2,286 views

Published on

0 Comments
3 Likes
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total views
2,286
On SlideShare
0
From Embeds
0
Number of Embeds
59
Actions
Shares
0
Downloads
17
Comments
0
Likes
3
Embeds 0
No embeds

No notes for slide

NLP x Lucene/Solr

  1. 1. NLP ×Lucene/Solr 関口宏司@ロンウイット
  2. 2. Why NLP×Lucene/Solr ?  NLP(自然言語処理)とLucene/Solr(検索 エンジン)を組み合わせると。。。  より便利に! 2  よりかしこく!  より楽に!2012 (c) RONDHUIT Co.,LTD
  3. 3. 多機能な最近のSolr 表記揺れ対策 カスタムランキング 類義語検索 地理検索 3 ハイライト キーワード検索 サジェスチョン クラスタリング 言語判別 類似文書検索 インデクシング 形態素解析器 ファセット グループ化検索 もしかして。。。2012 (c) RONDHUIT Co.,LTD
  4. 4. 使いこなすには苦労も。。。 表記揺れ対策 カスタムランキング 辞書整備 類義語検索 データソース 地理検索 収集 4 ハイライト キーワード検索 サジェスチョン クラスタリング 言語判別 類似文書検索 インデクシング 非構造化文書 形態素解析器 ファセット 新語辞書登録 グループ化検索 もしかして。。。2012 (c) RONDHUIT Co.,LTD
  5. 5. 精度/再現性は? 表記揺れ対策 カスタムランキング 類義語検索 地理検索 5 ハイライト 精度? キーワード検索 サジェスチョン クラスタリング 精度? 言語判別 類似文書検索 インデクシング 形態素解析器 ファセット 検索漏れ グループ化検索 再現率? もしかして。。。2012 (c) RONDHUIT Co.,LTD
  6. 6. さらに便利に! 表記揺れ対策 カスタムランキング 類義語検索 好評価の 記事を上位に 地理検索 6 ハイライト 自動フィールド 文書要約 選択 キーワード検索 サジェスチョン クラスタリング 質問応答 (自然文検索) 言語判別 類似文書検索 インデクシング 自動文書分類 形態素解析器 ファセット グループ化検索 もしかして。。。2012 (c) RONDHUIT Co.,LTD
  7. 7. NLPの導入  専門用語抽出  固有表現抽出 7  文書分類  類義語辞書生成  (検索エンジン向け)形態素解析器  共起分析  意味解析  文書要約2012 (c) RONDHUIT Co.,LTD
  8. 8. (例)専門用語抽出 82012 (c) RONDHUIT Co.,LTD
  9. 9. (例)固有表現抽出 民主党の前原外相は6日、 海江田経財相と茨城県で 会食した。 9 NE body _org _per _loc _date 民主党の前原 前原 あり 外相は6日、… 民主党 海江田 茨城県 6日 民主党の前原 なし 外相は6日、… - - - -2012 (c) RONDHUIT Co.,LTD
  10. 10. おまけ。。。  (類似)画像検索。。。 102012 (c) RONDHUIT Co.,LTD

×