Download as PDF, PPTX
![地名の判別 - 辞書の強化
{
"tokens" : [ {
"token" : "中",
"start_offset" : 0,
"end_offset" : 1,
"type" : "word",
"position" : 1
}, {
"token" : "中目黒",
"start_offset" : 0,
"end_offset" : 3,
"type" : "word",
"position" : 1
}, {
"token" : "目黒",
"start_offset" : 1,
"end_offset" : 3,
"type" : "word",
"position" : 2
}, {
"token" : "駅",
"start_offset" : 3,
"end_offset" : 4,
"type" : "word",
"position" : 3
} ]
}
{
"tokens" : [ {
"token" : "中",
"start_offset" : 0,
"end_offset" : 1,
"type" : "word",
"position" : 1
}, {
"token" : "中目黒駅",
"start_offset" : 0,
"end_offset" : 4,
"type" : "word",
"position" : 1
}, {
"token" : "目黒駅",
"start_offset" : 1,
"end_offset" : 4,
"type" : "word",
"position" : 2
} ]
}
with NEologd
$ curl -XGET 'localhost:9200/index/_analyze' -d '中目黒駅'
kuromoji(Default)](https://image.slidesharecdn.com/cookpadtechconf2016-160123082650/85/Holiday-30-320.jpg)
![地名の判別 - 辞書の強化
kuromoji(Default)
{
"tokens" : [ {
"token" : "奥",
"start_offset" : 0,
"end_offset" : 1,
"type" : "word",
"position" : 1
}, {
"token" : "渋谷",
"start_offset" : 1,
"end_offset" : 3,
"type" : "word",
"position" : 2
} ]
}
{
"tokens" : [ {
"token" : "奥",
"start_offset" : 0,
"end_offset" : 1,
"type" : "word",
"position" : 1
}, {
"token" : "奥渋谷",
"start_offset" : 0,
"end_offset" : 3,
"type" : "word",
"position" : 1
}, {
"token" : "渋谷",
"start_offset" : 1,
"end_offset" : 3,
"type" : "word",
"position" : 2
} ]
}
with NEologd
$ curl -XGET 'localhost:9200/index/_analyze' -d '奥渋谷'](https://image.slidesharecdn.com/cookpadtechconf2016-160123082650/85/Holiday-31-320.jpg)
Uploaded byYusuke Naito
おでかけスポット検索のむずかしさ - Holidayを支える検索技術
2016.01.23 Cookpad TechConf 2016 http://techconf.cookpad.com/
おでかけスポット検索のむずかしさ - Holidayを支える検索技術
- 1.
- 2. 自己紹介 • 内藤 雄介（ないとうゆうすけ） •おでかけプラン作成・共有 サービス「Holiday」の開発 • サーバサイドの開発を担当
- 4.
- 5.
- 6.
- 7.
- 8.
- 9.
- 10.
- 11.
- 12.
- 13.
- 14.
- 15.
- 16.
- 17.
- 18.
- 19.
- 20. 課題 • スポット名・住所からの全文検索では... • 一般認識とは違ったエリアを探してしまう •駅からの距離を結果に反映できない
- 21.
- 22.
- 23.
- 24. 改善後 カフェ 中目黒 " { 位置情報} ! 中目黒 カフェ AND or must
- 25. Elasticsearchでの地理検索 • Geo DistanceFilter • Geo Polygon Filter • Geo Bounding Box Filter ※Elasticsearch2系ではQueryとして実装されてます
- 26. Geo Distance Filter •中心点からの距離で絞り 込む • 駅周辺のスポットを探す などのケースに適してい る
- 27. Geo Polygon Filter •多角形で範囲を指定する • 複雑なエリアの場合に使 用する
- 28. Geo Bounding BoxFilter • 地理検索オプションの中 で、最も高速に動作 • 正確さが求められないな らこれを使うと○
- 29. 地名を判別するために • 形態素解析の強化 • mecab-ipadic-NEologdの導入 • 新語・流行語 • 全国駅名一覧 • 同義語管理
- 30. 地名の判別 - 辞書の強化 { "tokens": [ { "token" : "中", "start_offset" : 0, "end_offset" : 1, "type" : "word", "position" : 1 }, { "token" : "中目黒", "start_offset" : 0, "end_offset" : 3, "type" : "word", "position" : 1 }, { "token" : "目黒", "start_offset" : 1, "end_offset" : 3, "type" : "word", "position" : 2 }, { "token" : "駅", "start_offset" : 3, "end_offset" : 4, "type" : "word", "position" : 3 } ] } { "tokens" : [ { "token" : "中", "start_offset" : 0, "end_offset" : 1, "type" : "word", "position" : 1 }, { "token" : "中目黒駅", "start_offset" : 0, "end_offset" : 4, "type" : "word", "position" : 1 }, { "token" : "目黒駅", "start_offset" : 1, "end_offset" : 4, "type" : "word", "position" : 2 } ] } with NEologd $ curl -XGET 'localhost:9200/index/_analyze' -d '中目黒駅' kuromoji(Default)
- 31. 地名の判別 - 辞書の強化 kuromoji(Default) { "tokens": [ { "token" : "奥", "start_offset" : 0, "end_offset" : 1, "type" : "word", "position" : 1 }, { "token" : "渋谷", "start_offset" : 1, "end_offset" : 3, "type" : "word", "position" : 2 } ] } { "tokens" : [ { "token" : "奥", "start_offset" : 0, "end_offset" : 1, "type" : "word", "position" : 1 }, { "token" : "奥渋谷", "start_offset" : 0, "end_offset" : 3, "type" : "word", "position" : 1 }, { "token" : "渋谷", "start_offset" : 1, "end_offset" : 3, "type" : "word", "position" : 2 } ] } with NEologd $ curl -XGET 'localhost:9200/index/_analyze' -d '奥渋谷'
- 32.
- 33.
- 34.
- 35. まとめ • 「どこで」を探すには全文検索では不十分 • 「地理検索」を組み合わせることで、 よりよい検索体験を作れる •Elasticsearchは地理検索するにも便利！
- 36.
- 37.
- 38. 「駅名」での検索の場合 • 駅周辺のスポットを検索 • 駅からの距離に応じてスコアを調整 •Elasticsearchでは • Function Score Query を使う • 詳しくは http://techlife.cookpad.com/ entry/2015/03/12/080000