Downloaded 60 times
![JSON как основной способ работы с данными
GET “http://localhost:9200/index_name/streets/_search?q=Жукова”
{ Затраченное время
"took" : 138,
"timed_out" : false,
"_shards" : { "total" : 2, "successful" : 2, "failed" : 0 },
"hits" : { Количество результатов
"total" : 1,
"max_score" : 1.9674579,
"hits" : [{
"_index" : “index_name", Исходный документ
"_type" : "street",
"_id" : "VLvO7h7bQUiCOlGwd2iJrA",
"_score" : 1.9674579,
"_source" : {"STREET_NAME":"Маршала Жукова", "CITY_NAME":"Омск", “STREET_ID” : 3}
}]
}
}](https://image.slidesharecdn.com/03-elasticsearch-130202082715-phpapp02/85/2013-02-02-03-Elasticsearch-19-320.jpg)
![Геофильтры
Geo BBox Geo distance Geo distance range Geo polygon Geo shape
{ {
“address" : { "location" : {
"location" : { "type" : "envelope",
"lat" : 41.12, "coordinates" : [[-45.0, 45.0],
"lon" : -71.34 [45.0, -45.0]]
} }
} }
}](https://image.slidesharecdn.com/03-elasticsearch-130202082715-phpapp02/85/2013-02-02-03-Elasticsearch-34-320.jpg)
![Скрипт-фильтр
"filtered" : {
"query" : {
...
},
"filter" : {
"script" : {
"script" : "doc['num1'].value > 1"
}
}
}](https://image.slidesharecdn.com/03-elasticsearch-130202082715-phpapp02/85/2013-02-02-03-Elasticsearch-40-320.jpg)
![Percolation
POST “http://localhost:9200/_percolator/messages/kgb”
{
"query" : {
"terms" : {
"message" : ["путин","навальный",
"террорист","бомба",
"наркотики","взятка"]
}
}
}](https://image.slidesharecdn.com/03-elasticsearch-130202082715-phpapp02/85/2013-02-02-03-Elasticsearch-44-320.jpg)
![Здарова! Зацени чо творится
"doc" : { «Одесский террорист, "метивший
"message" : "..." в Путина",
заявил о милицейских пытках
} наркотиками и пакетами».
GET “http://localhost:9200/messages/type/_percolate”
{"ok":true, "matches":["kgb"]}](https://image.slidesharecdn.com/03-elasticsearch-130202082715-phpapp02/85/2013-02-02-03-Elasticsearch-45-320.jpg)
![Географический facet
{
"facets" : {
"geo1" : {
"geo_distance" : {
"pin.location" : {"lat" : 40, "lon" : -70 },
"ranges" : [
{ "to" : 10 },
{ "from" : 10, "to" : 20 },
{ "from" : 20, "to" : 100 },
{ "from" : 100 }
]
}
}
}
}](https://image.slidesharecdn.com/03-elasticsearch-130202082715-phpapp02/85/2013-02-02-03-Elasticsearch-47-320.jpg)
![{
"query" : {
"match_all" : {}
},
"facets" : {
"facet_search" : {
"terms" : {
"quick_address_type" : ["restaurant",
"cafe",
"sauna",
"pool",
"bowling","bar"]
}
}
}
}](https://image.slidesharecdn.com/03-elasticsearch-130202082715-phpapp02/85/2013-02-02-03-Elasticsearch-51-320.jpg)
!["facets" : {
"tags" : {
"_type" : "terms",
"missing" : 0,
"total": 30,
"other": 0,
"terms" : [ { "term" : "restaurant", "count" : 7 },
{"term" : "cafe", "count" : 5 },
{"term" : "sauna","count" : 6},
{"term" : "pool","count" : 3},
{"term" : "bowling","count" : 2},
{"term" : "bar","count" : 7 } ]
}
}](https://image.slidesharecdn.com/03-elasticsearch-130202082715-phpapp02/85/2013-02-02-03-Elasticsearch-52-320.jpg)
![{
"query" : {
"term" : {"quick_address_type" : "restaurant"}
},
"sort" : [
{
"_geo_distance" : {
"pin.location" : [-73.13, 55.01],
"order" : "asc",
"unit" : "km"
}
},
{
"rating" : {
"user_rating" : "desc"
}
}
]
}](https://image.slidesharecdn.com/03-elasticsearch-130202082715-phpapp02/85/2013-02-02-03-Elasticsearch-54-320.jpg)
More Related Content
Similar to 2013-02-02 03 Голушко. Полнотекстовый поиск с Elasticsearch
2013-02-02 03 Голушко. Полнотекстовый поиск с Elasticsearch
- 2. О докладчике Дмитрий Голушко Java разработчик, server-side
- 3. Важные параметры: Скорость индексирования(втом числе realtime) Способы взаимодействия(API, REST, etc.) Работа с языками, стемминг, нечеткие запросы Дополнительные типы полей в документах(numeric, geo, source, etc.) Платформа и язык Встроенные механизмы ранжирования и сортировки
- 4. Какие есть варианты? Elasticsearch(basedon Lucene, Java) Solr(based on Lucene, Java) Sphinx search engine(C++) Xapian(C++)
- 5. Почему мы выбралиElasticsearch? Отличная поддержка шардинга и репликации на лету
- 6. Шардинг и репликация. Создаем индекс. Нода 1 Street1 { Street2 “number_of_shards” : 2, “number_of_replicas” : 1 }
- 7. Шардинг и репликация. Добавляем еще одну ноду. Нода 1 Нода 2 Репликация Street1 Street1 Street2 Street2
- 8. Шардинг и репликация. Добавляем еще 2 ноды. Нода 1 Нода 2 Нода 3 Нода 4 Street1 Street1 Street2 Street2
- 9. Почему мы выбралиElasticsearch? Отличная поддержка шардинга и репликации на лету Написан на Java и базируется на известном движке Lucene Near-realtime индексация.
- 10. Поиск по «свежему»индексу
- 11. Поиск по индексу,с одновременной индексацией
- 12. Поиск по большомуиндексу, с одновременной индексацией
- 13. Почему мы выбралиElasticsearch? Отличная поддержка шардинга и репликации на лету Написан на Java и базируется на известном движке Lucene Near-realtime индексация. Есть всё что нам нужно Opensource, ASL v2 Имеется возможность для расширения
- 14. Возможность для расширения River-плагины(потокданных из другого источника) CouchDB RabbitMQ MongoDB … Анализаторы Русская морфология Hunspell(орфография) Transport(расширения протоколов взаимодействия) Memcached ZeroMQ Servlet … Site Plugins(чаще всего UI для управления кластером) Scripting Plugins(ЯП для скриптов)
- 15.
- 16.
- 17.
- 18. Особенности Elasticsearch Документно-ориентированный Schema-free JSON какосновной способ работы с данными
- 19. JSON как основнойспособ работы с данными GET “http://localhost:9200/index_name/streets/_search?q=Жукова” { Затраченное время "took" : 138, "timed_out" : false, "_shards" : { "total" : 2, "successful" : 2, "failed" : 0 }, "hits" : { Количество результатов "total" : 1, "max_score" : 1.9674579, "hits" : [{ "_index" : “index_name", Исходный документ "_type" : "street", "_id" : "VLvO7h7bQUiCOlGwd2iJrA", "_score" : 1.9674579, "_source" : {"STREET_NAME":"Маршала Жукова", "CITY_NAME":"Омск", “STREET_ID” : 3} }] } }
- 20. Особенности Elasticsearch Документно-ориентированный Schema-free JSON какосновной способ работы с данными Распределенный поиск
- 21. Распределенный поиск Node Node Node Node Node Node Приложение
- 22. Распределенный поиск Node Node Node Node Node Node Приложение
- 23. Особенности Elasticsearch Документно-ориентированный Schema-free JSON какосновной способ работы с данными Распределенный поиск Скрипты для фильтрации(о них чуть позже) Обновление настроек «на лету»
- 24. Обновление настроек «налету» POST “http://localhost:9200/index_name/_settings” "{ "index" : { "number_of_replicas" : 3 } }
- 25. Обновление настроек налету Нода 1 Нода 2 Нода 3 Нода 4 Street1 Street1 Street1 Street1 Street2 Street2 Street2 Street2
- 26. Индексация Анализатор Token Filter Tokenizer Token Filter Token Filter Token Filter
- 27. Token Filters Стеммеры(Стеммер Портера) важно важн важного важн важное важн важной важн важном важн важному важн Фонетические(Soundex, Metaphone, etc.) Ngramm
- 28. Soundex • Первая буквасохраняется • В остальной части слова: • Буквы, обозначающие, как правило, гласные звуки: a, e, h, i, o, u, w и y — отбрасываются • Оставшиеся буквы (согласные) заменяются на цифры от 1 до 6, причём похожим по звучанию буквам соответствуют одинаковые цифры: • 1: b, f, p, v • 2: c, g, j, k, q, s, x, z • 3: d, t • 4: l • 5: m, n • 6: r • Любая последовательность одинаковых цифр сокращается до одной такой цифры. • Итоговая строка обрезается до первых четырёх символов. Если длина строки меньше требуемой, недостающие символы заменяются знаком 0. Примеры: аmmonium → ammnm → a5555 → a5 → a500 implementation → implmnttn → i51455335 → i514535 → i514
- 29.
- 30. Запросы «Обычные» запросы Term MatchNotmatch Prefix Bool Wildcard Range Географические запросы Boosting запросы Span запросы Нечеткие запросы
- 31. Fuzzy запросы(нечеткие) Расстояние Левенштейна- минимальное количество операций вставки одного символа, удаления одного символа и замены одного символа на другой, необходимых для превращения одной строки в другую. Жукава 1 Жукова Лизной (проезд) 2 Лесной (проезд) Бухольца 1 Бухгольца
- 32. Это важно! В большинствеслучаев вы должны использовать для поиска тот же алгоритм анализа, что и при индексировании! Fuzzy Query Soundex «жукава» «a500» Fuzzy Query 3gramm «жукава» «жук ука кав ава»
- 33. Фильтрация Обычные фильтры Term PrefixRange MissingExists Query Геофильтры Script фильтр
- 34. Геофильтры Geo BBox Geo distance Geo distance range Geo polygon Geo shape { { “address" : { "location" : { "location" : { "type" : "envelope", "lat" : 41.12, "coordinates" : [[-45.0, 45.0], "lon" : -71.34 [45.0, -45.0]] } } } } }
- 35. Геофильтры Geo BBox Geo distance Geo distance range Geo polygon Geo shape "filter" : { "geo_bounding_box" : { "pin.location" : { "top_left" : {"lat" : 40.73, "lon" : -74.1 }, "bottom_right" : {"lat" : 40.717, "lon" : -73.99} } } }
- 36. Геофильтры Geo BBox Geo distance Geo distance range Geo polygon Geo shape
- 37. Геофильтры Geo BBox Geo distance Geo distance range Geo polygon Geo shape "filter" : { "geo_distance" : { "distance" : "2km", "pin.location" : { "lat" : 40, "lon" : -70 } } }
- 38. Геофильтры Geo BBox Geo distance Geo distance range Geo polygon Geo shape
- 39. Геофильтры Geo BBox Geo distance Geo distance range Geo polygon Geo shape "filter": { "geo_shape": { "location": { "indexed_shape": {"id": "Украина", "type": "countries", "index": "shapes", "shape_field_name": "shape" }, "relation": "within" } } }
- 40. Скрипт-фильтр "filtered" : { "query" : { ... }, "filter" : { "script" : { "script" : "doc['num1'].value > 1" } } }
- 41. Скрипт-фильтр. Доступные языки Java JavaScript Groovy Python
- 42. Advanced features Подсветка(Highlighting) Именованные фильтры(NamedFilters) Attachment indexing(с помощью Apache Tika) Microsoft Office, Open Document Formats, ePub, PDF, etc. Time-to-live fields Percolation Facets
- 43. Percolation Индексируютсязапросы, а не документы! Тем не менее это обычный индекс Запросы распространяются на все реплики Поддерживают все обычные запросы и фильтры
- 44. Percolation POST “http://localhost:9200/_percolator/messages/kgb” { "query" : { "terms" : { "message" : ["путин","навальный", "террорист","бомба", "наркотики","взятка"] } } }
- 45. Здарова! Зацени чотворится "doc" : { «Одесский террорист, "метивший "message" : "..." в Путина", заявил о милицейских пытках } наркотиками и пакетами». GET “http://localhost:9200/messages/type/_percolate” {"ok":true, "matches":["kgb"]}
- 46. Facets Агрегированная информацияпо запросу Статистическая информация Сумма, минимальноемаксимальное значение, среднее и т.д. Гистограммы(включая гистрограмму по дате) Географический facet
- 47. Географический facet { "facets" : { "geo1" : { "geo_distance" : { "pin.location" : {"lat" : 40, "lon" : -70 }, "ranges" : [ { "to" : 10 }, { "from" : 10, "to" : 20 }, { "from" : 20, "to" : 100 }, { "from" : 100 } ] } } } }
- 49. А теперь небольшойreal-world пример!
- 50.
- 51. { "query" : { "match_all" : {} }, "facets" : { "facet_search" : { "terms" : { "quick_address_type" : ["restaurant", "cafe", "sauna", "pool", "bowling","bar"] } } } }
- 52. "facets" : { "tags" : { "_type" : "terms", "missing" : 0, "total": 30, "other": 0, "terms" : [ { "term" : "restaurant", "count" : 7 }, {"term" : "cafe", "count" : 5 }, {"term" : "sauna","count" : 6}, {"term" : "pool","count" : 3}, {"term" : "bowling","count" : 2}, {"term" : "bar","count" : 7 } ] } }
- 53.
- 54. { "query" : { "term" : {"quick_address_type" : "restaurant"} }, "sort" : [ { "_geo_distance" : { "pin.location" : [-73.13, 55.01], "order" : "asc", "unit" : "km" } }, { "rating" : { "user_rating" : "desc" } } ] }
- 55.
- 56.