Антон поделится опытом, как быстро и просто сделать автокомплит, достать красивый контекст найденного слова после поиска (excerpts) и очистить тексты от разметки (HTML, LaTeX). SphinxSearch meetup #2 @ Avito, 18.06.2016

1. Быстрое внедрение Sphinx на
примере проекта
Фоксфорд.Учебник
КОВАЛЁВ АНТОН / РУКОВОДИТЕЛЬ ОТДЕЛА РАЗРАБОТКИ НЕТОЛОГИИ-ГРУПП

2. Фоксфорд.Учебник - foxford.ru/wiki

3. Фоксфорд.Учебник - foxford.ru/wiki

4. Статистика
Преподавателей и
методистов
Опубликованных
тем
Блоков теории КБ информации
226 1800 3750 20 000

5. КАКОЙ НУЖЕН ПОИСК?
С автокомплитом С контекстом
поиска
Подстраивающийся
под пользователя

6. СХЕМА ДАННЫХ
Theme
name
Block
content
Grade
index

7. КАК СДЕЛАТЬ ПОИСК
• gem 'thinking-sphinx'
• Создать индекс
• Сделать запрос
• Получить коллекцию объектов

8. Простой поиск по темам
ThinkingSphinx::Index.define :theme, name: 'theme_full', with: :active_record do
indexes :name
indexes theme_blocks.block.content, as: :content
End
...
def self.full_text_search(query = '', options = {})
ThinkingSphinx::Search.new query, options
end
…
@themes = Theme.full_text_search(escaped_query, search_options)

9. УЛУЧШАЕМ КАЧЕСТВО
min_prefix_len: 2 expand_keywords: 1
index_exact_words: 1min_word_len: 3
#
#
#
#
charset_table#
expand_keywords: 1#
morphology: lemmatize_ru#

10. def search_options
{
indices: ['theme_full_core'],
select: "*, (IN(grade_ids, #{ grade_id }) OR NOT any_grade_ids) AS grade_match",
with: { grade_match: true },
}
end
…
join grades
has theme_grades.grade.id, as: :grade_ids
has "COUNT(DISTINCT theme_grades.id) > 0", as: :any_grade_ids, type: :boolean
Искать темы определенного класса

11. АВТОКОМПЛИТ
• Должен дополнять хорошие слова
• Не должен дополнять нехорошие слова
• Должен предлагать в первую очередь чаще
встречающиеся слова

12. Формирование частотного словаря
$ indexer myindex --buildstops keywords.txt 20000 --buildfreqs
…
имеет 550
называется 544
через 537
права 523
поэтому 520
…

13. Поиск для автокомплита
ThinkingSphinx::Index.define :keyword, name: 'keyword', with: :active_record do
indexes :word, sortable: true
indexes :frequency, sortable: true
end
…
@themes = Theme.full_text_search(escaped_query, search_options)
convert_keywords_to_responses

14. Фоксфорд.Учебник - foxford.ru/wiki

15. Сниппеты

16. Контент статьи
"<div class="info_element">rn<div class="info_header"
>Определение</div>rn<div class="info_content"
>rn<p><span><strong>Параллельным переносом на вектор $vec{a}$
</strong>называется движение, переводящее каждую точку&nbsp;$M$ в точку
$M_1$, такую что </span><span>$overrightarrow{MM_1} = vec{a}$.
</span></p>rn</div>rn</div>"

17. Как добавить сниппеты
@themes.context[:panes] << ThinkingSphinx::Panes::ExcerptsPane
…
excerpts: {
before_match: '<b>',
after_match: '</b>',
chunk_separator: ' &#8230; '
}

18. НАСТРОЙКИ СНИППЕТОВ
• before_match, after_match, around, phrase_boundary,
weight_order, query_mode, force_all_words, limit_passages,
limit_words, html_strip_mode, passage_boundary

19. Пример хорошего сниппета
Пример не очень хорошего сниппета

20. Фоксфорд.Учебник - foxford.ru/wiki

21. АНТОН КОВАЛЁВ
Спасибо за внимание!
gremglee@foxford.ru facebook.com/antonkvlv

22. Правки
Добавить цифры и статистику
Упростить инфу про
Уточнить сравнение с эластиком
Переименовать улучшаем релевантность
Добавить слайд с выгрузкой слов для автокомплита
Добавить инфу про и
Добавить шуток
Добавить инфу про автокомплит по фразам