The talk will cover core principles of text search applicable to fixed size dictionaries. We will have a deep look at some algorithms which are deeply hidden inside huge search engines or basic search inputs on web-sites. My goal is to provide comparison between different search approaches and provide objective assessment based on complexity, memory consumption and CPU utilization of each of them.

1. Найти иг[ло]ку в
стоге сена

2. Information retrieval
●
○
●
○
●
○

3. Computer vision

4. Parametric search
http://market.yandex.ua

5. Text search

6. Basic
data structures

7. Simple matching
String needle = getUserInput();
for ( String title : dictionary ) {
if ( title.equals( needle ) ) {
System.out.println( “Gotcha!” );
}
}

8. Simple matching: better
String needle = getUserInput().toLowerCase();
for ( String title : dictionary ) {
if ( title.startsWith( needle ) ) {
System.out.println( “Gotcha!” );
}
}

9. Simple matching: awesomest !
String needle = “транс”;
начало сравнений
...
терминатор
транзит
трансамерика
трансильвания
трансформеры
...

10. Simple matching. Results.

11. Hash-based search
.hashCode() % buckets.length buckets
Терминатор 1207003689 00
Альф 32058595 01
Поймай меня если сможешь 824411401 02
Умри, но не сейчас 1792373633 03
Зловещие мертвецы 1534549542 04
Терминал 1534215135 05
09
...

12. Hash-based search
05
ТерминалАльф ...

13. Hash-based search

14. Radix trie
ме
с довый месяц
т яц в деревне
о ь в
сына встречи уду ампира илли
...
Медовый месяц
Месяц в деревне
Месть вампира
Месть вуду
Месть вилли
Место сына
Место встречи
...

15. Radix trie

16. Advanced
approaches

17. Fuzzy search factors
Трансформеры
перестановка трансфромеры
вставка транссформеры
удаление тр_нсформеры
замена трансформиры

18. Levenshtein distance
Ученый-математик, доктор
физико-математических
наук.
Функцию его имени можно
найти в любом языке
программирования.
http://ethw.org/images/8/83/Levenshtein.jpg

19. Jaro-Winkler distance
s - длина слова
m - кол-во совпавших сомволов
t - половина транспозиций
l - длина общего префикса
p - коэф.сглаживания (~0.1)

20. Jaro-Winkler distance
m = 5
W1
W2
d
хорошо
шорох
0.7
пробка
коробка
0.78
звезда
звездный
0.89

21. Jaro-Winkler distance

22. Depth-first search (DFS)
A
B C
DC A C
DB D E F
Needle = ABCD
ABCD
ABC(B→D)
AB(+C)D
A(C→B)CD
A(C→B)C(E→D)
A(C→B)C(F→D)
A(+B)C(A→D)

23. Depth-first search (DFS)

24. N-gram
АЛО начАЛО, русАЛОчка,
волшебное
зеркАЛО ...
АЧА нАЧАло, удАЧА, нАЧАльники ...
НАЧ НАЧало, НАЧальники,
геркулес
НАЧало ...
ЧАЛ наЧАЛо,
мгновения
пеЧАЛи,
наЧАЛьники ...
Начало (Inception), 2010 год

25. N-gram

26. N-gram
●
○
○
●
○
○
●
○
*по моему субъективному опыту

27. N-gram

28. Lookup
improvements

29. Template hashing
T R A N S F O R M E R S
1 0 1 0 0 0 1 1 1 1 0 0 0
A C E G I K M O Q S U W Y
B D F H J L N P R T V X Z

30. Template hashing

31. Bloom filter
0 1 0 0 0 0 1 1 0 0
Needle

32. Bloom filter

33. Thank you!
Questions? :)