1. Индексный поиск по
регулярным выражениям
Александр Коротков

2. Введение

3. Регулярные выражения
• мощный инструмент обработки
текстовой информации
• основаны на математической
лингвистике

4. Автоматы… нет, не слышал

5. Итак… автоматы
• Регулярное выражение => автомат
• Все так и делают

6. Итак... автоматы
• Автомат – это граф
• Автомат «читает» строку

7. Пример
/a(bc)*d/
становится

8. Пример
xyzabcbcdxyz

9. Пример
xyzabcbcdxyz

10. Пример
xyzabcbcdxyz

11. Пример
xyzabcbcdxyz

12. Пример
xyzabcbcdxyz

13. Пример
xyzabcbcdxyz

14. Пример
xyzabcbcdxyz

15. Пример
xyzabcbcdxyz

16. Пример
xyzabcbcdxyz

17. Пример
xyzabcbcdxyz

18. Пример
xyzabcbcdxyz

19. Пример
xyzabcbcdxyz

20. Пример
xyzabcbcdxyz
Ура! Подходит!

21. Ну теперь все мы знаем…

22. Поиск по регекспам в PostgreSQL
• есть :)
• последовательный :(

23. Инвертированные индексы
на n-грамах

24. N-грамы?

25. N-грамы
• N-грамы – это подстрока длины n
• Широко используются

26. Инвертированные индексы на n-грамах
• Соответствие n-грама <=> набор id
• Модуль pg_trgm содержит реализацию
для n = 3

27. pg_trgm
' e': {1,2} 'egu': {1,3} 'pre': {1,2}
' r': {1,3} 'er ': {3} 'reg': {1,3}
' s': {2,3} 'ess': {1,2} 'res': {1,2}
' ex': {1,2} 'exp': {1,2} 'sio': {1}
1. "regular expressions", ' re': {1,3} 'gul': {1,3} 'siv': {2}
2. "expressive speach", => ' sp': {2,3} 'ion': {1} 'spe': {2,3}
3. "regular speaker" 'ach': {2} 'ive': {2} 'ssi': {1,2}
'ake': {3} 'ker': {3} 'ula': {1,3}
'ar ': {1,3} 'lar': {1,3} 've ': {2}
'ch ': {2} 'ns ': {1} 'xpr': {1,2}
'eac': {2} 'ons': {1}
'eak': {3} 'pea': {2,3}

28. Частоты N-грам
DBLP: 2.5M заголовков статей
• “the” - 360K
• “zzz” – 1
глава "Zzzzzzzzzzzzzzzzzzzzzzzzzz" книги "Formal
Specification and Development in Z and B" от David
Everett

29. Не все N-грамы одинаково полезны

30. V-грамы и мультиграмы
• У n-грамы индивидуальное n
• Выше эффективность!

31. V-грамы или мультиграмы
Проблемы:
• Трудно поддерживать
актуальность
•…

32. Патентный тролли!

33. Как использовать индекс
для поиска по регэкспам?

34. Общая идея
/[ab]cde/ => (acd OR bcd) AND cde

35. /[ab]cde/ => (acd OR bcd) AND cde
Как?

36. Существующие подходы к
извлечению n-грам
из регулярных выражений

37. Научная работа
Junghoo Ch and Sridhar Rajagopalan, A fast
regular expression indexing engine,
Proceedings 18th International Conference on
Data Engineering, 2002
Всё ещё широко цитируется, как актуальное
решение в данной области.

38. Метод FREE
• Извлечь дерево непрерывных участков
строки из регэкспа.
• Преобразование этих непрервыных кусков
в мультиграмы (n-грамы с изменяемым n)
• Использовать инвертированный индекс на
мультиграмах для выполнения запроса

39. Метод FREE: пример
Дерево для /(abcd|efgh)(ijklm|x*)/

40. Метод FREE: пример
Заменить узлы “*” на NULL

41. Метод FREE: пример
NULL “съедает” родительский узел OR

42. Метод FREE: пример
Узел AND “съедает” дочерний NULL

43. Метод FREE: пример
Теперь немного упростим

44. Метод FREE: пример
Разобьем непрерывные куски строк на n-грамы

45. Google code search

46. Google code search
• Запустился в 2006.
• Скорее всего что-то получше, чем
предыдущий метод.
• Но мы не знаем что... :(

47. Мы не знали что, пока..
• Google code search закрылся в 2011
:(
• http://swtch.com/~rsc/regexp/regex
p4.html
• Более 5 лет интриги!

48. Метод google code search
• 5 характеристик:
emptyable, exact, prefix, suffix, matc
h.
• Характеристики рекурсивно
объединяются
• Инвертированный индекс на
триграммах

49. Метод google code search
Исходное выражение: /a(bc)+d/
a: {exact: a}
bc: {exact: bc}
d: {exact: d}
(bc)+: {prefix:bc, suffix: bc}
a(bc)+: {prefix:abc, suffix:bc}
a(bc)+d: {prefix:abc, suffix:bcd}

50. Метод google code search
/a(bc)+d/
{prefix:abc, suffix:bcd}
abc AND bcd

51. Предлагаемый метод

52. Предлагаемый метод
• Автомат => граф на триграмах
• Упростить
• Использовать GIN индекс
pg_trgm

53. Пример преобразования
/a(b+|c+)d/

54. Пример преобразования

55. Пример преобразования

56. Пример преобразования

57. Пример преобразования

58. Пример преобразования

59. Пример преобразования

60. Пример преобразования

61. Пример преобразования

62. Пример преобразования

63. Пример преобразования

64. Пример преобразования

65. Пример преобразования

66. Пример преобразования

67. Пример преобразования

68. Пример преобразования

69. Пример преобразования

70. Пример преобразования

71. Пример преобразования
Результат можно упростить

72. Упрощение
bbd
abd
abb
acd
ccd
acc
1 0 0 0 0 0
0 1 1 0 0 0
0 0 0 1 0 0
0 0 0 0 1 1
abd OR
(abb AND bbd) OR
acd OR
(acc AND ccd)

73. Сравнение на примерах
Regex: /(abc|cba)def/
FREE: (abc OR cba) AND def
GSC:
def AND ((abc AND bcd AND cde) OR (ade
AND bad AND cba))
Предложенный метод:
(abc AND bcd AND cde AND def) OR (ade
AND bad AND cba AND def)

74. Сравнение на примерах
Regex: /abc+de/
FREE: nothing
GSC: abc AND cde
Предложенный метод :
(abc AND cde AND bcd) OR
(abc AND cde AND bcc AND ccd)

75. Сравнение на примерах
Regex: /(abc*)+de/
FREE: nothing
GSC: nothing
Предложенный метод :
(abd AND bde) OR
(abc AND bcd AND cde) OR
(abc AND bcc AND ccd AND cde)

76. Сравнение на примерах
Regex: /ab(cd)*ef/
FREE: nothing
GSC: nothing
Предложенный метод :
(abe AND bef) OR
(abc AND bde AND cde AND def)

77. Тесты производительности
2.5 M заголовков статей DBLP средней длины 47
Regex Index scan Seq scan
/database.*(sql|query)/ 773 ms 18653 ms
/postgres(ql)?/ 268 ms 17574 ms
/plan+er/ 253 ms 12885 ms
/(nucl|anino).*acid/ 200 ms 20085 ms
/[aei](bc)+a/ 2 ms 13195 ms

78. Патч к pg_trgm в разработке
Патч отправлен в mailing list:
http://archives.postgresql.org/pgsql-
hackers/2011-11/msg01297.php

79. Проблемы
• Может получиться большой граф
• Может получиться большое
«упрощенное представление» или
его долго считать
• Использование триграм вместо v-
грам (мультиграм)

80. Было опущено
• Детерминированные vs
недетерминированные автоматы
• Группировка символов в цвета
• Начало и конец строки

81. Спасибо за внимание!