Recommended
Recommended
More Related Content
Viewers also liked
Viewers also liked (16)
Применение алгоритмов поиска нечетких дубликатов в поиске вакансий
- 2. У компании есть ещё похожие вакансии
- 5. Постановка задачи: • оценить сходство вакансий; • объединить похожие вакансии в группы; • показать одного представителя группы в выдаче.
- 10. md5('водитель такси') md5('водитель такси с авто') 7e0e61c15101ae881bf1a63484907871 e8b91c39a5b888620801f1bbe3529e54 Хэширование
- 11. LSHlocality-sensitive hashing simhash vs minhash
- 13. SimHash-алгоритм hash = [0,0,0,0,0,0,0,0] doc = [“водитель”,“такси”,“авто”]
- 14. SimHash-алгоритм hash = [0,0,0,0,0,0,0,0] doc = [“водитель”,“такси”,“авто”] doc = [01111001, 00110101, 00101110]
- 15. SimHash-алгоритм hash = [0,0,0,0,0,0,0,0] doc = [“водитель”,“такси”,“авто”] doc = [01111001, 00110101, 00101110] 01111001 00110101 00101110 + hash =[-3,-1,3,1,1,1,-1,1]
- 16. SimHash-алгоритм hash = [0,0,0,0,0,0,0,0] doc = [“водитель”,“такси”,“авто”] doc = [01111001, 00110101, 00101110] 01111001 00110101 00101110 + hash =[-3,-1,3,1,1,1,-1,1] hash =[ 0, 0,1,1,1,1, 0,1]
- 17. SimHash-алгоритм hash = [0,0,0,0,0,0,0,0] doc = [“водитель”,“такси”,“авто”] doc = [01111001, 00110101, 00101110] hash =[-3,-1,3,1,1,1,-1,1] hash =[ 0, 0,1,1,1,1, 0,1] simhash(doc) = 00111101 01111001 00110101 00101110 +
- 19. SimHash-алгоритм 00111101 XOR 00111000 = 00000101 Similarity index = 6/8 = 0.75 (75%)
- 20. Постановка задачи: оценить сходство вакансий; • объединить похожие вакансии в группы; • показать одного представителя группы в выдаче.
- 21. Поиск похожих документов Найдем отличающиеся не более чем на 2 бита: h1 = 00111101
- 22. Поиск похожих документов Найдем отличающиеся не более чем на 2 бита: h1 = 00111101 h2 = 00111000 h3 = 00001101
- 23. Поиск похожих документов Найдем отличающиеся не более чем на 2 бита: h1 = 00111101 h2 = 00111000 h3 = 00001101 d(h1,h2) = 2 d(h1,h3) = 2
- 24. Поиск похожих документов Найдем отличающиеся не более чем на 2 бита: h1 = 00111101 h2 = 00111000 h3 = 00001101 d(h1,h2) = 2 d(h1,h3) = 2 d(h2,h3) > 2 !
- 25. Поиск похожих документов Найдем отличающиеся не более чем на 2 бита: h1 = 00111101 h2 = 00111000 h3 = 00001101 d(h1,h2) = 2 d(h1,h3) = 2 d(h2,h3) > 2 !!!
- 26. Свойства групп: 1. все вакансии в группе должны отличаться друг от друга не более чем на определенную величину; 2. добавление, изменение или удаление не должно приводить к полному изменению состава групп; 3. количество групп заранее не известно.
- 27. Иерархическая кластеризация Complete linkage (метод полной связи) Сложность O(n3 ) Дендрограмма a b bc de def bcdef abcdef dc e f
- 29. Дендрограмма a gb j k lndc e f ih m a g b j k i l n d c e f h m distance threshhold
- 30. Дендрограмма a gb j k lndc e f ih m a g b j k i l n d c e f h m distance threshhold
- 33. Постановка задачи: оценить сходство вакансий; объединить похожие вакансии в группы; • показать одного представителя группы в выдаче.
- 34. Реализация очередь в rabbitmq на вычисление simhash очередь в rabbitmq на кластеризацию SPH_GROUPBY_ATTR hierarchical-clustering package
- 35. Постановка задачи: оценить сходство вакансий; объединить похожие вакансии в группы; показать одного представителя группы в выдаче.
- 37. Метрики 1. конверсия в отклики (отношение всех поисков к поискам с отправкой резюме) — Impact: 7.6% 2. конверсия в отклики с первой страницы поиска с кластером на ней — Impact: 9.1% 3. конверсия в просмотр двух и более уникальных клиентов на поиск — Impact: 6% 4. средняя и средне-максимальная глубина просмотра результатов поиска: control1 1.4406 1.4885 control2 1.4494 1.4835 grouped 1.3708 1.4424 В 75% поисков возможна группировка похожих вакансий. В 66% поисков пользователь видел похожие вакансии.