Алгоритмы автоматизированного составления и группировки семантических ядер (Николай Хиврин)

1. Алгоритмы автоматизированного составления и
группировки семантических ядер
Николай Хиврин, CEO ALTWeb Group

2. Над чем работаем?
1. Составление базы запросов
2. Составление семантического ядра
3. Группировка семантического ядра

3. Есть ли смысл в базе запросов
без привязки к регионам?

4. Проблема регионов
1. Страна
2. Федеральный округ, штат и т.п.
3. Область
4. Город

5. Что важно знать о регионе
1. В какие вышестоящие регионы входит
2. Количество жителей и проникновение интернета
3. Удаленность от других регионов
4. Область на карте

12. Что нужно знать по каждому региону
1. Популярность запроса в поисковых системах
2. Наличие запроса в подсказках
3. Доля геонезависимых результатов
4. Доля коммерческих сайтов
5. Доля спектральных результатов

13. Источники данных
1. Статистика запросов поисковых систем
2. Поисковые подсказки
3. Результаты поиска
4. Счетчики посещаемости на сайтах
5. Данные из популярных плагинов для браузеров

14. Получение региональных результатов поиска
Яндекс: таблица соответствия LR базе регионов
Google: домен поисковой системы + IP из региона

15. Количество запросов
1. Яндекс обрабатывает 200 млн запросов в сутки из
которых 25-50% приходится на ботов
2. Более 25% запросов являются уникальными
(набираются менее 1 раза в месяц)
Попадание в базу имеет смысл при статистике не
менее 5 запросов в месяц
Т.е. в измеряемую популярность может попасть
не более 100 млн запросов в сутки

16. Количество запросов
100 млн запросов * 30 дней = 3 млрд запросов в месяц
Если бы запросы набирались равномерно по 5 раз в месяц,
то их всего было бы 600 млн штук, но есть и популярные
запросы
Для России полная база запросов ~50 млн штук
Англоязычные запросы ~110 млн штук

17. Случайные запросы (хвост)
Для запросов без статистики можно делать вероятностные
проверки, т.е. проводить тесты на нахождение сайта в
поиске по случайному запросу

18. Составление семантического ядра
1. Поиск запросов из видимости конкурентов
2. Поиск запросов по маске
3. Статистика поисковых переходов конкурентов (закрытые
данные)

19. Поиск запросов по всем конкурентам

20. Размеры семантических ядер
1. Крупнейшие E-Commerce проекты с широким спектром
товаров ~1 млн запросов
2. Крупный портал, большой E-Commerce 50-500к запросов
3. Портал, многопрофильный бизнес 10-50к запросов
4. Сайт в конкурентной нише 1-10к запросов
5. Ниша с низкой конкуренцией 100-1000 запросов

21. Подходы к кластеризации
1. Руками, по логической структуре сайта и морфологии
2. Автоматически

22. Автоматическая кластеризация
1. Поиск общих сайтов и страниц по запросам в результатах
поиска
2. Морфологический анализ запросов с учетом IDF (inverse
document frequency) на большой коллекции документов
купить sony vaio svl2413z1r
sony vaio svl2413z1r
купить sony vaio pro 13

23. Вычислительные сложности
Матрица совместимости пар запросов на 1000000^2 значений
1 2 3 4 … 1000000
1 + - + +
2 -
3
4
…
1000000

24. Транзитивность
Если запрос A подходит B, а запрос B подходит запросу C
То подходит ли запрос A к запросу C?

25. Алгоритм пошаговой кластеризации
1. Последовательно смягчаем критерии кластеризации
1. Последовательно выбираем запросы из семантики
1. Относим запрос к уже существующему кластеру
(запрос совместим со всеми или частью слов из
кластера)
2. Порождаем новый кластер

26. Есть ли смысл в кластеризации без
последующего мониторинга?

27. Задачи мониторинга
1. Поиск новых запросов и их кластеризация
2. Многоуровневая кластеризация или фильтрация (пример:
все запросы со словом “купить” или все запросы, по которым
пусть страницы начинается с “/for_home/”)
3. Изменение средневзвешенных значений по кластеру:
позиция, трафик, конверсия

28. Оценка объема данных
Запросов – 50 000 000
Регионов – 30
Глубина анализа – 100 позиций
Поисковых систем – 2
Частота обновления – 4 суток
===
27 375 млрд элементов в год

29. Хранение позиций
~30 байт на элемент с учетом индексации
===
821 Tб в год
Но самое сложное – хранение путей релевантных страниц (!)

30. Есть ли смысл в кластеризации без
автоматизации продвижения?

31. Есть ли смысл в кластеризации без
интеграции с аналитикой?

32. Вопросы
Николай Хиврин
CEO ALTWeb Group
http://www.megaindex.org/khivrin
http://facebook.com/khivrin