#seoconf

1. Николай Хиврин, CEO MegaIndex
Алгоритмы выявления SEO-ссылок

2. Актуальность проблемы
- Минимизация учета SEO-ссылок
- Минусинск

3. Актуальные проблемы
- классификация сайтов
- определение тематики
- классификация документов
- анализ документа
- анализ графа ссылок
- анализ внешних показателей
- зеркала

5. Deep learning
- набор алгоритмов машинного обучения, которые
пытаются моделировать высокоуровневые абстракции в
данных, используя архитектуры, состоящие из множества
нелинейных трансформаций

6. Применение
- распознавание изображений
- распознавание смысла текста
- определение коммерческих факторов
- расширение запроса
- подсказки
и т.д.

7. Векторные представления слов (word
embeddings)
W: words -> Rn
W(“пластиковые”) = (0.1,0.3,-0.2,0.7,…)
W(“окна”) = (0.0,0.1,0.5,0.1,…)
Обычно, функция определяется матрицей

8. Функция корректности N-грамм

9. Word2vec
- вычисление расстояний между словами
https://code.google.com/archive/p/word2vec/

10. Word2vec

11. Word2vec

12. Новые подходы к проверке орфографии
- обучение на текстах с высоким уровнем доверия
- автоматическая подстройка алгоритма

13. Векторное представление документов
Векторная модель (vector space model) представление
коллекции документов векторами из одного общего для
всей коллекции векторного пространства

14. Классификация сайтов
1.Каталоги сайтов
2.Порталы и работе, отзывах
3.Новостные порталы
4.Форумы
5.Блоги
6.Контент-проекты
7.Бизнес-сайты

15. GBRT (Gradient Boosted Regression Trees)

16. Стандартные алгоритмы
1.PageRank
2.HITS (Hyperlink Induced Topic Search)
3.LSI (Latent Semantic Indexing)
4.LDA (Latent Dirichlet Allocation)
5.Обучаемые нейронные сети

17. Алгоритм LDA

18. Применение LDA:
- определение тематики сайта/документа
- выявление
коммерческих/некоммерческих сайтов

20. https://ru.megaindex.com/a/tcategories

21. Page Rank и Trust Rank

22. Анализ ссылок по ТОПам

24. Проблемы ссылочных доноров
- плохой контент
- плохой профиль внешних ссылок
- спам в исходящих ссылках

25. Контент
- наличие блоков рекламных сетей
- малый трафик
- неуникальный контент

26. Поиск зеркал и неуникального контента
- хеширование шинглов
- использование MinHash, SimHash

27. Вычисление Hash

28. MinHash

29. MinHash

30. Спам в исходящих ссылках
- текучка исходящих ссылок
- распределение тематик сайтов акцепторов
- распределение по анкорам
- расположение ссылок в документах
- отношение числа уникальных ссылок и акцепторов
к числу страниц

31. Плохой профиль внешних ссылок
- отношение ссылающихся IP к числу подсетей
- отношение Trust Rank и Page Rank
- динамика внешних ссылок

32. Вопросы
Николай Хиврин
CEO MegaIndex (https://megaindex.com/)
https://facebook.com/khivrin