Seo upgrade - аналитика накрутки пф

1. SEO-Upgrade
Аналитика санкций за накрутку
поведенческих факторов
5 марта 2015
«SEO-Upgrade»
Юрков Сергей

2. План доклада
2
1. Какие бывают ПФ.
2. Причины наложения санкций.
3. «Слабые места» по которым поисковая система
определяет факт накрутки поведенческих метрик.
4. Накрутка ПФ + Массовое использование SEO-ссылок.
5. Алгоритм работы при наложении фильтра на
практических примерах.

3. План доклада
2
1. Какие бывают ПФ.
2. Причины наложения санкций.
3. «Слабые места» по которым поисковая система
определяет факт накрутки поведенческих метрик.
4. Накрутка ПФ + Массовое использование SEO-ссылок.
5. Алгоритм работы при наложении фильтра на
практических примерах.

4. Типы поведенческих факторов
4
Разделяют следующие типы факторов
1. Запросонезависимые.
2. Запросозависимые.
3. Факторы, зависящие от запроса и выдачи.
4. Независимые факторы.
5. Хостовые.

5. Типы поведенческих факторов
5
Запросонезависимые:
• Imp(d) – число показов документа d по всем выдачам, в которых он встречался.
• Click(d) – число кликов на документ d по всем выдачам, в которых он встречался.
• CTR(d) – CTR d по всем выдачам.
• QClickNum(d) – число запросов, в выдачах по которым были клики на документ.
• DocVisitors(d,t) – число уникальных посетителей документа d за временной
интервал t.
• DocVisits(d,t) - число посещений документа d за временной интервал t.
• DocAvgTime(d) - среднее время просмотра документа d.
• DocAvgAction(d) - среднее количество активных действий пользователя на
документе d.

6. Типы поведенческих факторов
6
Запросозависимые:
• QImp(q,d) – число показов документа d в выдачах по запросу q.
• QClick(q,d) – число кликов на документ d в выдачах по запросу q.
• QCTR(q,d) – CTR d по в выдачах по запросу q
• FirstCtr(q,d) – CTR, когда d кликается первым в выдаче по запросу q.
• LastCtr(q,d) – CTR, когда d кликается последним в выдаче по запросу q.
• OnlyCTR(q,d) – CTR, когда кликается только d, по всем выдачам по q.
• %DocClicks(q,d) - доля кликов по документу d в выдачах по запросу q.
• QRCTR(q,d,r) - CTR(q,d), вычисленный для региона r.
• И др.

7. Типы поведенческих факторов
7
Факторы, зависящие от запроса и выдачи:
• QShow(q) – количество показов по запросу q.
• QClicks(q) – число кликов по выдачам запроса q.
• AvgClickPos(q) – средняя позиция кликнутых документов по всем выдачам
запроса q.
• AvgFirstPos(q) – средняя позиция документа, по которому кликают первым.
• AvgFirstTime(q) – среднее время до первого клика по выдаче по запросу q.
• И др.

8. Типы поведенческих факторов
8
Независимые факторы:
• NoClickNum – число запросов без кликов.
• OneClickNum – число запросов только с одним кликом.
• AvgClickNum – среднее число кликов по выдаче.
• AvgIndexInSession – среднее число выдач по запросу q в сессии.
• AvgClickInSession – среднее число кликов в сессии.
• PosCTR(k) – CTR в зависимости от места документа в выдаче k=1..10.
• AvgTime2FirstClick – среднее время до первого клика по выдаче.
• AvgTime2LastClick – среднее время до последнего клика по выдаче.
• И др.

9. Типы поведенческих факторов
9
Хостовые факторы
• HQImp(q,h) – число показов документов хоста h в выдачах по запросу q.
• HQClick(q,h) – число кликов на документы h в выдачах по запросу q.
• HQCTR(q,h) – CTR h по выдачам по запросу q
• HImp(h) – число показов документов h по всем выдачам, где они есть.
• HClick(h) – число кликов на документы h по всем выдачам, где они есть.
• HCTR(h) – CTR h по всем выдачам.
• BR(h) – BrowserRank хоста h.
• %SearchTraf(h) – доля трафика h от поисковых систем.
• HostVisitors(h,t) – число уникальных посетителей хоста за временной интервал t.
• И др.

10. Типы поведенческих факторов
10
1. Кликовые факторы
2. Поведение пользователя на SERP
3. Анализ поведения пользователя внутри сайта
4. Анализ источников трафика, свойств аудитории
5. Региональные срезы всех предыдущих факторов

11. Кликовые факторы
11
Кликовые факторы — построены на информации о количестве показов и
нажатий (кликов) страниц сайта в результатах поиска. Данные могут быть
агрегированы до хоста (сайта) или по группе запросов.
N

12. Поведения пользователя на выдаче
12
Мощные факторы
1. Количество показанных и нажатых результатов (вес клика)
2. Единственный клик в выдаче по запросу
3. Последний клик по запросу
4. Учитывается время от запроса по совершения действия

13. План доклада
2
1. Какие бывают ПФ.
2. Причины наложения санкций.
3. «Слабые места» по которым поисковая система
определяет факт накрутки поведенческих метрик.
4. Накрутка ПФ + Массовое использование SEO-ссылок.
5. Алгоритм работы при наложении фильтра на
практических примерах.

14. Причины наложения санкций
3
http://webmaster.ya.ru/replies.xml?item_no=10738

15. Отягчащающие факторы
15
 Сам факт использования систем
(может собираться и из
различных уязвимостей самих
сервисов).
 Наличие в логах сайта большого
числа пользователей, которые
замечены в накрутках других
сайтов (из поиска).
 Резкое (пороговое) изменение
CTR без изменения сниппета.
 Резкий рост общего показателя
CTR сайта (отношения числа
заходов к числу показов).
 Сочетание факторов — рост
поискового трафика и
синхронный рост числа
спамных/коммерческих ссылок.
 Процент поискового трафика на
сайт со второй и последующих
страниц выдачи.
 Наличие паттернов в поведении
пользователей (быстрый
просмотр сайтов из ТОП-10 и
дальнейший длительный переход
на продвигаемый сайт).

16. Применение санкций
16
В первую очередь штрафуются сайта, которые:
1. Являются последними в поисковой сессии пользователя осуществляющего
накрутку.
2. Имеют повышенные показатели таких метрик как (относительно других
сайтов в сессии):
• Число просмотренных страниц на сайте.
• Время, проведенное пользователем на сайте после захода из выдачи.
Таким образом, учитываются стандартные паттерны поведения, лежащие в
основе всех популярных сервисов накрутки, что ставит целесообразность
использования данных сервисов под большой вопрос. Совместно с
использованием метода маркировки подозрительных пользователей (IP),
сайты являющимся последними в поисковой сессии — могут попадать под
санкции.

17. Применение санкций
17

18. План доклада
2
1. Какие бывают ПФ.
2. Причины наложения санкций.
3. «Слабые места» по которым поисковая система
определяет факт накрутки поведенческих метрик.
4. Накрутка ПФ + Массовое использование SEO-ссылок.
5. Алгоритм работы при наложении фильтра на
практических примерах.

19. О каких слабых местах идет речь ?
19
История поисковых запросов
Первое на что обычно «забивают» представители массовых сервисов с
живыми людьми это история поисковых запросов. Сейчас спрос на такую
накрутку превышает предложение и по факту, замеры и расчёт показывают,
что в сервисах часто 1 пользователь может задавать до 50-80 различных
поисковых запросов, каждый из которых может быть в своей тематике.
Почему так происходит? Всё просто — спрос на переходы велик, а владелец
сервиса зарабатывает процент от исполненных заказах.

20. О каких слабых местах идет речь ?
20
Использование ботнетов и автоматических программ
Тут всё упирается в паттерны поведения, если есть какой-то алгоритм, который
говорит как действовать компьютеру, например, в момент простоя, то этот
алгоритм можно вычислить и эффективно фильтровать. Даже если разработать
десятки паттернов — это находится и фильтруется.

21. О каких слабых местах идет речь ?
21
«Косяки» в софте.
Часто, софт или эмуляция браузера, которая используется сервисом — палится
поисковой системой по ряду признаков.

22. О каких слабых местах идет речь ?
22
Сильные изменения динамических показателей.
Часто, люди которые пользуются услугами массовых сервисов рассчитывают
переходы не корректно, что приводит к сильному изменению значений
кликовых ПФ, если при этом, скажем, сниппет никак не менялся — делаем
выводы. А ещё через месяц или два на аккаунте может баланс уйти в минус… А
потом пополниться через 2-3 недели снова =).

23. О каких слабых местах идет речь ?
23
Перекосы показателей
Пользователи сервисов накручивают 2-3 поисковых запроса, а по факту
«крутить» надо хотя бы тематический кластер запросов. Таким образом, в
показателях сайта появляются перекосы.

24. О каких слабых местах идет речь ?
24
Статистические распределения по: браузерам, IP, глубине
просмотра, длительности сессии, «возрасту» пользователя
и т.д.
Когда у поиска есть глобальная база по всем этим статистическим показателям
и их распределению, то сильные отклонения от них, которые часто дают
массовые сервисы — могут ловиться и фильтроваться.

25. Как Яндекс отлавливает ботов
25
Первая ступень - это капча, так называемая роботоловилка.
Роботоловилка состоит из двух частей – классификатора робота и человека, и
теста, призванного отличить одного от другого. Тест же выглядит, как всем нам
хорошо знакомая капча – тест Тьюринга. На сегодняшний день это русские
слова:
Данный классификатор использует порядка 3 тыс.
факторов, это довольно много – больше, чем в поиске.
Его точность составляет более 99,5%.

26. Как Яндекс отлавливает ботов
26
Вторая ступень – быстрая и легкая очистка от роботов,
которая в основном используется в персонализированных
сервисах:
• Персонализация
• Поисковые подсказки
• …
Для ограничения reverse engineering’а

27. Как Яндекс отлавливает ботов
27
Третья ступень – глубокая очистка.
Алгоритм глубокой очистки это:
• Около 2000 факторов (распределений)
• Около 200 функций очистки
• В основном используется 34 фактора
Вот как выглядит смоделированное
пользовательское поведение, и вот
почему большая часть распознается
алгоритмом глубокой очистки:

28. Как Яндекс отлавливает ботов
28
Третья ступень – глубокая очистка.
Все эти данные отслеживаются Яндексом, накапливаются им и хранятся. Со
временем те сайты, которые злоупотребляют накруткой, пользуясь услугами
пресловутых сервисов или SEO-организаций, попадают под санкции. Санкции
накладываются на довольно длительный период, где-то около года. Перед этим
провинившийся получает следующее сообщение от саппорта:
*http://www.searchengines.ru/articles/s_chem_robotam_.html

29. Пример определения накрутки
29
Выделенный на скриншоте домен является
персональным сервисом накрутки, на
который могли попасть только
пользователи зарегистрированные в
Megaseo.
На верхнем скриншоте приведены
ресурсы, с которых люди чаще всего
заходили на Megaseo, а внизу, на которые
посетители чаще всего уходили с этого
зафильтрованного оптимизаторского
ресурса.

30. План доклада
2
1. Какие бывают ПФ.
2. Причины наложения санкций.
3. «Слабые места» по которым поисковая система
определяет факт накрутки поведенческих метрик.
4. Накрутка ПФ + Массовое использование SEO-ссылок.
5. Алгоритм работы при наложении фильтра на
практических примерах.

31. Накрутка ПФ+Seo-ссылки
31

32. Накрутка ПФ+Seo-ссылки
32
Динамика ссылочных профилей сайтов, под фильтром за накрутку ПФ:

33. Накрутка ПФ+Seo-ссылки
33
Динамика ссылочных профилей сайтов, под фильтром за накрутку ПФ:

34. Накрутка ПФ+Seo-ссылки
34
Как вы выглядело на сайтах:

35. Накрутка ПФ+Seo-ссылки
35
Анкоры = Поисковые запросы, по которым идут
накрученные заходы -> беда =)

36. План доклада
2
1. Какие бывают ПФ.
2. Причины наложения санкций.
3. «Слабые места» по которым поисковая система
определяет факт накрутки поведенческих метрик.
4. Накрутка ПФ + Массовое использование SEO-ссылок.
5. Алгоритм работы при наложении фильтра на
практических примерах.

37. Алгоритм работы при наложении санкций
37
1) Определение даты наложения санкций.
2) Переписка со службой поддержки Яндекса.
3) Поиск страниц, которые подверглись накрутке ПФ.
4) Составление письма в сервисы накрутки ПФ.
5) Дальнейшая стратегия развития проекта.

38. Определение даты наложения санкций
38
Резкое падение трафика пришлось на период лета с конца мая 2014 года по
июнь 2014 года, после чего наблюдался некий рост, а затем окончательное
проседание с начала августа 2014 года. Таким образом, с момента наложения
фильтра прошло порядка 6-8 месяцев.

39. Определение даты наложения санкций
39
• Где-то на месяц с 3 ноября по 4 декабря 2014 трафик из ПС Яндекс упал до
минимума, а затем вернулся до прежних значений на период с 4 по 30
декабря.
• Затем по прошествии месяца, в конце декабря (31 декабря) потерял
видимость в выдаче ПС Яндекса и не восстановился в позициях до
сегодняшнего дня.
• Сообщение в Яндекс блоге об очередной волне наказаний за накрутку ПФ
датируется от 3 декабря 2014 года. То есть за 1 месяц до того, как сайт
потерял позиции первый раз.

40. Определение даты наложения санкций
40

41. Подтверждение факта наложения санкций
41

42. Две стратегии работы
42
Сроки снятия фильтров за накрутку ПФ, как правило,
составляют от 6 месяцев, при условии полного прекращения
использования запрещенных методов. Но есть примеры и
более длительных сроков от 9 до 12+ месяцев.
После наложения санкций прошло
менее 2.5-3.5 месяцев
Новый домен + 301 редирект без
предварительной склейки
доменов (по словам Яндекса,
иногда санкции могут догнать=))
После наложения санкций прошло более 4-
5 месяцев
…

43. Поиск “накрученных страниц”
43
В ходе анализа был выявлен список из 93 запросов в Яндекс.Вебмастере, по
которым предыдущая компания по продвижению проводила мониторинг CTR.

44. Поиск “накрученных страниц”
44
Что было сделано:
1. По данным запросам было собрано количество переходов с 10.07.2014 -
03.02.2015. Большая часть запросов в этот период уже находилась за
пределами зоны видимости.
2. Посчитана средняя позиция сайта по запросам в выбранный промежуток
времени.
3. Запросы, по которым наблюдался трафик даже после потери видимости, с
большей долей вероятности и накручивались.
4. Аналитика проводилась только по посещениям из общих результатов
выдачи ПС Яндекс.

45. Поиск “накрученных страниц”
45
Ниже представлен список запросов, по которым с большей долей вероятности
проводилась наиболее активная накрутка ПФ.
Поисковая фраза Визиты Просмотры Отказы
Глубина
просмотра
Время на
сайте
Средняя
позиция
керамогранит для пола 85 787 5,90% 9,3 0:04:12 63
плитка для ванной комнаты 39 491 0,00% 12,6 0:06:20 74
плитка для ванной 24 562 8,30% 23,4 0:13:19 72
керамическая плитка для ванной 22 267 9,10% 12,1 0:06:36 76
купить плитку для кухни 22 218 9,10% 9,9 0:05:48 44
…
Всего за выбранный период по анализируемому списку запросов из ПС Яндекс
пришло порядка 450 посетителей, хотя как можно видеть средняя позиция по
запросам находится далеко за пределами второй и третьей страниц выдачи.
Можно заметить, что, например, по запросу [керамогранит для пола] на сайт из
общей выдачи Яндекса произошло 85 переходов, при условии, что средняя
позиция сайта в этот период была в районе 60 мест.

46. Удаление “накрученных страниц”
46
1. Удаляем страницу http://www.site.ru/plitka-dlya-vannoi/.
2. Удаляем все ссылки на данную страницу в рамках сайта.
3. Создаем полную копию страницы http://www.site.ru/plitka-dlya-vannoi/, но
уже по новому адресу, например, http://www.site.ru/plitka-dlya-vannoy/
4. настраиваем 301 редирект со страницы http://www.site.ru/plitka-dlya-
vannoi/ на http://www.site.ru/plitka-dlya-vannoy/.
5. Все внутренние ссылки на сайте заменяем на новую страницу
http://www.site.ru/plitka-dlya-vannoy/.
6. Дальнейшие работы по наращиванию ссылочной массы также
осуществляются на http://www.site.ru/plitka-dlya-vannoy/.

47. Письмо в сервисы накрутки
47
Как видно из графика, даже после 07.08.2014, когда было окончательное
проседание видимости сайта по запросам, регулярные переходы продолжались
еще длительное время, а последние были замечены и в конце 2014-начале 2015
года. Таким образом, есть вероятность, что накрутка продолжается и на
текущий момент и потому было составлено письмо в сервисы.

48. Письмо в сервисы накрутки
48
Все лгут =).
В целом сервисы могут и давать ложную информацию по поводу наличия
сайтов в своих системах. Наиболее перспективным вариантом тут
выглядят попытки получения информации от предыдущей компании,
занимавшейся продвижением, об используемом им сервисе и собственно
удалению сайта из системы, если попытки накрутки имели место быть.

49. Переписка со СП Яндекса
49
Письмо 4 февраля в службу поддержки Яндекса с приложенными файлами:
1. Скриншоты ответа писем из сервисов.
2. Скриншоты переходов из Яндекс.Метрики по запросам,
напоминающим накрученные.

50. Переписка со СП Яндекса
50
Небольшие приятности=).

51. Дальнейшая стратегия работы под санкциями
51
Цель: Получить хоть какой-то НЧ трафик и работать
над снятием фильтра.
1) Проведение SEO-аудита
• Внешние ссылки;
• Четкие и нечеткие дубли;
• Использование тегов h в качестве элементов верстки;
• Дублирующиеся title;
• Устранение чрезмерного использования тегов акцентирования
<strong>;
• Неуникальные тексты;
• И так далее.
2) Расширение функционала, коммерческой привлекательности сайта и числа
страниц в индексе.
3) Продвижение по большому пулу мНЧ и НЧ.
4) Переписка со службой поддержки и ожидание восстановления позиций,
ориентируясь на срок от 6 месяцев до 1 года.

52. Антикризисный план
52
1) Собрана семантика порядка 10 000 запросов на сайт в 3000 страниц.
• Частота от 47 000 до 1 (Общая).
• 90 % мНЧ и НЧ.
• 40 % запросов вида (запрос + бренд/название товара).
Например: [плитка trabia pamesa], [плитка trevi blanco], [плитка
underground white line], [плитка для кухни kerama marazzi] и т.д.
• Порядка 2 000 коммерческих запросов вида [запрос + цена/
купить]. Например, [напольная мозаика для детей купить].
• Порядка 1600 запросов вида [запрос+регион/страна]. Например,
[белорусская плитка квадро].
2) Проработка карточек товаров (title, мета и description по маске).
3) Внедрение SEO-аудита.
4) Дальнейшая проработка семантики.

53. Антикризисный план
53
Title
[Категория] [коллекция], Цвет [цвет из фильтра],[тематика из левого меню] от фабрики
[название бренда] ([страна производитель] купить по цене от [цена с карточки товара]
руб./м с доставкой по Москве.
Чтобы получилось так: <title>Плитка для ванной Венеция, цвет белый, моноколор от
Уралкерамика (Россия). Купить по цене от 500 руб./м с доставкой по Москве </title>
Description
[Категория][название бренда]([Страна производитель];)[название коллекции] в
наличии в интернет-магазине. Цена от [цена карточки товара] за кв.м. В наличии
размеры: [размер из карточки 1], [размер из карточки 2], [размер из карточки 3], [ну и
так далее все размеры]. Купить с доставкой по Москве.
Чтобы получилось: "Плитка для ванной Уралкерамика (Россия) Венеция в наличии в
интернет-магазине . Цена от 500 руб. за кв.м. В наличии размеры 30х30, 60х60, 28,28.
Купить с доставкой по Москве"

54. Контактная информация
54
Запросить презентацию или задать вопросы
— E-mail: sergey.yurkov@pixelplus.ru
— Сайт: www.pixelplus.ru
— Полезно: http://www.pixelplus.ru/samostoyatelno/