САНКТ-ПЕТЕРБУРГСКАЯ
ИНТЕРНЕТ КОНФЕРЕНЦИЯ
СПИК 2014
28 мая 2014
(второй день)
1. Статистическое исследование
фильтра АГС-40 в Яндексе
2. Рекомендации по наращиваю
ссылочной массы
28 мая 2014
(второй д...
План доклада
3
1. Подходы, используемые в поисковых системах для
решения двух различных задач: антиспам и
ранжирование.
2....
Цели исследования
4
1. Исследование алгоритма фильтрации АГС
2. Поиск новых интересных фич и закономерностей
3. Корректиро...
Антиспам и ранжирование
5
При решении задач антиспама
1. Используются факторы, которые не участвуют в ранжировании.
Среди ...
Точность, полнота, F-мера
6
Поиск и настройка «оптимального» фильтра
Приоритет полноты
7
Нашли 100% сайтов достойных бана/фильтра
Приоритет точности
8
Все 100% наказанных сайтов были этого достойны
Выкат новых санкций в поиске
9
При выкатывании новых санкций и обновлений
1. Изучается поведение метрик качества поиска (p...
План доклада
10
1. Подходы, используемые в поисковых системах для
решения двух различных задач: антиспам и
ранжирование.
2...
АГС-40
11
Факты об АГС-40
1. Впервые замечен: 1 ноября 2013.
2. Официально анонсирован: 6 ноября 2013. В блоге
компании «Я...
АГС-40: исследование
12
Данные на входе (полная база биржи ссылок)
1. База: 17 744 сайта, при проверке «живых»: 16 442 сай...
Попали под АГС: всего
13
Итого попали под АГС-40
Типичная ситуация
Сейчас: обнуляется тИЦ (!)
и сайт может оставаться в
ин...
Сайты под АГС: по доменам
14
Доля сайтов под АГС с заданной доменной зоной
План доклада
15
1. Подходы, используемые в поисковых системах для
решения двух различных задач: антиспам и
ранжирование.
2...
Сайты под АГС: YACA
16
• Среди сайтов под АГС в YACA — 10%
• Среди сайтов без АГС в YACA — 25%
YACA
снижает
вероятность
в ...
Сайты под АГС: DMOZ
17
• Среди сайтов под АГС в DMOZ — 3,5%
• Среди сайтов без АГС в DMOZ — 19%
DMOZ
снижает
вероятность
в...
Сайты под АГС: YACA + DMOZ
18
• Среди сайтов под АГС в YACA+DMOZ — менее 0,25%
• Среди сайтов без АГС в YACA+DMOZ — 10%
YA...
Сайты под АГС: торговали ссылками
19
• Явной зависимости от торговли временными /
арендными ссылками — НЕТ!
Общее распределение по CMS
20
• Взяты CMS с числом сайтов в группе более 150 штук.
• Всего для исследования вышло: 16 103 ...
Сайты под АГС: CMS сайта
21
1. Есть ли зависимость наложения АГС от типа CMS?
2. Bitrix — минимальный процент сайтов попав...
Сайты под АГС: Яндекс.Директ
22
Влияние блоков Яндекс.Директ на АГС:
• Наличие Яндекс.Директ — отличный знак!
• Попали под...
Сайты под АГС: возраст домена
23
Есть ли влияние возраста домена на АГС?
• Всего исследовалось 8 299 сайта. Доли сайтов ра...
Сайты под АГС: тИЦ
24
Есть ли влияние показатель тИЦ на АГС?
• Всего исследовалось 16 402 сайта.
• Зависимость есть, причё...
Сайты под АГС: посещаемость
25
Есть ли влияние посещаемости сайта на АГС?
• Всего исследовалось 6 986 сайтов.
• Резкое пад...
АГС: исходящих ссылок на страницу
26
Как сказывается на наложении АГС исходящие ссылки?
• Всего исследовалось 11 726 сайто...
План доклада
27
1. Подходы, используемые в поисковых системах для
решения двух различных задач: антиспам и
ранжирование.
2...
Статистическое исследование АГС
28
Выводы
1. Наблюдается корреляция вероятности наложения
фильтра АГС с рядом классических...
Физический смысл факторов
29
1. Наличие трафика: говорит о пользе сайта, интересе к
нему пользователей (желателен непоиско...
Предостережения
30
1. Тем не менее, стремитесь получать ссылки с
различными статистическими характеристиками
(антиспам).
2...
План доклада
31
1. Подходы, используемые в поисковых системах для
решения двух различных задач: антиспам и
ранжирование.
2...
Снятие фильтра АГС-40
32
Замечены, также следующие негативно
сказывающие факторы на коммерческом сайте:
1. Отсутствие конт...
Действия для снятия санкций
33
1. Контакты + время работы + схема
проезда + реквизиты.
2. Удаление статей + написание 2-3
...
Полезные ссылки
34
Ссылки на вспомогательные материалы
1. Всё о продвижении сайтов самостоятельно:
http://www.pixelplus.ru...
Помощь SEO-специалисту и бизнесу
35
Остались вопросы?
Давайте найдем ответы на них!
http://www.pixelplus.ru/samostoyatelno...
Интересно? Узнать больше!
36
Цена: от 12 000 руб!
Старт: 17 июня
4 дня обучения + VIP
день для работы со
своим проектом
За...
«Статистическое исследование
фильтра АГС-40 в Яндексе»
28 мая 2014
(второй день)
Upcoming SlideShare
Loading in …5
×

СПИК-2014. Исследование АГС-40. [Севальнев Дмитрий]

3,836 views

Published on

Представлено статистическое исследование фильтра АГС-40 в Яндексе. Поиска закономерностей и корреляция с рядом классических SEO-показателей сайтов. Данные на основе пробивки полной базы вечных ссылок.
Подробности: http://www.pixelplus.ru/samostoyatelno/

Published in: Data & Analytics

СПИК-2014. Исследование АГС-40. [Севальнев Дмитрий]

  1. 1. САНКТ-ПЕТЕРБУРГСКАЯ ИНТЕРНЕТ КОНФЕРЕНЦИЯ СПИК 2014 28 мая 2014 (второй день)
  2. 2. 1. Статистическое исследование фильтра АГС-40 в Яндексе 2. Рекомендации по наращиваю ссылочной массы 28 мая 2014 (второй день)
  3. 3. План доклада 3 1. Подходы, используемые в поисковых системах для решения двух различных задач: антиспам и ранжирование. 2. Масштаб внедрения нового фильтра АГС для ссылочных бирж и агрегаторов. 3. Классические SEO-факторы повышающие и понижающие вероятность наложения фильтра. Статистика. 4. Прочие факторы, сказывающиеся на наложении фильтра. 5. Советы по формированию ссылочного профиля для сайта. 6. Кейсы по снятию санкций.
  4. 4. Цели исследования 4 1. Исследование алгоритма фильтрации АГС 2. Поиск новых интересных фич и закономерностей 3. Корректировка алгоритмов наращивания ссылок 4. Проверка утверждений бирж и агрегаторов 5. Оценка биржи вечных ссылок и в целом подхода к «вечным» статьям и ссылкам
  5. 5. Антиспам и ранжирование 5 При решении задач антиспама 1. Используются факторы, которые не участвуют в ранжировании. Среди них могут быть: • CMS-сайта • Доля роботизированных запросов • Скорость прироста контента на сайте • Количество исходящих коммерческих ссылок к числу страниц в индексе поисковой системы • И другие… 2. Оптимизируются свои метрики качества «антиспама». 3. Ищется баланс точности и полноты.
  6. 6. Точность, полнота, F-мера 6 Поиск и настройка «оптимального» фильтра
  7. 7. Приоритет полноты 7 Нашли 100% сайтов достойных бана/фильтра
  8. 8. Приоритет точности 8 Все 100% наказанных сайтов были этого достойны
  9. 9. Выкат новых санкций в поиске 9 При выкатывании новых санкций и обновлений 1. Изучается поведение метрик качества поиска (pFound и подобных). 2. Для значительных изменений: • расчет метрик качества • анализ поведения пользователей на выдаче (пользовательские метрики):  с разбиением запросов на группы  замер множества показателей по выдаче  уход в другие поисковые системы
  10. 10. План доклада 10 1. Подходы, используемые в поисковых системах для решения двух различных задач: антиспам и ранжирование. 2. Масштаб внедрения нового фильтра АГС для ссылочных бирж и агрегаторов. 3. Классические SEO-факторы повышающие и понижающие вероятность наложения фильтра. Статистика. 4. Прочие факторы, сказывающиеся на наложении фильтра. 5. Советы по формированию ссылочного профиля для сайта. 6. Кейсы по снятию санкций.
  11. 11. АГС-40 11 Факты об АГС-40 1. Впервые замечен: 1 ноября 2013. 2. Официально анонсирован: 6 ноября 2013. В блоге компании «Яндекс»: http://webmaster.ya.ru/16272 3. Было несколько «волн» наложения санкций. 4. Регулярное обновление базы и выход ряда сайтов из-под санкций и попадание под санкций новых. 5. Ссылочными биржами даны различные оценки: от 1% до 20% от всей ссылочной базы.
  12. 12. АГС-40: исследование 12 Данные на входе (полная база биржи ссылок) 1. База: 17 744 сайта, при проверке «живых»: 16 442 сайта 2. В каких TLD?
  13. 13. Попали под АГС: всего 13 Итого попали под АГС-40 Типичная ситуация Сейчас: обнуляется тИЦ (!) и сайт может оставаться в индексе Яндекса
  14. 14. Сайты под АГС: по доменам 14 Доля сайтов под АГС с заданной доменной зоной
  15. 15. План доклада 15 1. Подходы, используемые в поисковых системах для решения двух различных задач: антиспам и ранжирование. 2. Масштаб внедрения нового фильтра АГС для ссылочных бирж и агрегаторов. 3. Классические SEO-факторы повышающие и понижающие вероятность наложения фильтра. Статистика. 4. Прочие факторы, сказывающиеся на наложении фильтра. 5. Советы по формированию ссылочного профиля для сайта. 6. Кейсы по снятию санкций.
  16. 16. Сайты под АГС: YACA 16 • Среди сайтов под АГС в YACA — 10% • Среди сайтов без АГС в YACA — 25% YACA снижает вероятность в 2.5 раза
  17. 17. Сайты под АГС: DMOZ 17 • Среди сайтов под АГС в DMOZ — 3,5% • Среди сайтов без АГС в DMOZ — 19% DMOZ снижает вероятность в 5.4 раз
  18. 18. Сайты под АГС: YACA + DMOZ 18 • Среди сайтов под АГС в YACA+DMOZ — менее 0,25% • Среди сайтов без АГС в YACA+DMOZ — 10% YACA+DMOZ снижают вероятность в 40 раз!
  19. 19. Сайты под АГС: торговали ссылками 19 • Явной зависимости от торговли временными / арендными ссылками — НЕТ!
  20. 20. Общее распределение по CMS 20 • Взяты CMS с числом сайтов в группе более 150 штук. • Всего для исследования вышло: 16 103 сайта. Супер-помощь в определении CMS: Никулин Павел — SEO-эксперт www.facebook.com/ pavel.nikulin.9
  21. 21. Сайты под АГС: CMS сайта 21 1. Есть ли зависимость наложения АГС от типа CMS? 2. Bitrix — минимальный процент сайтов попавших под фильтр АГС (правда и доноров мало).
  22. 22. Сайты под АГС: Яндекс.Директ 22 Влияние блоков Яндекс.Директ на АГС: • Наличие Яндекс.Директ — отличный знак! • Попали под АГС порядка 4% сайтов с Яндекс.Директ.
  23. 23. Сайты под АГС: возраст домена 23 Есть ли влияние возраста домена на АГС? • Всего исследовалось 8 299 сайта. Доли сайтов разного возраста под АГС
  24. 24. Сайты под АГС: тИЦ 24 Есть ли влияние показатель тИЦ на АГС? • Всего исследовалось 16 402 сайта. • Зависимость есть, причём почти линейная!
  25. 25. Сайты под АГС: посещаемость 25 Есть ли влияние посещаемости сайта на АГС? • Всего исследовалось 6 986 сайтов. • Резкое падение доли сайтов под АГС после 150 посетителей и после 300 посетителей в сутки.
  26. 26. АГС: исходящих ссылок на страницу 26 Как сказывается на наложении АГС исходящие ссылки? • Всего исследовалось 11 726 сайтов. • Общая тенденция: увеличения числа исходящих ссылок в расчете на страницу увеличивает вероятность.
  27. 27. План доклада 27 1. Подходы, используемые в поисковых системах для решения двух различных задач: антиспам и ранжирование. 2. Масштаб внедрения нового фильтра АГС для ссылочных бирж и агрегаторов. 3. Классические SEO-факторы повышающие и понижающие вероятность наложения фильтра. Статистика. 4. Прочие факторы, сказывающиеся на наложении фильтра. 5. Советы по формированию ссылочного профиля для сайта. 6. Кейсы по снятию санкций.
  28. 28. Статистическое исследование АГС 28 Выводы 1. Наблюдается корреляция вероятности наложения фильтра АГС с рядом классических SEO-показателей. 2. Выбираем доноры с: • трафиком от 300 в сутки • YACA + DMOZ • с блоками Яндекс.Директ • Bitrix и UCOZ… • … тИЦ от 300
  29. 29. Физический смысл факторов 29 1. Наличие трафика: говорит о пользе сайта, интересе к нему пользователей (желателен непоисковый трафик). 2. YACA + DMOZ: ручная модерация сайта, возможно исключение сайта из каталогов после перепроверки. 3. Яндекс.Директ: ручная проверка + наличие трафика (примерно от 300 пользователей в сутки). 4. CMS: косвенный фактор. Платная CMS + платные модули. 5. тИЦ: при расчете Яндекс фильтрует входящие ссылки, наличие естественных ссылок также свидетельствует об интересе пользователей к сайту.
  30. 30. Предостережения 30 1. Тем не менее, стремитесь получать ссылки с различными статистическими характеристиками (антиспам). 2. Ссылки с доноров с тИЦ=0 могут быть также важны как и ссылки с тИЦ>300. 3. Факторы антиспама построены также и на анализе анкоров входящих ссылок (анкор-листе). 4. Особое внимание уделяйте трафику на сайтах-донорах нормированному на число страниц в индексе (для качества) и общему трафику (для фильтрации).
  31. 31. План доклада 31 1. Подходы, используемые в поисковых системах для решения двух различных задач: антиспам и ранжирование. 2. Масштаб внедрения нового фильтра АГС для ссылочных бирж и агрегаторов. 3. Классические SEO-факторы повышающие и понижающие вероятность наложения фильтра. Статистика. 4. Прочие факторы, сказывающиеся на наложении фильтра. 5. Советы по формированию ссылочного профиля для сайта. 6. Кейсы по снятию санкций.
  32. 32. Снятие фильтра АГС-40 32 Замечены, также следующие негативно сказывающие факторы на коммерческом сайте: 1. Отсутствие контактов и реквизитов компании. 2. Наличие большого числа бессмысленных («переоптимизированных») или неуникальных статей. 3. Плохое оформление контента (сканы, копипаст и т.д.). 4. Отсутствие обновления сайта длительное время. 5. Плохое окружение (IP-адрес хостинга).
  33. 33. Действия для снятия санкций 33 1. Контакты + время работы + схема проезда + реквизиты. 2. Удаление статей + написание 2-3 полезных материалов. 3. Полная техническая оптимизация. 4. Смена хостинга (фактор: цена). 5. Привлечение непоискового трафика на сайт (около 150 человек в сутки). 6. «Красивое» оформление материалов, орфография. 7. Письмо с техподдержку после индексации. Срок вывода: 1,5 месяца работы.
  34. 34. Полезные ссылки 34 Ссылки на вспомогательные материалы 1. Всё о продвижении сайтов самостоятельно: http://www.pixelplus.ru/samostoyatelno/ 2. АГС-40: факторы, влияющие на наложение санкций со стороны Яндекса: http://www.seonews.ru/analytics/AGS-40-faktory-vliyayushie-na-nalojenie- sanknsiy-so-storony-yandexa/ 3. Официальный анонс новой версии фильтра АГС от Яндекса: http://webmaster.ya.ru/16272 4. Презентации по SEO: http://www.slideshare.net/kakbactam/ 5. Ответы на вопросы по SEO и возможность задать свой: http://www.pixelplus.ru/samostoyatelno/otvety-na-voprosy/ 6. Образовательные видео по SEO и интернет-маркетингу: http://www.youtube.com/user/pixelplusru/videos
  35. 35. Помощь SEO-специалисту и бизнесу 35 Остались вопросы? Давайте найдем ответы на них! http://www.pixelplus.ru/samostoyatelno/ 1. База ответов на вопросы по SEO и рекламе 2. Возможность задать свой вопрос 3. Учебные материалы: видео, статьи, советы
  36. 36. Интересно? Узнать больше! 36 Цена: от 12 000 руб! Старт: 17 июня 4 дня обучения + VIP день для работы со своим проектом Заявка с сайта: searchengineeducation.ru/seo -coaching-spb
  37. 37. «Статистическое исследование фильтра АГС-40 в Яндексе» 28 мая 2014 (второй день)

×