Совместный доклад с Михаил Сливинский по аналитике поисковой выдачи Яндекса

1. Многорукие бандиты
Яндекса
Станислав Поломарь
stas@webit.ru
webit
Современное SEO: идём
по приборам, по абрису
или наугад?
Михаил Сливинский
mikhail.slivinskiy@wikimart.ru
Wikimart

2. CTR ТОП10 на выборке комм. запросы Москва

3. CTR по данным beta.webmaster.yandex.ru
Десятки тысяч неуникальных коммерческих запросов.
Сотни тысяч показов, десятки тысяч кликов.

4. «Поэтому имеет смысл периодически показывать в
области видимости документы, по которым
пользовательской информации недостаточно для
принятия решения о полезности документа; при этом
априорная релевантность такого документа может
оказаться не самой высокой.»
http://webmaster.ya.ru/replies.xml?item_no=20999

5. Что сделал Яндекс?
За последние 2-3 года проводят активные исследования в области онлайн экспериментов в
выдаче.
На https://research.yandex.ru можно найти более 20 публикаций, которые так или иначе связаны с
этими вопросами, более 10 из которых относятся к этому году.
Любые сильные изменения не должны приводить к ухудшению качества выдачи, т.е. Яндекс
должен уметь:
1. хорошо предсказывать, какие документы стоит «подкинуть»
2. уметь быстро определять как то или иное изменение выдачи влияет на ее качество

6. «Finally, we applied the whole scheme to several SMAB algorithms and
experimentally demonstrated that it enables to notably increase the performance
of a major search system in terms of NDCG measure averaged over a 10 day
period»
“Gathering Additional Feedback on Search Results by Multi-Armed Bandits with Respect to Production Ranking”,
http://www.www2015.it/documents/proceedings/proceedings/p1177.pdf
«Extreme States Distribution Decomposition Method for Search Engine Online Evaluation»,
https://drive.google.com/file/d/0B3oTghWSSP4kUEtBZzVRcjFJZUk/

7. Что мы узнали из вчерашнего доклада:
1. Кандидаты - релевантные документы в московской коммерческой выдаче, для которых
прогнозная релевантность = полезный документ
2. Хостовых преференций у кандидатов нет
3. Суть - периодический буст релевантности документа-кандидата запросу с рандомизацией по
хосту
4. Объем “многорукобандитской” примеси ограничен потребностью сохранить pfound
5. Долгосрочный тренд при остановленном “бандите” статистически значим и положителен, т.е.
удалось найти “новые” полезные документы
6. “Бандит” опять запущен

8. Замечены раздельные итерации по топам

9. 3 мая 2015

10. Дальнейшая судьба этих хостов:

11. Вот такое лето :)

12. Октябрь.

13. Документное или хостовое сравнение

14. Отфильтровать штрафы или бусты
можно через нарушения условия
транзитивности

15. В поисках “честной” релевантности
Для интересующих нас документов будем проводить попарное сравнение со
всеми документами из ТОП100.
Документы, которые занимают более высокие позиции, но обладают
меньшей релевантностью - возможно, “подкинуты” бандитом.
В таблицах ниже:
- синим отмечены продвигаемые документы
- белым отмечены документы, которые “должны быть выше”
- желтым отмечены документы, которые “должны быть ниже”

16. 2х словный ВК/ВЧ

17. 2х словный СК/СЧ

20. Что если по сотням хостов и тысячам
запросов собрать подобные срезы и
сравнить с реальной выдачей?

22. Бандит: статистика

23. Бандит: статистика

24. Активность по хостам

25. Бандит: немного иллюстраций

26. Бандит: резюме
уменьшилось количество подмесов бандита
на сегодня вчера большая часть запросов стабильны
основным окном для подброса является ТОП30
работает позапросно
хватает как НЧ, так и СЧ или ВЧ
в рамках документа, как правило, работает однонаправленно
есть документы, которые подкидываются почти по всей семантике
со временем добавочная релевантность пересчитывается в реальную
пересчет происходит в течение нескольких апдейтов
мало/нет активности в регионах и по информационных запросам

27. Влияние бандита значимо, но что же
ссылки?
“Cсылочное ранжирование по коммерческим запросам в
Москве и регионе работает так же, как и до 2014 года.”
Екатерина Гладких, 3.11.2015

28. Ищем “СНСС” по ~ 20К комм. запросов Москва

29. Доля СНСС по документам в ТОП30 по ~30К комм. запросов Москва

30. Доля сниппетов с НПС (Яндекс, все запросы)

31. Доля сниппетов с НПС (Яндекс, коммерческие запросы)

32. НПС по регионам

33. Uniq hosts @Yandex10 = f (Q freq)

34. Персонализация Я по регионам
частотности от 2 до 10 включительно,
Яндекс, октябрь

35. Динамика покрытия спроса колдунщиком Маркета
По 55 980 551 запросам к поиску
Яндекса, август-ноябрь 2015

36. Динамика распределения колдунщиков по топу

37. Резюме:
❏ Продвигать как можно более широкую семантику.
Проект не проседает целиком за счет «бандита».
❏ Ориентироваться на все поисковые машины.
Уходить от позиций к трафику (как минимум).
❏ Не стоит рассчитывать на существенный вклад ссылочных факторов.
❏ При встрече с бандитом важно иметь наилучшие поведенческих и CTR.
❏ Фокусироваться на:
❏ техническом SEO
❏ внутренней оптимизации
❏ улучшении запросных и иных поведенческих факторов
❏ аналитике

38. Несколько
иллюстраций

39. Продвижение по 20 запросам?

40. Выполнение технических требований. 404.

41. Выполнение технических требований. Дубли.

42. Что еще? Например, управление брендами:

43. Спасибо за внимание.
Вопросы?
Станислав Поломарь,
stas@webit.ru
webit
Михаил Сливинский,
mikhail.slivinskiy@wikimart.ru
Wikimart