Влияние переходов по ссылкам на поисковое ранжирование, Николай Хиврин

1. Влияние переходов по ссылкам на
поисковое ранжирование
Николай Хиврин, CEO & Founder ALTWeb Group

2. А работают ли ссылки ?!
Эксперимент:
Проверим зависимость позиций в поисковой
выдачи от количества ссылок на домен

3. Возьмем 100 000 запросов с ценой по MegaIndex
более 1000 руб. и “wordstat” от 100 до 10 000.
По каждому запросу выберем первые 20
результатов

4. По каждому домену посчитаем количество
уникальных входящих ссылок

5. Посчитаем среднее количество внешних ссылок
на домен на каждой позиции

6. Яндекс (Москва)
В среднем в первой десятке на 30% больше ссылок, чем во второй

7. Google (Москва)
1. В среднем в первой десятке на 10% больше ссылок, чем во второй
2. Среднее количество ссылок в Google больше, чем в Яндекс

8. Yandex (Санкт-Петербург)
В среднем в первой десятке на 30% больше ссылок, чем во второй

9. Google (Санкт-Петербург)
1. В среднем в первой десятке на 16% больше ссылок, чем во второй
2. Среднее количество ссылок в Google больше, чем в Яндекс

10. Тематические срезы:
- высокая волотильность из-за небольшого числа
сайтов-конкурентов

11. Работа “BrowseRank: Letting Web Users Vote for
Page Importance” с конференции SIGIR’08, July
20–24, 2008, Singapore
http://research.microsoft.com/pubs/81574/fp032-liu.pdf

12. Научная работа специалистов из Яндекс “Fresh
BrowseRank”, 24.04.2014
https://tech.yandex.ru/research/2013/61/
Основная идея – повышение качества поиска за счет
быстрого нахождения новых качественных результатов
Подборка материалов по пользовательским факторам
https://www.megaindex.org/podborka_zapadnyih_statey_po_
polzovatelskim_faktoram

13. Исследование сетевой активности браузеров:
- Яндекс.Браузер
- Firefox с элементами Яндекса
- Google Chrome

14. Браузеры передают данные по HTTP и HTTPS
Но для передачи активности пользователей
используется SSL
Простой захват трафика сниффером (Wireshark и
т.п.) ничего не дает
Нужно делать атаку “Man in the middle” с
подменой SSL-сертификатов, чтобы
расшифровать трафик

15. Решение – mitmproxy (http://mitmproxy.org/)

16. Яндекс.Браузер – сервисные запросы
GET http://export.yandex.ru/bar/reginfo.xml?lang=ru
<< 200 OK 1.2kB
GET https://storage.ape.yandex.net/get/browser/experiments/browser.proto?osname=win
<< 304 Not Modified 0B
GET http://storage.ape.yandex.net/get/browser/smartback2
<< 304 Not Modified 0B
POST http://api.browser.yandex.ru/uma_proto
<< 200 OK 20B
Множество запросов dashboard (панель)
http://api.browser.yandex.ru/search-samples?lang=ru
http://export.yandex.ru/bar/reginfo.xml?region=&lang=ru&brid=yandex&_rand=201630906

17. Яндекс.Браузер – подсказки
Каждый символ для получения новых подсказок:
GET http://api.browser.yandex.ru/suggest/get?
part=seoconf3.altweb.ru&brandID=yandex&lang=ru
<< 200 OK 76B

18. Яндекс.Браузер – открытие страниц
При каждом открытии URL делается запрос (если ответ не 204, значит на сайте вирус):
GET https://sba.yandex.net/lookup?
pver=3.5&client=api&apikey=015237278f62ec454e4f278b126d663939000000009c568372d9
94200e&url=http://seoconf2.altweb.ru/
<< 204 No Content 0B
При посещении нового сайта:
GET https://api.browser.yandex.ru/sitelinks/get?domain=seoconf2.altweb.ru&lang=ru
<< 200 OK 2B
Событие клика и реферер передаются (!)

19. Firefox с элементами Яндекса
Сервисные запросы:
http://soft.export.yandex.ru/status.xml?stat=dayuse&ui=%7BD5A87203-C418-4E71-8BDB-
5F3D60EF6DB3%7D&ver=2.13.0&lang=ru&bn=Firefox&bv=32.0.1&os=WINNT&yasoft=vbff&
brandID=yandex&clid=1923014&tl=1411073722&fd=2014.09.19
GET http://api.browser.yandex.ru/dashboard/v2/get/?nodes=audit-www.
megaindex.ru&brandID=yandex&lang=ru
<< 404 Not Found 33B
POST http://wi2geo.mobile.yandex.net/getlocation
<< 200 OK 369B

20. Firefox с элементами Яндекса
Подсказки
GET http://api.browser.yandex.ru/suggest/get-elements?
brandid=yandex&locale=ru&part=seoconference.altweb.ru << 200 OK 81B
Enter при typein
GET http://clck.yandex.ru/jclck/dtype=stred/pid=0/cid=71477/path=ff-smartbox.
11_0.search_to_nav.not_shown.p1/pos=4/user_input=seo-conference.
altweb.ru/text=seo-conference.
altweb.ru/rnd=1411416462021/times=.193.193/loc_times=.13.13.13/matches=p2t
0.q2/ratio=24.24.1/ui=%7BD5A87203-C418-4E71-8BDB-
5F3D60EF6DB3%7D/seng=yandex.ru/cpst=0/crtd=0/sstime=5387/idletime=3042/*=
<< 200 Ok 15B
Открытие первой страницы сайта и внутренние
переходы по сайту не передаются (!)

21. Google Chrome
Подсказки:
GET http://suggest.seccint.com/CSuggestJson.ashx?prefix=seoconference.ru
<< 200 OK 23B
Каждый запрос:
POST https://clients4.google.com/chrome-sync/command/?
client=Google+Chrome&client_id=yO/RALMV%2B5PUger0DQOr/A%3D%3D
<< 200 OK 299B
При открытие каждой страницы через POST-запросы
передается много данных, в том числе GEO. (Формат
распознать сложно)

22. Выводы о полноте данных из браузеров
Яндекс может получать данные только из Яндекс.Браузера
(доля 5.2%)
Google имеет значительно больше данных: Google Chrome
(26.6%) + Android (19.7%)
http://www.liveinternet.ru/stat/ru/browsers.html?period=month

23. Предположения:
1.Яндекс.Браузер не сможет занять долю Google
Chrome и Android, а для нормальной работы
BrowseRank Яндексу нужно хотя бы 20%
2.Необходимы данные обо всех пользователях, так
как нужно таргетировать медийную рекламу
3.Возможный выход – обязательная установка
Метрики
4.Как можно продвинуть Метрику в массы –
шифровать рефереры
5.Сайты без Метрики будут ранжироваться все хуже

24. Предположения текущему BrowseRank:
1.У Google достаточно данных из собственных
браузеров
2.Яндекс все активнее использует данные из
Метрики

25. Эксперимент по влиянию переходов по ссылкам
1.На входе имеет несколько идентичных
сайтов/страниц с идентичным контентом
2.На все страницы покупаем несколько
идентичных ссылок
3.На ссылки по одной половине страниц начинает
делать переходы

26. Выбраны редкие, но существующие слова, чтобы
можно было потом сравнить позиции результатов

27. Усиление ссылок при помощи PFLink.ru

28. В итоге страницы имеющие ссылки с переходами
проранжировались значительно Выше

29. Срез по изменению видимости сайтов,
продвигавшихся в PFLink.ru за месяц:
1.Анализ 400 сайтов, по которым за последний
месяц делалось не менее 40 переходов в день
2.Средний прирост видимости в Google +21%
3.Средний прирост видимости в Yandex +18%

30. Усиление ссылок vs ссылки с трафиковых сайтов:
1.Если ссылка находится на посещаемой
странице, но переходов нет – это плохой сигнал
2.Есть ли смысл переплачивать за трафиковые
страницы?

31. Как можно естественным путем получить ссылки
с трафиком?
Продвижение пресс-релизов или статей-
прокладок в результатах поиска:
- выбор площадок, которые хорошо ранжируются
- контентная оптимизация статей
- внешняя оптимизация

33. Вопросы
Николай Хиврин
CEO & Founder ALTWeb Group
https://www.facebook.com/khivrin
http://www.megaindex.org/khivrin