Презентация Олега Шестакова о том, как увеличить % проиндексированных страниц на сайтах любого объема.

1. Максимизация индекса
Олег ШестаковOptimization 2015
Рекламно-консалтинговое агентство Rush
Москва ул. Бутлерова 17б m: oleg@rush-agency.ru

2. Рекламно-консалтинговое агентство Rush
Москва ул. Бутлерова 17б m: oleg@rush-agency.ru
 Занимаюсь SEO c 2008 года
 Участвовал более чем в 100 SEO-проектах
 Специализация: Ecommerce, проекты с обширной
семантикой, автоматизация в SEO
 CEO в Rush Agency
 CTO в Rush Analytics
Обо мне

3. Рекламно-консалтинговое агентство Rush
Москва ул. Бутлерова 17б m: oleg@rush-agency.ru
 Что такое краулинговый бюджет и от чего зависит
 Какие методы ускорения индексации используют
оптимизаторы?
 Какие методы реально работают
О чем доклад?

4. Рекламно-консалтинговое агентство Rush
Москва ул. Бутлерова 17б m: oleg@rush-agency.ru
 Crawl Rank – квота на заходы индексирующих роботов на сайт. Может
рассчитываться отдельно для сайта/папки/URL
От чего зависит?
 Регулярность обновления контента
 Входящие ссылки на хост/папку/URL
 Трафик (в т.ч. поисковый) на сайт/папку/URL
 Паттертн URL (посимвольный матчинг)
 Качество и уникальность контента (уникальность шинглов)
Краулинговый бюджет (Crawl Rank) –
что это*

5. Рекламно-консалтинговое агентство Rush
Москва ул. Бутлерова 17б m: oleg@rush-agency.ru
 Ссылки, трафик – чем больше тем лучше (спасибо, кэп  )
 Ссылки и трафик на хабовые страницы
 Регулярность обновления контента
 Входящие ссылки на хост/папку/URL
 Трафик (в т.ч. поисковый) на сайт/папку/URL
 Паттертн URL (посимвольный матчинг)
 Качество и уникальность контента (уникальность шинглов в масштабах
интернета)
Как максимизировать краулинговый
бюджет?

6. Рекламно-консалтинговое агентство Rush
Москва ул. Бутлерова 17б m: oleg@rush-agency.ru
Паттерн URL – по нашим наблюдениями Яндекс мэтчит похожие URL
побуквенно и выделяет краулинговый бюджет на весь кластер страниц, т.е.:
www.site.ru/skorovarki
www.site.ru/skorovarki/redmond
www.site.ru/skorovarki/redmond/skorovarka-f-555-s
Вся папка будет иметь один и тот же бюджет на индексацию, в том числе и
карточки товара
URL вида www.site.ru/12345/skorovarka-f-555-s позволит каждой карточке
иметь свой бюджет на индексацию, не зависящий от категории, к которой она
относится (где 12345, например, ID товара базе данных)
Над чем можно работать точечно?

7. Рекламно-консалтинговое агентство Rush
Москва ул. Бутлерова 17б m: oleg@rush-agency.ru
Около 7-9го ноября был сменен паттерн URL карточек товара
Пример реакции робота на смену паттерна
URL кароточек

8. Рекламно-консалтинговое агентство Rush
Москва ул. Бутлерова 17б m: oleg@rush-agency.ru
Уникальность контента в масштабах интернета – старайтесь, чтобы ваш
контент был уникален по шинглам (в 5-6 слов).
 Для карточек товара старайтесь расположить текст характеристик НЕ как у
конкурентов – можно перемешать – поменять местами
 Если на карточке товара есть 2-3, а лучше более отзывов – она уже будет
достойна индексации
 Можно использовать методы генерации кусков контента для
классифайдов: (недвижимость, адреса организаций, агрегаторы скидок) – это
работает. Пример www.shoppingplus.ru
Над чем можно работать точечно?

9. Рекламно-консалтинговое агентство Rush
Москва ул. Бутлерова 17б m: oleg@rush-agency.ru
Опрос 150 оптимизаторов, ноябрь 2015 года, Rush Agency
Популярность методов ускорения индексации

10. Рекламно-консалтинговое агентство Rush
Москва ул. Бутлерова 17б m: oleg@rush-agency.ru
 Да, все еще работает – не стоит пренебрегать этим методом. По нашей
информации нет «пессимизации на приход бота» за авто-сабмит в Addurl
ботами
(Из беседы с сотрудниками Яндекса на одной из конференций)
 При добавлении в Addurl Google – страница может попадать в индекс в
считанные минуты
 Больше никаких нюансов – разгадываем капчу, постим страницы в Addurl

Addurl Яндекса и Google

11. Рекламно-консалтинговое агентство Rush
Москва ул. Бутлерова 17б m: oleg@rush-agency.ru
 Посты за 2-5 рублей уже не работают, давно
 Яндекс получает прямой feed Twitter (инфо на прошлый год)
 Яндекс строит свои метрики «анти-спама» для прихода быстро-бота по
ссылкам из Twitter:
o Обсчитывается аналог PageRank внутри Twitter
o Обсчитывается количество подписчиков/ретвитов/связей
o Важно: обсчитывается отношение твитов с ссылками к твитам без
ссылок
o Обсчитываются метрики распространения твитов аккаунта
(По материалам научного семинара Яндекса)
 Решение: покупка твитов с реальных дорогих аккунтов/построение «умной
сетки»
Ссылки с Twitter

12. Рекламно-консалтинговое агентство Rush
Москва ул. Бутлерова 17б m: oleg@rush-agency.ru
 После закрытия ya.ru не было замечено существенного влияния ссылок из
социальных сетей на привод бота
 «Тема» с кнопками Pluso от Яндекса по нашим наблюдениям не дает
такого эффекта
 Спам в Google+ не имеет смыла т.к. проблем с индексацией в Google
обычно нету
Ссылки из социальных сетей

13. Рекламно-консалтинговое агентство Rush
Москва ул. Бутлерова 17б m: oleg@rush-agency.ru
 Sitemap.xml является отдельной, обособленной точкой входа
индексирующего бота на сайт (из бесед с сотрудниками Яндекса)
 Sitemap.xml является не правилом, а рекомендацией для робота – можно
смело удалять проиндексированные страницы из Sitemap.
На опыте больших сайтов – страницы не выпадают из индекса – все ОК 
 Метод работает для привода бота
 Метод эффективен лишь для страниц, которые достойны индексации
Sitemap.xml только с непроиндексированными
URL

14. Рекламно-консалтинговое агентство Rush
Москва ул. Бутлерова 17б m: oleg@rush-agency.ru
 Крайне эффективная методика простановки нужных ссылок для бота
 Довольно сложная техническая реализация
 Полный автомат с обратной связью – произведение SEO-искусства 
«Ловец ботов»

15. Рекламно-консалтинговое агентство Rush
Москва ул. Бутлерова 17б m: oleg@rush-agency.ru
 Покупка ссылок с главных страниц в Sape – на данный момент слишком
рискованная методика, которая не стоит своих риском. Эффект на данный
момент крайне слабый
 Сервисы типа GetBot.guru – логика аналогична методу с Sape, все еще
работает но уже не так как раньше.
По информации с последней вебмастерской – метод «был спален» и теперь
индексирующий робот и быстробот знают – какие ссылки проставлены этими
сервисами.
Из-за «мутных» схем оплаты сервисов «ускорения индексации»
нерентабельна с финансовой точки зрения.
Прочие популярные методы

16. Рекламно-консалтинговое агентство Rush
Москва ул. Бутлерова 17б m: oleg@rush-agency.ru
 Плоская структура
 Хабовые страницы
 Ловец ботов
 Ссылочное на хабовые страницы
Комбинируем методы и создаем комбайн
индексации

17. Рекламно-консалтинговое агентство Rush
Москва ул. Бутлерова 17б m: oleg@rush-agency.ru
 Плоская структура
 Хабовые страницы
 Ловец ботов
 Ссылочное на хабовые страницы
Комбинируем методы и создаем комбайн
индексации

18. Рекламно-консалтинговое агентство Rush
Москва ул. Бутлерова 17б m: oleg@rush-agency.ru
Хабовые страницы – страницы, которые содержат списки
разделов/подразделов в большом количестве и обычно не имеют поискового
трафика. Работают для навигации пользователей и ботов.
 Разводим все хабовые страницы на 1 клик от главной
 С хабовых страниц делаем ссылки на хабовые второго уровня
 Связываем хабовые страницы второго уровня между собой для удержания
в индексе
Комбайн индексации: плоская структура & хабы

19. Рекламно-консалтинговое агентство Rush
Москва ул. Бутлерова 17б m: oleg@rush-agency.ru
Портал недвижимости – пример хабовых страниц

20. Рекламно-консалтинговое агентство Rush
Москва ул. Бутлерова 17б m: oleg@rush-agency.ru
Хабовые 2LVL – смотрим у конкурентов

21. Рекламно-консалтинговое агентство Rush
Москва ул. Бутлерова 17б m: oleg@rush-agency.ru
Проблема вложенности – не проблема 
Хабовые страницы Avito.ru

22. Рекламно-консалтинговое агентство Rush
Москва ул. Бутлерова 17б m: oleg@rush-agency.ru
Суть технологии – в момент прихода робота на страницу, специальный скрипт
показывает роботы ссылки именно на непроиндексированные страницы.
Оформление – «рекомендуемые товар», «лидеры продаж» и т.д.
Комбайн индексации: «ловец ботов»

23. Рекламно-консалтинговое агентство Rush
Москва ул. Бутлерова 17б m: oleg@rush-agency.ru
«Ловец ботов» - разберем подробнее
1. Ловим бота по User-agent
2. В момент загрузки страницы подмешиваем в код не
проиндексированные ссылки
3. Если бот перешел по ссылке удаляем ее из стека
простановки
4. Новая итерация с оставшимся стеком

24. Рекламно-консалтинговое агентство Rush
Москва ул. Бутлерова 17б m: oleg@rush-agency.ru
Ловец ботов: блок-схема

25. Рекламно-консалтинговое агентство Rush
Москва ул. Бутлерова 17б m: oleg@rush-agency.ru
Ловец ботов: пример реализации

26. Рекламно-консалтинговое агентство Rush
Москва ул. Бутлерова 17б m: oleg@rush-agency.ru
Ловец ботов – уровень БОГ

27. Рекламно-консалтинговое агентство Rush
Москва ул. Бутлерова 17б m: oleg@rush-agency.ru
Как правильно пробивать индексацию?
 Яндекс: только url:
 Google: только info:
Данные в панелях вебмастеров – кривые! Чтобы ни говорили сотрудники ПС!

28. Рекламно-консалтинговое агентство Rush
Москва ул. Бутлерова 17б m: oleg@rush-agency.ru
Как правильно пробивать индексацию?
 Яндекс: только url:
 Google: только info:
Данные в панелях вебмастеров – кривые! Чтобы ни говорили сотрудники ПС!

29. Рекламно-консалтинговое агентство Rush
Москва ул. Бутлерова 17б m: oleg@rush-agency.ru
Спасибо за внимание!
Доклад подготовил: Олег Шестаков
WEB: www.rush-agency.ru
www.rush-analytics.ru
Mail: oleg@rush-agency.ru
FB: Facebook.com/shestakov.oleg