2. Рекламно-консалтинговое агентство Rush
Москва ул. Бутлерова 17б m: oleg@rush-agency.ru
Занимаюсь SEO c 2008 года
Участвовал более чем в 100 SEO-проектах
Специализация: Ecommerce, проекты с обширной
семантикой, автоматизация в SEO
CEO в Rush Agency
CTO в Rush Analytics
Обо мне
3. Рекламно-консалтинговое агентство Rush
Москва ул. Бутлерова 17б m: oleg@rush-agency.ru
Что такое краулинговый бюджет и от чего зависит
Какие методы ускорения индексации используют
оптимизаторы?
Какие методы реально работают
О чем доклад?
4. Рекламно-консалтинговое агентство Rush
Москва ул. Бутлерова 17б m: oleg@rush-agency.ru
Crawl Rank – квота на заходы индексирующих роботов на сайт. Может
рассчитываться отдельно для сайта/папки/URL
От чего зависит?
Регулярность обновления контента
Входящие ссылки на хост/папку/URL
Трафик (в т.ч. поисковый) на сайт/папку/URL
Паттертн URL (посимвольный матчинг)
Качество и уникальность контента (уникальность шинглов)
Краулинговый бюджет (Crawl Rank) –
что это*
5. Рекламно-консалтинговое агентство Rush
Москва ул. Бутлерова 17б m: oleg@rush-agency.ru
Ссылки, трафик – чем больше тем лучше (спасибо, кэп )
Ссылки и трафик на хабовые страницы
Регулярность обновления контента
Входящие ссылки на хост/папку/URL
Трафик (в т.ч. поисковый) на сайт/папку/URL
Паттертн URL (посимвольный матчинг)
Качество и уникальность контента (уникальность шинглов в масштабах
интернета)
Как максимизировать краулинговый
бюджет?
6. Рекламно-консалтинговое агентство Rush
Москва ул. Бутлерова 17б m: oleg@rush-agency.ru
Паттерн URL – по нашим наблюдениями Яндекс мэтчит похожие URL
побуквенно и выделяет краулинговый бюджет на весь кластер страниц, т.е.:
www.site.ru/skorovarki
www.site.ru/skorovarki/redmond
www.site.ru/skorovarki/redmond/skorovarka-f-555-s
Вся папка будет иметь один и тот же бюджет на индексацию, в том числе и
карточки товара
URL вида www.site.ru/12345/skorovarka-f-555-s позволит каждой карточке
иметь свой бюджет на индексацию, не зависящий от категории, к которой она
относится (где 12345, например, ID товара базе данных)
Над чем можно работать точечно?
7. Рекламно-консалтинговое агентство Rush
Москва ул. Бутлерова 17б m: oleg@rush-agency.ru
Около 7-9го ноября был сменен паттерн URL карточек товара
Пример реакции робота на смену паттерна
URL кароточек
8. Рекламно-консалтинговое агентство Rush
Москва ул. Бутлерова 17б m: oleg@rush-agency.ru
Уникальность контента в масштабах интернета – старайтесь, чтобы ваш
контент был уникален по шинглам (в 5-6 слов).
Для карточек товара старайтесь расположить текст характеристик НЕ как у
конкурентов – можно перемешать – поменять местами
Если на карточке товара есть 2-3, а лучше более отзывов – она уже будет
достойна индексации
Можно использовать методы генерации кусков контента для
классифайдов: (недвижимость, адреса организаций, агрегаторы скидок) – это
работает. Пример www.shoppingplus.ru
Над чем можно работать точечно?
9. Рекламно-консалтинговое агентство Rush
Москва ул. Бутлерова 17б m: oleg@rush-agency.ru
Опрос 150 оптимизаторов, ноябрь 2015 года, Rush Agency
Популярность методов ускорения индексации
10. Рекламно-консалтинговое агентство Rush
Москва ул. Бутлерова 17б m: oleg@rush-agency.ru
Да, все еще работает – не стоит пренебрегать этим методом. По нашей
информации нет «пессимизации на приход бота» за авто-сабмит в Addurl
ботами
(Из беседы с сотрудниками Яндекса на одной из конференций)
При добавлении в Addurl Google – страница может попадать в индекс в
считанные минуты
Больше никаких нюансов – разгадываем капчу, постим страницы в Addurl
Addurl Яндекса и Google
11. Рекламно-консалтинговое агентство Rush
Москва ул. Бутлерова 17б m: oleg@rush-agency.ru
Посты за 2-5 рублей уже не работают, давно
Яндекс получает прямой feed Twitter (инфо на прошлый год)
Яндекс строит свои метрики «анти-спама» для прихода быстро-бота по
ссылкам из Twitter:
o Обсчитывается аналог PageRank внутри Twitter
o Обсчитывается количество подписчиков/ретвитов/связей
o Важно: обсчитывается отношение твитов с ссылками к твитам без
ссылок
o Обсчитываются метрики распространения твитов аккаунта
(По материалам научного семинара Яндекса)
Решение: покупка твитов с реальных дорогих аккунтов/построение «умной
сетки»
Ссылки с Twitter
12. Рекламно-консалтинговое агентство Rush
Москва ул. Бутлерова 17б m: oleg@rush-agency.ru
После закрытия ya.ru не было замечено существенного влияния ссылок из
социальных сетей на привод бота
«Тема» с кнопками Pluso от Яндекса по нашим наблюдениям не дает
такого эффекта
Спам в Google+ не имеет смыла т.к. проблем с индексацией в Google
обычно нету
Ссылки из социальных сетей
13. Рекламно-консалтинговое агентство Rush
Москва ул. Бутлерова 17б m: oleg@rush-agency.ru
Sitemap.xml является отдельной, обособленной точкой входа
индексирующего бота на сайт (из бесед с сотрудниками Яндекса)
Sitemap.xml является не правилом, а рекомендацией для робота – можно
смело удалять проиндексированные страницы из Sitemap.
На опыте больших сайтов – страницы не выпадают из индекса – все ОК
Метод работает для привода бота
Метод эффективен лишь для страниц, которые достойны индексации
Sitemap.xml только с непроиндексированными
URL
14. Рекламно-консалтинговое агентство Rush
Москва ул. Бутлерова 17б m: oleg@rush-agency.ru
Крайне эффективная методика простановки нужных ссылок для бота
Довольно сложная техническая реализация
Полный автомат с обратной связью – произведение SEO-искусства
«Ловец ботов»
15. Рекламно-консалтинговое агентство Rush
Москва ул. Бутлерова 17б m: oleg@rush-agency.ru
Покупка ссылок с главных страниц в Sape – на данный момент слишком
рискованная методика, которая не стоит своих риском. Эффект на данный
момент крайне слабый
Сервисы типа GetBot.guru – логика аналогична методу с Sape, все еще
работает но уже не так как раньше.
По информации с последней вебмастерской – метод «был спален» и теперь
индексирующий робот и быстробот знают – какие ссылки проставлены этими
сервисами.
Из-за «мутных» схем оплаты сервисов «ускорения индексации»
нерентабельна с финансовой точки зрения.
Прочие популярные методы
16. Рекламно-консалтинговое агентство Rush
Москва ул. Бутлерова 17б m: oleg@rush-agency.ru
Плоская структура
Хабовые страницы
Ловец ботов
Ссылочное на хабовые страницы
Комбинируем методы и создаем комбайн
индексации
17. Рекламно-консалтинговое агентство Rush
Москва ул. Бутлерова 17б m: oleg@rush-agency.ru
Плоская структура
Хабовые страницы
Ловец ботов
Ссылочное на хабовые страницы
Комбинируем методы и создаем комбайн
индексации
18. Рекламно-консалтинговое агентство Rush
Москва ул. Бутлерова 17б m: oleg@rush-agency.ru
Хабовые страницы – страницы, которые содержат списки
разделов/подразделов в большом количестве и обычно не имеют поискового
трафика. Работают для навигации пользователей и ботов.
Разводим все хабовые страницы на 1 клик от главной
С хабовых страниц делаем ссылки на хабовые второго уровня
Связываем хабовые страницы второго уровня между собой для удержания
в индексе
Комбайн индексации: плоская структура & хабы
22. Рекламно-консалтинговое агентство Rush
Москва ул. Бутлерова 17б m: oleg@rush-agency.ru
Суть технологии – в момент прихода робота на страницу, специальный скрипт
показывает роботы ссылки именно на непроиндексированные страницы.
Оформление – «рекомендуемые товар», «лидеры продаж» и т.д.
Комбайн индексации: «ловец ботов»
23. Рекламно-консалтинговое агентство Rush
Москва ул. Бутлерова 17б m: oleg@rush-agency.ru
«Ловец ботов» - разберем подробнее
1. Ловим бота по User-agent
2. В момент загрузки страницы подмешиваем в код не
проиндексированные ссылки
3. Если бот перешел по ссылке удаляем ее из стека
простановки
4. Новая итерация с оставшимся стеком
27. Рекламно-консалтинговое агентство Rush
Москва ул. Бутлерова 17б m: oleg@rush-agency.ru
Как правильно пробивать индексацию?
Яндекс: только url:
Google: только info:
Данные в панелях вебмастеров – кривые! Чтобы ни говорили сотрудники ПС!
28. Рекламно-консалтинговое агентство Rush
Москва ул. Бутлерова 17б m: oleg@rush-agency.ru
Как правильно пробивать индексацию?
Яндекс: только url:
Google: только info:
Данные в панелях вебмастеров – кривые! Чтобы ни говорили сотрудники ПС!
29. Рекламно-консалтинговое агентство Rush
Москва ул. Бутлерова 17б m: oleg@rush-agency.ru
Спасибо за внимание!
Доклад подготовил: Олег Шестаков
WEB: www.rush-agency.ru
www.rush-analytics.ru
Mail: oleg@rush-agency.ru
FB: Facebook.com/shestakov.oleg