 Оптимизация краулингового бюджета сайта — это важная часть работы любого SEO специалиста. В презентации: 類 что такое краулинг и краулинговый бюджет, индексация и познакомитесь с другой терминологией SEO-специалиста; 類 как пошагово происходит индексация сайта; как рассчитывается краулинговый бюджет и что вам это дает; 類 много интересных фишек по работе с краулинговым бюджетом, а также ускорением индексации; 類 ответы на 2 самых часто задаваемых вопроса по индексации.

1. Проблемы с индексацией сайта?
Оптимизируйте краулинговый бюджет!
1
Проблемы с
индексацией
сайта?

2. Терминология
* Процесс обнаружения и
сбора новых и
обновленных страниц для
добавления в индекс ПС.
* Самый начальный этап;
* Данные собираются для
построения индекса и НЕ
отображаются в
результатах поиска.
* Просканированная
роботом страница не
всегда оказывается в
индексе
* Процесс сбора,
добавления и
обновления страниц в
индексе ПС;
* Второй этап;
* Зависит от
краулингового бюджета.
2
Краулинг
(Crawling)
Индексаци
я (Indexing)

3. Как происходит индексация
сайта?
3
Если на странице есть код JavaScript, то обработка происходит в 2
волны.

4. Что такое краулинговый
бюджет (КБ)?
Краулинговый бюджет — это метрика,
которая определяет квоту страниц для
домена, подлежащих индексации в рамках
одного визита краулера ПС.
 Используется до инициализации процесса
сканирования сайта.
 От значения КБ зависит количество страниц,
которое краулер обработает в рамках посещения
сайта.
 Значение КБ для каждого сайта рассчитывается
индивидуально.
4

5. Как рассчитывается
краулинговый бюджет?
Числовое значение КБ зависит от таких факторов:
 Авторитетность сайта.
 Способность сервера обрабатывать запросы, без
снижения скорости загрузки.
2 вектор работы:
1. Увеличение числового значения КБ
2. Увеличение количества проиндексированных
страниц при текущем КБ
5

6. Увеличение числового
значения КБ
1. Оптимизация скорости загрузки сайта
при обращении краулера.
Речь про скорость для краулеров, а не для пользователей
Для анализа работаем в Screaming Frog SEO Log File Analyser,
Jetoctopus.com, Botify.com, Power BI,
2. Повышение авторитетности сайта
путем внешней оптимизации сайта.
6

7. Анализ логов сайта
7
Зачем анализировать?
1. Определить просканированные URL
2. Узнать частоту сканирования
3. Узнать неработающие ссылки и ошибки
4. Проверить наличие редиректов
5. Найти неотсканированные урлы и
страницы-сироты

8. Screaming Frog SEO Log File
Analyser
8

9. Search Console
9

10. Jetoctopus
10

11. Увеличение количества проиндексированных
страниц при текущем КБ
1. Настройка 304 кода ответа сервера
304 Not Modified — сервер возвращает такой код, если клиент запросил
документ методом GET, использовал заголовок If-Modified-Since или If-
None-Match и документ не изменился с указанного момента. При этом
сообщение сервера не должно содержать тела.
11

12. Ускорение индексации
2. Уровень вложенности.
Хорошо:
 http://port-jackson.com.ua/blog-post/xranenie-rollov/
 https://www.fito-land.com.ua/profcosm/freihaut_cosm/4415-2
Плохо:
 https://site.ru/mikroskhemy/mikrokontrollery-i-pamyat/atmel-atmega-
32/art12345
3. Внутренняя перелинковка. Модуль – «ловец ботов».
4. Robots.txt, Sitemap.xml
5. Скорость загрузки.
6.Частота публикаций.
7. Linkbuilding (соцсети, форумы, СМИ)
12

13. Ускорение индексации
8. Запросить индексирование через Search Console
9. Убрать «сиротские страницы».
10. Удалить мусорные страницы (дубликаты, документы
низкого качества).
11. Избавиться от бесконечной пагинации.
12. Уменьшить количество страниц, которые отдают 4xx и
5xx ответы сервера.
13. Уменьшить количество ссылок с редиректами.
14. Закрыть ссылки в «nofollow».
13

14. Вопросы
1. Стратегии продвижения через SEO на зарубежных
рынках IT проектов
2. Индексация SPA на Ангуляре; плюсы-минусы SSR.
14

15. SPA (single page application)
1. Проблемы индексации сайта из-за неправильного
использования реактивных фреймворков (Angular,
ReactVue и другие) приравнивают к проблемам SPA
проектов.
2. SPA ≠ Angular или React и т.д.
Angular, React,Vue - это инструменты использующие
парадигму реактивного программирования. Крайне
удобную для построения сложных интерфейсов, но
слабо адаптированную для создания традиционных
сайтов.
SPA это способ доставки контента в рамках сессии
пользователя, но не способ его формирования на
странице.
Итог: при помощиAngular, React можно делать SPA. Как и
при помощи микроскопа забивать гвозди  15

16. SPA (single page application)
3. Проблема индексации SPA сайтов, в 2006-2012 годах,
были в плоскости того, что javascript того времени не имел
возможностей управлять адресной строкой браузера.
Можно было изменять только хеш страницы.
http://example.com/page#page10
где:
http://example.com/page - URL
#page10 - хэш.
код мог изменить hash но не мог изменить URL
4. В HTML5 добавили стандарт History APi полностью
решающего ВСЕ проблемы SPA приложений.
Итого! НИКАКИХ ПРОБЛЕМ В ИНДЕКСАЦИИ SPA
приложений НЕТ. И никакие SSR ему для этого не нужны.
Для решения проблем фреймворков был реализован SSR -
как пример фееричного костыля  16

17. SPA (single page application)
 CSR (Client-Side Rendering, рендеринг на клиенте) —
рендеринг приложения на стороне клиента (в браузере),
обычно с помощью DOM.
 SSR (Server-Side Rendering, серверный рендеринг) —
рендеринг на сервере клиентской части или
универсального приложения в HTML.
17

18. Спасибо за внимание!
 Вопросы?
18
writer@vlada-rykova.com
facebook.com/VladaRykova
t.me/vlada_rykova