Как провести технический аудит сайта: - какие технические ошибки негативно влияют на индексацию и ранжирование сайта; - какие технические проблемы приводят к снижению трафика; - как найти все эти ошибки и устранить их; - + несколько кейсов из нашей практики. Автор презентации - Евгений Аралов. Сайт нашей компании: http://siteclinic.ru/ Наш блог: http://siteclinic.ru/blog/

1. Как провести технический аудит
сайта
Докладчик:
Евгений Аралов
Email: doctor@siteclinic.ru
Тел.: (048) 737-5-736
(495) 215-5-373

2. - Плохая индексация и ранжирование
- Поиск дублей и мусорных страниц
- Время и скорость загрузки сайта
- Проверка индексации важных областей страниц
- Трафик резко упал
- Проблемы с доступностью сайта
- Настройка редиректа
- Вирусы

3. Плохая индексация и ранжирование
- Поиск дублей и мусорных страниц
- Оптимизация времени и скорости загрузки
- Проверка индексации важных областей страницы

4. Поиск дублей и мусорных
страниц
Почему нужно удалять:
- тратят краулинговый бюджет (проблемы с индексацией)
- влияют на релевантность, смена релевантных страниц
- размытие стат. веса
- могут стать причиной значительного снижения трафика (особенно в
Google)

5. Распространенные дубли
Страницы доступны:
- с www и без www
- с index.html и без
- страница доступна со слешем и без: site.ru/ и site.ru
Решается простым 301 редиректом (пример с www на без www):
Options +FollowSymLinks
RewriteEngine On
RewriteCond %{HTTP_HOST} ^www.(.*)
[NC]
RewriteRule ^(.*)$ http://%1/$1 [R=301,L]
Для Яндекса обязательно указываем главное зеркало в robots.txt через директиву Host:
Host:site.ru (указали главное зеркало без www)

6. Другие виды дублей
1. Дубли страниц с GET-параметрами
Пример: site.ru/page1/?prm=fetxie
В интернет-магазинах такие дубли порождают сортировки и фильтры
Как решать: добавляем GET-параметры в robots.txt: Disallow:?prm или реализуем сортировки
(фильтры) через ajax
2. Дубли карточек товаров
По цвету: site.ru/product-red.html; site.ru/product-green;
Один товар в нескольких категориях: site.ru/platya/product1.html; site.ru/korotkie-
platya/product1.html
Как решать: переработка структуры 301 редирект; один товар – один url (выбираем одну
категорию)
3. Частичные дубли
У таких дублей дублируется лишь часть контента, однако они также могут негативно влиять на
ранжирование сайта. Часто встречаются в блогах в виде неуникальных анонсов.
Как решить: закрываем от индексации в помощью ajax, пишем уникальные анонсы.

7. Canonical
ВСЕГДА: настраиваем rel=“canonical” – хорошо решает проблемы, связанные с дублями
Данный атрибут показывает поисковой системе канонический URL, который нужно
индексировать.
Рекомендуем добавить на все статические страницы (для страниц результатов поиска не
подходит) для предупреждения появления различных дублей:
• дубли из-за разного регистра: site.ru/page1 и site.ru/Page1
• дубли из-за utm-меток: *utm_source=, /*utm_campaign=, /*utm_content=, /*utm_term=,
/*utm_medium=
• различные дубли страниц сортировок: /*sort, asc, desc, list=*
Таким образом, например, для страницы site.ru/page1 rel=canonical будет выглядеть следующим
образом:
<link rel="canonical" href=" site.ru/page1" />
Подробнее о rel=canonical можно почитать по следующим ссылкам:
https://support.google.com/webmasters/answer/139066?hl=ru
https://help.yandex.ru/webmaster/controlling-robot/html.xml#canonical

8. Как искать дубли
По title
- Search Console Google
- Программы Screaming Frog или Netpeak Spider
- Поисковый оператор intitle

9. Как искать дубли
Поисковый оператор
- Inurl
Проверяем по разделам вручную:
По параметрам:

10. Как искать дубли
Шинглы
- Поиск по фрагментам текста (site:site.ru “фрагмент текста”)
- Сервис seoto.me

11. Мусорные страницы
- Технические страницы:
- Корзина /cart/
- Регистрация /register/
- Пользователи /user/
- Файлы /files/
- Пустые страницы (страницы с ошибками):
Как найти:
- Пробиваем по поисковым операторам inurl
- Ищем страницы с малым количеством контента (Screaming Frog)

12. Мусорные страницы
- Мусорные поддомены (часто тестовые дубли)
Ищем при помощи поисковых операторов (исключаем известные домены)
Yandex:
Google:

13. Скорость загрузки сайта
Общие требования:
-Время отклика сервера (как быстро сервер отвечает на
запрос от браузера) – до 300 мс
-Время загрузки страниц – около 3-5 с

14. Плохая индексация и ранжирование
- Поиск дублей и мусорных страниц
- Оптимизация времени и скорости загрузки
- Проверка индексации важных областей страницы

15. Скорость загрузки сайта
Инструменты:
-Google Analytics
-http://www.webpagetest.org/
-https://developers.google.com/speed/pagespeed/insights/

16. Скорость загрузки сайта
Отчет в Google Analytics по страницам:

17. Скорость загрузки сайта
Проанализируем одну из страниц через http://www.webpagetest.org/

18. Скорость загрузки сайта
Что есть что:
•Поиск DNS – прежде чем обратиться к серверу, доменное имя должно быть преобразовано
в IP.
•TCP-подключение – перед тем как отправить запрос серверу, необходимо создать TCP-
соединение. Должно быть создано только на первых полях. Иначе будут проблемы с
производительностью.
•Время получения первого байта – сколько времени браузеру требуется для приёма
первого байта, то есть получения ответа от сервера при запросе конкретного URL.
•Загрузка контента – сколько времени браузер тратит на загрузку ответа.

19. Скорость загрузки сайта
Мы можем оптимизировать скорость загрузки по высоте и по ширине
Оптимизация по ширине
– Много оранжевого:
Не включено постоянное соединение, необходимо включить (подробнее –
https://goo.gl/F02d4a )

20. Скорость загрузки сайта
– Много синего:
Слишком большой контент – нужно оптимизировать изображение, размер
скриптов, стилей и самого контента.
– Много зеленого:
Браузер слишком долго ждет передачи данных от сервера.
Задумываемся о смене хостинга, настраиваем CDN (сеть доставки контента)
(подробнее – http://habrahabr.ru/company/sports_ru/blog/198598/ ).

21. Скорость загрузки сайта
Оптимизация по ширине. Общие рекомендации:
- Оптимальный размер изображений – до 100Кб
-Сжимаем скрипты и стили в gzip
-Настраиваем CDN

22. Скорость загрузки сайта
Оптимизация по высоте
- Сокращаем количество HTTP-запросов:

23. Скорость загрузки сайта
Оптимизация по высоте. Общие рекомендации
-Объединяем CSS-файлы
-Объединяем JS
- В верстке используем спрайты
Пример – http://i.rozetka.ua/h.05d448/sprite.png:

24. Скорость загрузки сайта
Ускорение рендеринга
-Стили сверху, скрипты снизу
Если объявить стили в блоке <head>, то страница будет оформляться по мере
загрузки стилей и пользователю будет казаться, что всё грузится быстро.
JavaScript в конце, т.к. время загрузки скриптов можно потратить с пользой на
оформление страницы.
-Включайте скрипты асинхронно
<script async src="example.js"></script>
Здесь же скрипт будет скачиваться асинхронно, не мешая обработке HTML-
разметки страницы.

25. Скорость загрузки сайта
Следуйте рекомендациям Page Speed:

26. Плохая индексация и ранжирование
- Поиск дублей и мусорных страницы
- Оптимизация времени и скорости загрузки
- Проверка индексации важных областей страницы

27. Проверка индексации важных областей страницы
Важные участки могут подгружаться скриптами, которые ПС не видит
- Проверяем сохраненную копию Яндекс:
Пример:
Как видит пользователь: Как видит Яндекс:

28. Проверка индексации важных областей страницы
- Проверяем как видит сайт GoogleBot в Search Console
Пример:

29. Трафик резко упал
-Проблемы с доступностью сайта
-Настройка редиректа
-Вирусы

30. Проблемы с доступностью сайта
- Обязательно настроить в Яндекс.Метрике SMS (e-mail) уведомление о
доступности сайта:

31. Проблемы с доступностью сайта
- Мониторинг Search Console
Скриншот консоли Google, отчет «Ошибки сканирования»:

32. - Трафик просел из Яндекса (минус 25к)
- Резкая просадка между АПами: таким образом исключили наложение фильтров
- Написали Платону, ответ: «Применение каких-либо санкций полностью исключено»
- Сообщений о вирусах и других ошибках в вебмастерах не обнаружено
- Получили список просевших страниц из Яндекса через Яндекс Метрику: трафик просел по
всему сайту, по всем городам и разделам
- Проверили выдачу: со сниппетами все нормально
- Однако при повторном переходе с выдачи Яндекс сервер отдает 400 ошибку
Кейс: 400 Bad Request (мониторинг не всегда спасает)

33. Трафик резко упал
-Проблемы с доступностью сайта
-Настройка редиректа
-Вирусы

34. Переезд сайта, проблемы с редиректами
Резкий рост 404 ошибок в Search Console:
Скриншот консоли Google «Ошибки сканирования»-> «Ошибки 404»
Сообщения в Яндекс.Вебмастер:

35. - Сайт долгое время занимал ТОП, трафик – около 2000, возраст – 10 лет
- Резко просели трафик и позиции
Кейс: Смена зеркала
В Вебмастере появилось сообщение о смене главного зеркала.
Главным зеркалом стала тестовая версия сайта (на другом домене)
Причина: при переносе сайта на другой хостинг 301 редирект был
перенастроен с www на без www.

36. Трафик резко упал
-Проблемы с доступностью сайта
-Настройка редиректа
-Вирусы

37. Вирус
Мониторим сообщения в Вебмастерах:
Яндекс Google
Проверка в Google по ссылке https://goo.gl/4yMdJI

38. Вирус
Для лечения используем антивирус Manul от Яндекс – https://yandex.ru/promo/manul

39. Другие рекомендации
•В robots.txt для каждого робота пишите директивы отдельно:
User-agent: Yandex
Disallow: /admin/
Host: site.ru
User-agent: Googlebot
Disallow: /admin/
•Формируйте sitemap.xml (желательно в автоматическом режиме)
•Код ответа страницы 404 не должен быть 200, только 404 Not Found
•Подзаголовки (h1-h6) не участвуют в верстке
•CSS и JS выносите в отдельные файлы
•Страницы пагинации не закрывайте от индексации:
Для таких страниц прописываем уникальные title: Телевизоры / Страница 2
Текст должен индексироваться только на основной (первой) странице
Модифицируем пагинатор, понижаем уровень вложенности:
Правильно:
Неправильно:

40. Полезные ссылки
Сервисы и программы:
SEOlib (отслеживание позиций, обновление алгоритмов и т.д.) – seolib.ru
Screaming Frog – http://screamingfrog.co.uk/seo-spider/
Google Search Console – http://www.google.ru/webmasters/
Яндекс Вебмастер – https://webmaster.yandex.ru/sites/
Google Analytics – http://www.google.com/analytics/
Яндекс Метрика – https://metrika.yandex.ru/
Google Page Speed – https://developers.google.com/speed/pagespeed/insights/
Web Page Test – http://www.webpagetest.org/
Яндекс Манул – https://yandex.ru/promo/manul
Почитать:
Блог SiteClinic – http://siteclinic.ru/
Подробная статья об оптимизации скорости загрузки – http://habrahabr.ru/post/178561/

41. Спасибо за внимание!
Ваши Вопросы?
Докладчик: Аралов Евгений
Facebook: facebook.com/aralov
Twitter: @araloff
E-mail: e.aralov@siteclinic.ru
Email: doctor@siteclinic.ru