Рассмотрены основные технические ошибки сайтов, которые негативно влияют на индексирование и ранжирование сайтов.

1. Основные технические ошибки
сайта
Докладчик:
Евгений Аралов
Email: doctor@siteclinic.ru
Тел.: (048) 737-5-736
(495) 215-5-373

2. - Плохая индексация и ранжирование
- Поиск дублей и мусорных страниц
- Время и скорость загрузки сайта
- Проверка индексации важных областей страниц
- Трафик резко упал
- Проблемы с доступностью сайта
- Настройка редиректа
- Вирусы

3. Плохая индексация и ранжирование
- Поиск дублей и мусорных страниц
- Оптимизация времени и скорости загрузки
- Проверка индексации важных областей страниц

4. Поиск дублей и мусорных страниц
Почему нужно удалять:
- тратят карулинговый бюджет (проблемы с индексацией)
- влияют на релевантность, смена релевантных страниц
- размытие стат. веса
- могут стать причиной значительного снижения трафика (особенно в Google)

5. Распространенные дубли
Страницы доступны:
- с www и без www
- с index.html и без
- страница доступна со слешем и без: site.ru/ и site.ru
Решается простым 301 редиректом (пример с www на без www)
Options +FollowSymLinks
RewriteEngine On
RewriteCond %{HTTP_HOST} ^www.(.*)
[NC]
RewriteRule ^(.*)$ http://%1/$1 [R=301,L]
Для Яндекса обязательно указываем главное зеркало в robots.txt через директиву Host:
Host:site.ru (указали главное зеркало без www)

6. Другие виды дублей
1. Дубли страниц с GET параметрами
Пример: site.ru/page1/?prm=fetxie
В интернет-магазинах такие дубли порождают сортировки и фильтры
Как решать: добавляем get параметры в robots.txt: Disallow:?prm или реализуем сортировки
(фильтры) через ajax.
2. Дубли карточек товаров
По цвету:site.ru/product-red.html; site.ru/product-green;
Один товар в нескольких категориях: site.ru/platya/product1.html; site.ru/korotkie-
platya/product1.html
Как решать: переработка структуры 301 редирект; один товар – один url (выбираем одну
категорию)
3. Частичные дубли
У таких дублей дублируется лишь часть контента, однако они также могут негативно влиять на
ранжирование сайта. Часто встречаются в блогах в виде неуникальных анонсов.
Как решить: закрываем от индексации в помощью ajax, пишем уникальные анонсы.

7. Canonical
ВСЕГДА: настраиваем rel=“canonical”, хорошо решает проблемы, связанные с дублями
Данный атрибут показывает поисковой системе канонический URL, который нужно
индексировать.
Рекомендуем добавить на все статические страницы (для страниц результатов поиска не
подходит) для предупреждения появления различных дублей:
• дубли из-за разного регистра: site.ru/page1 и site.ru/Page1
• дубли из-за utm-меток: *utm_source=, /*utm_campaign=, /*utm_content=, /*utm_term=,
/*utm_medium=
• различные дубли страниц сортировок: /*sort, asc, desc, list=*
Таким образом, например, для страницы site.ru/page1 rel=canonical будет выглядеть следующим
образом:
<link rel="canonical" href=" site.ru/page1" />
Подробнее о rel=canonical можно почитать по следующим ссылкам:
https://support.google.com/webmasters/answer/139066?hl=ru
https://help.yandex.ru/webmaster/controlling-robot/html.xml#canonical

8. Как искать дубли
По title
Search Console Google
Программы Screaming Frog или Netpeak Spider
Поисковый оператор intitle

9. Как искать дубли
Поисковый оператор
Inurl
Проверяем по разделам вручную
По параметрам

10. Как искать дубли
Шинглы
Поиск по фрагментам текста (site:site.ru “фрагмент текста”)
Сервис seoto.me

11. Мусорные страницы
Технические страницы:
- Корзина /cart/
- Регистрация /register/
- Пользователи /user/
- Файлы /files/
Пустые страницы (страницы с ошибками)
Как найти
- Пробиваем по поисковым операторам inurl
- Ищем страницы с малым количеством контента (Screaming Frog)

12. Мусорные страницы
Мусорные поддомены (часто тестовые дубли)
Ищем при помощи поисковых операторов (исключаем известные домены)
Yandex:
Google

13. Скорость загрузки сайта
Общие требования:
-Время отклика сервера (как быстро сервер отвечает на
запрос от браузера) - до 300 мс
-Время загрузки страниц - около 3-5 с

14. Плохая индексация и ранжирование
- Поиск дублей и мусорных страниц
- Оптимизация времени и скорости загрузки
- Проверка индексации важных областей страниц

15. Скорость загрузки сайта
Инструменты
-Google Analytics
-http://www.webpagetest.org/
-https://developers.google.com/speed/pagespeed/insights/

16. Скорость загрузки сайта
Отчет в Google Analytics по страницам

17. Скорость загрузки сайта
Проанализируем одну из страниц через
http://www.webpagetest.org/

18. Скорость загрузки сайта
Что есть что
Поиск DNS – прежде чем обратиться к серверу, доменное имя должно быть
преобразовано в IP.
TCP-подключение – перед тем как отправить запрос серверу, необходимо
создать TCP-соединение. Должно быть создано только на первых полях. Иначе
будут проблемы с производительностью.
Время получения первого байта – сколько времени браузеру требуется для
приёма первого байта, то есть получения ответа от сервера при запросе
конкретного URL.
Загрузка контента – сколько времени браузер тратит на загрузку ответа.

19. Скорость загрузки сайта
Мы можем оптимизировать скорость загрузки по высоте и по ширине
Оптимизация по ширине
– Много оранжевого
Не включено постоянное соединение, необходимо включить
(подробнее – https://goo.gl/F02d4a )

20. Скорость загрузки сайта
– Много синего
Слишком большой контент – нужно оптимизировать
изображение, размер скриптов, стилей и самого
контента.
– Много зеленого
Браузер слишком долго ждет передачи данных от сервера.
Задумываемся о смене хостинга, настраиваем CDN (сеть
доставки контента) (подробнее:
http://habrahabr.ru/company/sports_ru/blog/198598/ ).

21. Скорость загрузки сайта
Оптимизация по ширине. Общие рекомендации
- Оптимальный размер изображений – до 100Кб
-Сжимаем скрипты и стили в gzip
-Настраиваем CDN

22. Скорость загрузки сайта
Оптимизация по высоте
Сокращаем количество HTTP-запросов

23. Скорость загрузки сайта
Оптимизация по высоте. Общие рекомендации
-Объединяйте CSS-файлы
-Объединяйте JS
- В верстке используем спрайты
пример http://i.rozetka.ua/h.05d448/sprite.png

24. Скорость загрузки сайта
Ускорение рендеринга
-Стили сверху, скрипты снизу
Если объявить стили в блоке <head>, то страница будет оформляться
по мере загрузки стилей и пользователю будет казаться, что всё
грузится быстро.
JavaScript в конце, т.к. время загрузки скриптов можно потратить с
пользой на оформление страницы.
-Включайте скрипты асинхронно
<script async src="example.js"></script>
Здесь же скрипт будет скачиваться асинхронно, не мешая обработке
HTML-разметки страницы.

25. Скорость загрузки сайта
Следуйте рекомендациям Page Speed

26. Плохая индексация и ранжирование
- Поиск дублей и мусорных страницы
- Оптимизация времени и скорости загрузки
- Проверка индексации важных областей страниц

27. Проверка индексации важных областей страницы
Важные участки могут подгружаться скриптами, которые ПС не видит
Проверяем сохраненную копию Яндекс
Пример:
Как видит пользователь: Как видит Яндекс:

28. Проверка индексации важных областей страницы
Проверяем как видит сайт GoogleBot в Search Console
Пример:

29. Трафик резко упал
-Проблемы с доступностью сайта
-Настройка редиректа
-Вирусы

30. Проблемы с доступностью сайта
- Обязательно настроить в Яндекс. Метрике SMS (e-mail) уведомление о доступности сайта

31. Проблемы с доступностью сайта
- Мониторинг Search Console
Скриншот консоли Google, отчет «Ошибки сканирования»

32. - Трафик просел из Яндекс (минус 25к)
- Резкая просадка между апами: таким образом исключили наложение фильтров
- Написали Платону, ответ: «Применение каких-либо санкций полностью исключено»
- Сообщений о вирусах и других ошибках в вебмастерах не обнаружено
- Получили список просевших страниц из Яндекс через Яндекс Метрику: трафик просел по
всему сайту, по всем городам и разделам
- Проверили выдачу: со сниппетами все нормально
- Однако при повторном переходе с выдачи Яндекс сервер отдает 400 ошибку
Кейс: 400 Bad Request (мониторинг не всегда спасает)

33. Трафик резко упал
-Проблемы с доступностью сайта
-Настройка редиректа
-Вирусы

34. Переезд сайта, проблемы с редиректами
Резкий рост 404 ошибок в Search Console
Скриншот консоли Google «Ошибки сканирования»-> «Ошибки 404»
Сообщения в Яндекс.Вебмастер

35. - Сайт долгое время занимал ТОП, трафик – около 2000, возраст – 10 лет
- Резко просели трафик и позиции
Кейс: Смена зеркала
В Вебмастере появилось сообщение о смене главного зеркала
Главным зеркалом стала тестовая версия сайта (на другом домене)
Причина: при переносе сайта на другой хостинг 301 редирект был
перенастроен с www на без www.

36. Трафик резко упал
-Проблемы с доступностью сайта
-Настройка редиректа
-Вирусы

37. Вирус
Мониторим сообщения в Вебмастерах
Яндекс Google
Проверка в Google по ссылке https://goo.gl/4yMdJI

38. Вирус
Для лечения используем антивирус Manul от Яндекс https://yandex.ru/promo/manul

39. Другие рекомендации
- В robots.txt для каждого робота пишите директивы отдельно:
User-agent: Yandex
Disallow: /admin/
Host: site.ru
User-agent: Googlebot
Disallow: /admin/
-Формируйте sitemap.xml (желательно в автоматическом режиме)
-Код ответа страницы 404 не должен быть 200, только 404 Not Found
-Подзаголовки (h1-h6) не участвуют в верстке
-CSS и JS выносите в отдельные файлы
-Страницы пагинации не закрывайте от индексации:
Для таких страниц прописываем уникальные title: Телевизоры / Страница 2
Текст должен индексироваться только на основной (первой) странице
Модифицируем пагинатор, понижаем уровень вложенности:
Правильно:
Неправильно:

40. Полезные ссылки
Сервисы и программы:
SEOlib (отслеживание позиций, обновление алгоритмов и т.д.) – seolib.ru
Screaming Frog – http://screamingfrog.co.uk/seo-spider/
Google Search Console – http://www.google.ru/webmasters/
Яндекс Вебмастер – https://webmaster.yandex.ru/sites/
Google Analytics – http://www.google.com/analytics/
Яндекс Метрика – https://metrika.yandex.ru/
Google Page Speed – https://developers.google.com/speed/pagespeed/insights/
Web Page Test – http://www.webpagetest.org/
Яндекс Манул – https://yandex.ru/promo/manul
Почитать:
Блог SiteClinic – http://siteclinic.ru/
Подробная статья об оптимизации скорости загрузки – http://habrahabr.ru/post/178561/

41. Спасибо за внимание!
Ваши Вопросы?
Аралов Евгений
Siteclinic.ru
E-mail: e.aralov@siteclinic.ru
Twitter: @araloff
Email: doctor@siteclinic.ru
Facebook: facebook.com/aralov