Международная бесплатная онлайн-конференция, посвященная самому эффективному инструменту привлечения целевых посетителей на сайт — SEO-оптимизации. SEO-инсайты из логов сервера: от WP блога до международного проекта - Что такое логи сервера? - Инструменты для анализа от чайника до pro - Как анализировать логи - На что обращать внимание при анализе логов

1. SEO-инсайты из логов сервера:
от WP-блога
до международного проекта

2. Всем привет :)
● SEO-team lead ЛУН & Flatfy
● Куратор курса Product SEO в PRJCTR
● SEO-консультант
Это я

3. Логи сервера
Section
1

4. Логи
Файл с записями о запросах (hit`ах), которые получил
сервер

5. Как это работает?
http://flatfy.com/example-page.html
1. Protocol
2. Server name -> ip:80
3. File name -> HTTP GET request

6. Структура
1. Server IP
2. Timestamp (date & time)
3. Method (GET / POST)
4. Request URI (aka: URI stem + URI query)
5. HTTP status code
6. User-agent
Доп.:
1. Host name
2. Request/Client IP
3. Bytes downloaded
4. Time taken
Зависит от конфигурации веб-сервера

7. Пример
192.168.1.11 - [03/Sep/2019:00:00:00 -0400] - "GET
/calendar/next HTTP/1.1" 200 - "Mozilla/5.0 (compatible;
Googlebot/2.1; +http://www.google.com/bot.html)"

8. Примеры
● Apache - bit.ly/2QnpB5s
● NGINX - bit.ly/2x75pf5
● IIS - bit.ly/2O64QcJ

9. Важно
● User Agent Googlebot (bit.ly/2x2Jire)
● Google IP Validate

10. Зачем?
● Разработка и quality assurance (QA)
● Проблемы с сетью
● Customer service
● Проблемы с безопасностью
● Compliance matters (запросы от …)
● Техническое SEO

11. Какие данные?
Section
2

12. Crawl volume
Bot crawl volume - number of requests

13. Вопросы
1. Эффективно ли расходуется краулинговый бюджет?
a. Где идет утечка краулингового бюджета? (дубли, параметры
и т.п.)
b. Были ли ошибки во время краулинга?
c. Какие есть области с недостатком краулинга?
2. Дата последнего краулинга?

14. Важно
Сколько прокрауленых страниц “non-compliant“?
(не подлежат попаданию в поиск)

15. Важно
1. Определить частоту сканирования страниц
2. Какие страницы не обходились ни разу за месяц?
3. Когда страницы прокраулены впервые после создания?
4. За какое время сканируются все страницы?
5. Какой тип файлов? %
6. Редиректы цепочки, ошибочные редиректы + кол-во
7. Количество заходов на не канонические страницы
8. Заходы на закрытые страницы в meta robots
9. Дублированный контент? (например, по тайтлам)
10. Сканирование нового контента
11. Миграция на HTTPS и работа с AMP

16. Дополнить данными
1. Google Analytics
2. Данные с сайта (canonical, robots, кол-во слов ...)
3. Google Search Console
4. и другие

17. Excel, etc
Section
3

18. Как использовать?
● Переименовать .log -> .csv
● Открывать файлы до 120к строк
● Разбить по столбцам
● Убрать лишние колонки
● Использовать сводные таблицы и графики

19. Частота и user agent

20. Что больше краулят

21. GoAccess
bit.ly/2HtAi4p

22. GoAccess
● UNIQUE VISITORS PER DAY - INCLUDING SPIDERS
● REQUESTED FILES (URLS)
● STATIC REQUESTS
● NOT FOUND URLS (404S)
● VISITOR HOSTNAMES AND IPS
● OPERATING SYSTEMS
● BROWSERS
● TIME DISTRIBUTION
● VIRTUAL HOSTS
● REFERRERS URLS
● REFERRING SITES
● KEYPHRASES FROM GOOGLE'S SEARCH ENGINE
● HTTP STATUS CODES
● GEO LOCATION

23. ELK
Section
4

24. ELK stack

25. Digitalocean Install
Заказать дроплет:
m.do.co/c/de8a01e96450
(Docker -> ELK)
Мануал:
do.co/2x8stub

26. Logz
bit.ly/2TP3HfK

27. Примеры
Section
5

28. Общий вид

29. SC

30. SC

31. Kibana

32. SC

33. Сканирование закрытых
страниц

34. Различные боты

35. Dashboards

36. Спасибо
за внимание!

37. Владислав Моргун
SEO Team-lead ЛУН & Flatfy
facebook.com/vladislav.morgun.3
t.me/m0r9un
vlad.morgun@lun.ua
instagram.com/m0r9un
slideshare.net/ssuser12bc85
О нас: team.lun.ua