Come analizzare il log del web server

#WMF17
@evemilano searcus.ch evemilano.com

Chi sono
Giovanni Sacheli
Papà
Partner @ searcus.ch
Blogger @ evemilano.com
Consulente SEO
Professore in Search Marketing @ Franklin University Switzerland
More info: evemilano.com/about-me

Oggi parliamo di…
Cos’è il log del web server
Limiti?
Tutti i siti web hanno il log?
Come abilitare il log
LogLevel: cosa loggare
Gestire la rotazione
Dove si trova il log?
Unire molti log in un file unico
Come aprire il log con Excel
Gli elementi del log
Excel Pivot
Software alternativi
Implicazioni SEO?
Come migliorare il crawl budget

ANALIZZARE IL LOG DEL WEB SERVER

Il log…

Cos’è il log del web server
È il registro delle richieste effettuate da client esterni
(utenti e bot) verso le risorse ospitate (e non), come pagine
web, immagini, Javascript, CSS, ecc.
Prima di abilitare il log (se non è già abilitato) bisogna
decidere:
Cosa loggare? Tutto o solo le criticità?
La rotazione dei file dato che il log cresce all’infinito

Limiti?
Cache e CDN

Dipende dalla macchina
Server dedicati e
virtuali: devi impostare
il web server per loggare
le richieste
Alcuni server condivisi,
non tutti (ad esempio via
cPanel)
Tutti i siti web hanno il log?

Come abilitare il log con Apache – direttiva LogLevel
Modifica il file di configurazione del web server
Aggiungi direttiva LogLevel
LogLevel + dettaglio da loggare
Si sceglie il livello meno importante da loggare, quelli
superiori saranno tracciati automaticamente

Server-Wide Logging
Il file di configurazione di Apache/Ubuntu si trova qui:
/etc/apache2/apache2.conf
Aggiungi questa riga:
. . .
LogLevel warn
. . .

Virtual Host Logging
Il file di configurazione del singolo sito web in
Apache/Ubuntu si trova qui:
/etc/apache2/sites-available/default
Aggiungi la riga evidenziata:
. . .
LogLevel warn
. . .

Come abilitare il log con Nginx
Apri il file di configurazione del server block che trovi in:
/etc/nginx/sites-available/
Aggiungi la riga evidenziata nel blocco server:
http {
…
server {
…
access_log /var/log/nginx/nomesito_access.log warn;
...
}
}

LogLevel disponibili, cosa loggare?
LogLevel disponibili, dal più al meno
importante
emerg: Situazioni di emergenza in cui il
sistema è in uno stato inutilizzabile.
alert: Situazione grave in cui è necessaria
un'azione tempestiva.
crit: Importanti problemi da affrontare.
error: Si è verificato un errore. Qualcosa non
è riuscito.
warn: Qualcosa fuori dall'ordinario è
accaduto, ma non una causa di
preoccupazione (impostazione predefinita)

LogLevel disponibili, dal più al meno importante
notice: Qualcosa di normale, nulla di
strano è accaduto.
info: Un messaggio informativo che
potrebbe essere utile sapere.
debug: informazioni di debug che
possono essere utili per individuare dove
si verifica un problema.
trace[1-8]: Tracciare informazioni di vari
livelli di verbosità che producono una
grande quantità di informazioni.

Gestire la rotazione
In Ubuntu la rotazione dei log è gestita dalla funzione
«logrotate»
Il file di configurazione di logrotate è in:
–/etc/logrotate.d/apache2
–/etc/logrotate.d/nginx

Modifica file /etc/logrotate.d/*
/var/log/nginx/*.log {
daily #frequenza nuovi log
missingok
rotate 14 #archivia max 14 log
Compress #comprimi in gzip vecchi log…
delaycompress #comprimi una volta terminato il
log
Notifempty #non archiviare file vuoti
…
}

Attendi…
Serve una base dati statisticamente interessante per
fare valutazioni sul log.
Il limite è hardware.

Apache
/var/log/apache2/*.log
Nginx
/var/log/nginx/*.log
Dove si trova il log?

Dove si trova il log?

Windows  Prompt dei
comandi
Naviga nella cartella dove hai
scaricato tutti i log successivi
cd c:/temp/log
Inserisci questo commando:
for /R %f in (*.log.*) do
type “%f” >>
c:tempoutput.log
Unire molti log in un file unico

Come aprire il log con Excel

Eccolo, mancano le intestazioni!
IP USER PASSWORD DATA TIME tipo richiesta e risorsa status code bytes referral user-agent
188.114.102.89- - [11/Jun/2017:06:25:40+0000] GET / HTTP/1.1 200 16629 https://www.google.it/Mozilla/5.0 (Macin
188.114.102.89- - [11/Jun/2017:06:25:40+0000] GET / HTTP/1.1 200 16629 https://www.evemilano.comMozilla/5.0 (Macin
188.114.102.89- - [11/Jun/2017:06:25:40+0000] GET /contatti/ HTTP/1.1 200 11252 https://www.evemilano.comMozilla/5.0 (Macin
188.114.102.89- - [11/Jun/2017:06:25:41+0000] GET /servizi-seo/ HTTP/1.1 200 14328 https://www.evemilano.comMozilla/5.0 (Macin
141.101.104.48- - [11/Jun/2017:06:26:10+0000] GET /sitemap-pt-page-2011-09.xml HTTP/1.1 200 340 - Mozilla/5.0 (comp
141.101.105.169- - [11/Jun/2017:06:26:39+0000] GET /guide-seo/strumenti-seo/ HTTP/1.1 200 23321 - Mozilla/5.0 (comp
141.101.76.155- - [11/Jun/2017:06:27:42+0000] GET /blog/?q=user/register HTTP/1.1 200 22062 https://www.evemilano.comMozilla/5.0 (Wind
141.101.76.155- - [11/Jun/2017:06:27:43+0000] GET /2016/12/rimuovere-spazi-excel/ HTTP/1.1 200 16160 https://www.evemilano.comMozilla/5.0 (Wind
5.101.102.108- - [11/Jun/2017:06:28:16+0000] GET / HTTP/1.0 200 67951 - check_http/v1.4.1
141.101.104.48- - [11/Jun/2017:06:29:41+0000] GET /sitemap-pt-post-2014-07.xml HTTP/1.1 200 504 - Mozilla/5.0 (comp
172.68.58.120- - [11/Jun/2017:06:29:48+0000] GET /2013/07/velocizzare-indicizzazione-wordpress-servizi-aggiornamento/feed/ HTTP/1.1200 5036 - Mozilla/5.0 (Linux
141.101.76.239- - [11/Jun/2017:06:29:57+0000] GET /feed/ HTTP/1.1 304 0 - Feedly/1.0 (+http:
172.68.132.162- - [11/Jun/2017:06:31:17+0000] GET /robots.txt HTTP/1.1 304 0 - BUbiNG (+http://l
141.101.76.239- - [11/Jun/2017:06:31:17+0000] GET /2011/10/how-to-seo-your-wordpress-website-part-1-tweaks-and-plugins/ HTTP/1.1301 5 - BUbiNG (+http://l
162.158.74.172- - [11/Jun/2017:06:34:14+0000] GET /?feed=rss2 HTTP/1.1 301 5 - Mozilla/5.0 (comp
162.158.111.32- - [11/Jun/2017:06:34:15+0000] GET /feed/ HTTP/1.1 304 0 - Mozilla/5.0 (comp
141.101.76.191- - [11/Jun/2017:06:34:33+0000] GET /feed/ HTTP/1.1 304 0 - Digg Feed Fetcher

Una riga di log
141.101.76.239 - - [02/Jun/2017:06:25:44 +0000]
"GET /feed/ HTTP/1.1" 304 0
"https://www.evemilano.com/servizi-seo/" "Feedly/1.0
(+http://www.feedly.com/fetcher.html; like
FeedFetcher-Google)“

Gli elementi del log
Dato Elemento
141.101.76.239 IP
- User
- Password
02/Jun/2017:06:25:44 +0000 Data e ora
GET HTTP GET o POST
/feed/ Risorsa richiesta

Gli elementi del log
Dato Elemento
HTTP/1.1 Protocollo
304 Status Code
0 Byte trasferiti
https://www.evemilano.com/servizi-seo/ Referral
Feedly/1.0 (+http://www.feedly.com/fetcher.html;
like FeedFetcher-Google)
User-agent

Sfrutta Excel, prepara i dati
Iprange 1/4 Iprange 2/4 REAL URL WHAT anno mese giorno
108 108162 /2014/05/la-struttura-del-sito-ideale-per-la-seo/GET 2016 Feb 08
188 188.11 / GET 2016 Feb 08
188 188.11 /servizi-seo/ GET 2016 Feb 08
188 188.11 /wp-content/plugins/si-contact-form/captcha/securimage_shoGET 2016 Feb 08
188 188.11 /blog/ GET 2016 Feb 08
188 188.11 / GET 2016 Feb 08
108 108162 /2013/07/velocizzare-indicizzazione-wordpress-servizi-aggiornGET 2016 Feb 08
188 188114 /2011/04/ripristinare-url-in-wordpress-phpmyadmin/GET 2016 Feb 08
199 199.27 /feed/ GET 2016 Feb 08
108 108162 /feed/ GET 2016 Feb 08
108 108162 /2014/12/pagerankGET 2016 Feb 08
173 173.24 /2014/12/pagerank/GET 2016 Feb 08
108 108162 /2013/04/ottimizzare-immagini-per-google/GET 2016 Feb 08

f(x) funzioni dei campi calcolati
Iprange ¼: =+SINISTRA(A2;3)
Iprange 2/4: =+SINISTRA(A2;6)
REAL URL:
=+SOSTITUISCI(SOSTITUISCI(+SOSTITUISCI(F2;"P
OST ";"");"GET ";"");"HTTP/1.1";"")
WHAT: =+SINISTRA(F2;3)
Anno: =+DESTRA(SINISTRA(D2;12);4)
Mese: =+DESTRA(SINISTRA(D2;7);3)
Giorno: =+DESTRA(SINISTRA(D2;3);2)

Chi è il vero Googlebot?
Strumenti: una tabella pivot. Una tabella pivot è uno
strumento analitico e di reporting necessario alla
creazione di tabelle riassuntive. Uno dei fini principali
di queste tabelle è l'organizzazione di dati complessi
tramite una scelta opportuna dei campi e degli
elementi che devono comporla.
Metodologia: identificare gli IP più frequenti che si
presentano come user-agent “Googlebot”
Risultato: IP da filtrare per Iprange di Googlebot

Excel Pivot: Trovare IP Googlebot

Excel Pivot: Visualizzare il Crawl Budget

Ti ricorda qualcosa?

Excel Pivot: Top pages

Excel Pivot: Analisi errori Googlebot

Excel Pivot: Status code Googlebot

Excel Pivot: Identificare spambot

Lavora sul Robots.txt…

Excel Pivot: Identificare spambot
Analizza le richieste POST, sono tue? Hanno senso?
Sono tentativi di hacking?
Usi WordPress? "POST /xmlrpc.php HTTP/1.0” ti
ricorda qualcosa?
Magari disattiva XML-RPC e JSON REST API

Software alternativi gratuiti
goaccess.io
Guida:
https://goo.gl/g
d0WRE

Software alternativi a pagamento
screamingfrog
.co.uk/log-file-
analyser/
Gratis fino a
1.000 righe
Prezzo: 99 £/Y

Software alternativi a pagamento
apacheviewer.
com
Gratuito con
funzionalità
limitate
Prezzo: 15/60
€

Implicazioni SEO?
Frequenza di scansione delle pagine: la frequenza
indica quante volte una risorsa viene richiesta dallo spider.
Le pagine più scansionate sono anche le più importanti
commercialmente parlando? No? Aggiornale e linkale più
spesso!
Le pagine più scansionate sono le più visitate dagli
utenti? Controlla con Analytics
Le pagine più scansionate sono quelle che ricevono più
link interni? Verifica con Screaming Frog

Implicazioni SEO?
Volume di scansione o crawl budget
Il volume rappresenta il numero di pagine del sito
web richieste dallo spider.
In rapporto alle pagine del tuo sito, quante ne
scansiona Googlebot? Tante? Poche? Reagisci di
conseguenza.
Male < 80% < Bene

Implicazioni SEO?
Profondità di scansione
Il numero di livelli del sito web navigati dallo spider. Il
sito web ha troppi livelli di navigazione?
Il tuo sito usa più di 4 livelli? Verifica con Screaming
Frog
Ci sono livelli che non vengono scansionati? Riduci i
livelli o migliora la struttura dei link interni

Implicazioni SEO?
Errori di scansione
Errori incontrati da Googlebot. Da dove arrivano gli status
code 4xx e 5xx?
Sono pagine che esistevano o sono pagine che non sono
mai esistite?
Sono errori linkati da fonti interne o esterne?
–Interne: correggi il link
–Esterne: redireziona 301 se necessario

Come migliorare il crawl budget
Aumenta il PageRank
Crea backlink di qualità e fatti linkare da siti a tema
ed autorevoli
Maggiore è il PageRank e maggiori saranno le
scansioni

Riduci il tempo di
risposta del web server
Ottimizza il tempo di
crawling
Googlebot si auto-regola

Aggiorna i
contenuti
Guida:
https://goo.gl
/SE6kvO

Inserisci nuovi
contenuti con
costanza

Condividi le
pagine (su
Google+)

Enjoy log analysis

Come analizzare il log del web server

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Similar to Come analizzare il log del web server

Similar to Come analizzare il log del web server (20)

More from Giovanni Sacheli

More from Giovanni Sacheli (13)

Come analizzare il log del web server