Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Search Masters Brasil 2015 - SIGA O ROBÔ: Utilizando Logs na performance do seu SEO

794 views

Published on

Confira a vantagem de se utilizar os Logs de Servidor para definir a sua estratégia de rastreamento e indexação.
Palestra Realizada no Search Masters Brasil 2015 em São Paulo, no dia 14/11/2015 por Victor R. Magalhães. Twitter: @vrmagalhaes

Published in: Marketing
  • Be the first to comment

Search Masters Brasil 2015 - SIGA O ROBÔ: Utilizando Logs na performance do seu SEO

  1. 1. SEARCH MASTERSSIGA O ROBÔ: Utilizando Logs na performance do seu SEO Victor Magalhães/SEO Novembro/2015 | @vrmagalhaes
  2. 2. AGENDA • OBJETIVOSDOROBÔ • RASTREAMENTOEINDEXAÇÃO • GOOGLESEARCHCONSOLE • LOGS • FOQUENOQUEOGOOGLEBOTCONSOME • TEMPODECARREGAMENTO&INDEXAÇÃO
  3. 3. Em primeiro lugar…
  4. 4. QualonossoobjetivoenquantoSEOs?
  5. 5. RANKINGS?
  6. 6. $$$
  7. 7. Aúltimafronteira?
  8. 8. Oquefazemosquandochegamoslá?
  9. 9. Oquefazemosquandochegamoslá? Deixamosumrastro…
  10. 10. WTF?
  11. 11. O MESMO OCORRE
 NA NAVEGAÇÃO PELA WEB Bots &
 Usuários Site Logs
  12. 12. O que são os Logs de Acesso? Registro de um evento em um 
 sistema computacional… Cada registro representa
 um “HIT”.
  13. 13. H I T S
  14. 14. H I T S O D R I W I A T
 O C E T K S
 S
  15. 15. https://moz.com/blog/server-log-essentials-for-seo Image credit: Media College H I T S
  16. 16. COMOO BUSCADOR FUNCIONA?
  17. 17. 1)RASTREAR 2)INDEXAR 3)POSICIONAR https://www.youtube.com/watch?v=BNHR6IQJGZs
  18. 18. https://www.google.com/insidesearch/howsearchworks/thestory/
  19. 19. RASTREAMENTO ≠ POPULARIDADE RASTREAMENTO ≠ VISITAS
  20. 20. GOOGLE SEARCHCONSOLE
  21. 21. MISSÃO DOGOOGLE A missão do Google é organizar as informações do mundo e torná-las mundialmente acessíveis e úteis. https://www.google.com/intl/pt-BR/about/company/
  22. 22. MISSÃO DOGOOGLE • BRANDING • POSICIONAMENTODAMARCA • BRANDEQUITY
  23. 23. EPARAAJUDAROSWEBMASTERS, DISPONIBILIZOUOSEARCHCONSOLE • BRANDING • POSICIONAMENTODAMARCA • BRANDEQUITY
  24. 24. • BRANDING • POSICIONAMENTODAMARCA • BRANDEQUITY out/14 nov/14 dez/14 jan/15 fev/15 mar/15 abr/15 mai/15 jun/15 jul/15 ago/15 set/15 out/15 Requisições GWT Registro LOG MASELE NÃOÉASSIM,100%CONFIÁVEL!
  25. 25. MASELE NÃOÉASSIM,100%CONFIÁVEL! • BRANDING • POSICIONAMENTODAMARCA • BRANDEQUITY out/14 nov/14 dez/14 jan/15 fev/15 mar/15 abr/15 mai/15 jun/15 jul/15 ago/15 set/15 out/15 Requisições GWT Registro LOG -45,9%
  26. 26. OPROCESSO
  27. 27. ENCONTRANDO OS ARQUIVOS DE LOG No Apache: Pasta /var/log/apache2 Referências: • Acessando Arquivos de log no Apache (linux) • Acessando Arquivos de log no NGINX (linux) • Acessando Arquivos de log no IIS (Windows)
  28. 28. COMO SEGMENTAR
 AS INFORMAÇÕES 1) Crie um arquivo
 touch mylog 2) Combine os arquivos de Log cat * > mylog 3) Filtre os dados do Googlebot grep “Googlebot" mylog > googlebot_interactions.txt
  29. 29. O ARQUIVO
  30. 30. O ARQUIVO IP - - [Data] “GET/POST URL VERSÃO-DO-HTTP” STATUS TAMANHO “-“ “NAVEGADOR BOT”
  31. 31. O ARQUIVO IP - - [Data] “GET/POST URL VERSÃO-DO-HTTP” STATUS TAMANHO “-“ “NAVEGADOR BOT” 200.203.124.9 [18/Oct/2015:06:49:39 -0200]
  32. 32. O ARQUIVO IP - - [Data] “GET/POST URL VERSÃO-DO-HTTP” STATUS TAMANHO “-“ “NAVEGADOR BOT” "GET /blog/nome-do-post HTTP/1.1" "POST /wp-admin/admin-ajax.php HTTP/1.1" 200 533 “http://SITE/blog/nome-do-post“ 
 "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
  33. 33. O ARQUIVO IP - - [Data] “GET/POST URL VERSÃO-DO-HTTP” STATUS TAMANHO “-“ “NAVEGADOR BOT” 200, 301, 302, 404, 500, 503 http://en.wikipedia.org/wiki/List_of_HTTP_status_codes http://moz.com/learn/seo/http-status-codes Tamanho do arq. em bytes
  34. 34. O ARQUIVO IP - - [Data] “GET/POST URL VERSÃO-DO-HTTP” STATUS TAMANHO “-“ “NAVEGADOR BOT” Mozilla/5.0 DoCoMo/2.0 N905i(c100;TB;W24H16) (compatible; Googlebot/2.1; +http://www.google.com/bot.html) (compatible; Googlebot-Mobile/2.1; +http://www.google.com/bot.html)
  35. 35. FERRAMENTAS + +
  36. 36. FERRAMENTAS + +
  37. 37. PREMISSAS 1. Crawl Budget: É o tempo ou requisições de páginas que o Google aloca para rastrear o seu site; 2. Silos: "Estrutura de Linkagem interna”; 3. Indexação: Não vamos analisar se um determinado bloco de conteúdo é indexado; 4. Calorias Vazias: Se o robô estiver rastreando conteúdo duplicado, ele estará consumindo "calorias vazias”! Referência: @ajkohn | Crawl Optimization | http://goo.gl/qdoBlE
  38. 38. PREMISSAS - SILOS http://webmarketingtoday.com/articles/112514-Do-it-yourself-SEO-Organizing-a-Website-with-Silos/
  39. 39. PREMISSAS - INDEXAÇÃO
  40. 40. ASANÁLISES
  41. 41. • Site em Wordpress; • Migrou de Domínio e Servidor em Outubro/14; • Apenas 30% do antigo conteúdo foi importado para o novo site. CENÁRIO
  42. 42. OQUEPODEMOSANALISAR? •Quais urls foram rastreadas pelo Googlebot ou outros bots; •Páginas com erros 40x & 50x; •Páginas com Redirecionamento 302 rastreadas pelo bot; •Descobrir o número de páginas rastreadas por dia;
  43. 43. OQUEPODEMOSANALISAR? •Descobrir como está o fluxo de rastreamento do GoogleBot
 Mobile; •Quais as páginas rastreadas com maior frequência; •Quais páginas não devem ser rastreadas; •Conteúdo duplicado; •Impacto na utilização da metatag rel=“canonical".
  44. 44. SPLUNK
  45. 45. SPLUNK host="LOGS" googlebot | chart count by uri
  46. 46. SPLUNK
  47. 47. PÁGINAS RASTREADAS 
 POR MÊS out/14 nov/14 dez/14 jan/15 fev/15 mar/15 abr/15 mai/15 jun/15 jul/15 ago/15 set/15 out/15 200 301 302 304 404 408 500
  48. 48. PÁGINAS RASTREADAS 
 POR MÊS out/14 nov/14 dez/14 jan/15 fev/15 mar/15 abr/15 mai/15 jun/15 jul/15 ago/15 set/15 out/15 200 301 302 304 404 408 500
  49. 49. PÁGINAS RASTREADAS 
 POR MÊS 3462 out/14 nov/14 dez/14 jan/15 fev/15 mar/15 abr/15 mai/15 jun/15 jul/15 ago/15 set/15 out/15 301 302 304 404 408 500
  50. 50. PÁGINAS RASTREADAS 
 POR MÊS 404 out/14 nov/14 dez/14 jan/15 fev/15 mar/15 abr/15 mai/15 jun/15 jul/15 ago/15 set/15 out/15 301 302 304 408 500
  51. 51. PÁGINAS RASTREADAS 
 POR MÊS X VISITAS out/14 nov/14 dez/14 jan/15 fev/15 mar/15 abr/15 mai/15 jun/15 jul/15 ago/15 set/15 out/15 Registro LOG Visitas
  52. 52. PÁGINAS MAIS RASTREADAS 
 POR MÊS out/14 nov/14 dez/14 jan/15 fev/15 mar/15 abr/15 mai/15 jun/15 jul/15 ago/15 set/15 out/15 home página 1 página 2 página 3 página 4 página 5 página 6
  53. 53. PÁGINAS MAIS RASTREADAS 
 POR MÊS out/14 nov/14 dez/14 jan/15 fev/15 mar/15 abr/15 mai/15 jun/15 jul/15 ago/15 set/15 out/15 home página 1 página 2 página 3 página 4 página 5 página 6
  54. 54. PÁGINAS MAIS RASTREADAS 
 POR MÊS jun/15 jul/15 ago/15 set/15 out/15 home página 1 página 2 página 3 página 4 página 5 página 6
  55. 55. CORRELAÇÃO &
 MÉTRICAS DE POPULARIDADE 194 2 3 7 4 4 3 / página 1 página 2 página 3 página 4 página 5 página 6 links
  56. 56. CORRELAÇÃO &
 MÉTRICAS DE POPULARIDADE 33 12 13 13 13 15 1214 12 10 10 10 11 10 16 9 5 23 9 23 8 3 4 1 1 1 2 23 12 0 3 0 58 1 / página 1 página 2 página 3 página 4 página 5 página 6 Page Authority Url Rating G+ Twitter Facebook
  57. 57. CORRELAÇÃO &
 MÉTRICAS DE POPULARIDADE 2 7 0 3 0 25 10 0 0 0 25 01 5 0 0 0 8 1 / página 1 página 2 página 3 página 4 página 5 página 6 Facebook Likes Facebook Comments Facebook shares
  58. 58. URLS MAIS
 RASTREADAS NO MÊS
  59. 59. URLS MAIS
 RASTREADAS NO MÊS
  60. 60. URLS MAIS
 RASTREADAS NO MÊS jun/15 jul/15 ago/15 set/15 out/15 home página 1 página 2 página 3 página 4 página 5 página 6
  61. 61. URLS MAIS
 RASTREADAS NO MÊS 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 Home página 1 página 3 página 5
  62. 62. URLS MAIS
 RASTREADAS NO MÊS 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 Home página 1 página 3 página 5 Post Página 3 Compartilhado Post Página 5 Comentado Post Página 1 Curtido
  63. 63. RASTREAMENTO
 POR BOT 1 13 13168 11457 10 121247 3 acapbot Googlebot Googlebot-Image/1.0 Googlebot-Mobile/2.1 Googlebot-News Googlebot/2.1 Googlebot/2.x GET
  64. 64. RASTREAMENTO
 POR BOT 13168, 9% 11457, 8% 121247, 83% !GET!! Googlebot-Image/1.0 Googlebot-Mobile/2.1 Googlebot-News Googlebot/2.1
  65. 65. RASTREAMENTO
 POR BOT 13168, 9% 11457, 8% 121247, 83% !GET!! Googlebot-Image/1.0 Googlebot-Mobile/2.1 Googlebot-News Googlebot/2.1 host="LOGS" googlebot URL | timechart count by day
  66. 66. PÁGINA COM
 REL="CANONICAL" 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 Página 1 Página canonical
  67. 67. PÁGINA COM
 REL="CANONICAL" 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 Página 1 Página canonical Implementação rel="canonical"
  68. 68. PÁGINA COM
 REL="CANONICAL" 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 Página 1 Página canonical host="LOGS" googlebot URL | timechart count by day
  69. 69. PÁGINAS QUE 
 NÃO DEVEM SER RASTREADAS
  70. 70. PÁGINAS QUE 
 NÃO DEVEM SER RASTREADAS host="LOGS" googlebot | chart count by uri
  71. 71. PÁGINAS COM 
 CONTEÚDO DUPLICADO
  72. 72. PÁGINAS COM 
 CONTEÚDO DUPLICADO host="LOGS" ? | chart count by uri
  73. 73. PÁGINAS COM 
 CONTEÚDO DUPLICADO 1% 83% 16% sem barra principal Parâmetros
  74. 74. TIPOS DE PÁGINAS
 MAIS RASTREADAS 46% 39% 5% 4% 3% 1% 1% 1% wp-admin posts imagens categorias tags js home outros
  75. 75. Precisamosnospreocuparcomo O GOOGLE ESTÁ CONSUMINDO O NOSSO SITE
  76. 76. TEMPO DE CARREGAMENTO
 IMPORTA MUITO
  77. 77. E AJUDA A VENDER
  78. 78. REFERÊNCIAS http://www.blindfiveyearold.com/crawl-optimization https://www.portent.com/blog/seo/get-geeky-grep-seo-tool.htm https://www.portent.com/blog/analytics/attribution-part-two.htm http://www.rimmkaufman.com/blog/seo-diagnostics-tool/15072008/ https://www.distilled.net/blog/seo/the-beginners-guide-to-using-the-command-line-for-seo/ http://searchengineland.com/7-ways-use-splunk-technical-seo-209987
  79. 79. SejaMegalomaníaco! NÃOACREDITE SOMENTE NO GOOGLE.
  80. 80. Obrigado :)

×