Optimiza el crawl budget en grandes sites

¿Qué es el crawl budget?

“Representa el número de
conexiones paralelas y simultáneas
que utiliza el robot de Google para
rastrear el sitio web, así como el
tiempo de espera entre cada
obtención.”
Según Google
¿Qué es el crawl budget?

“Aunque no se alcance el límite de la
frecuencia de rastreo, si no hay
demanda de indexación, el robot de
Google tendrá poco trabajo. ”
¿Qué es el crawl budget?
Demanda de rastreo

“Google incluirá un determinado
número de urls en su índice, y NO
necesariamente las mejores”
¿Qué es el crawl budget?
Definición personal

“Identificar las URLs a las que accede
Google y determinar si son eficaces
para cada URL / segmento”
Optimizar presupuesto de rastreo
¿Qué es el crawl budget?

¿De qué depende el
crawl budget?

Demanda de rastreo
● Popularidad → Enlaces, sobretodo
externos.
¿De qué depende el crawl budget?

Demanda de rastreo
● Popularidad →
● Inactividad →
Google intenta evitar
que las URL del índice
queden inactivas.
Enlaces, sobretodo
externos.
¿De qué depende el crawl budget?

¿Cómo medir el crawl
budget?

¿Cómo medirlo? → GSC → Estadísticas de rastreo

¿Cómo medirlo? → GSC → Estado de la indexación

¿Cómo medirlo? → Logs → Google Analytics

→ →

¿Cómo medirlo? → Logs → status

Los datos no coinciden
¿por qué?

Discrepancia de datos
Estadísticas de rastreo Todo tipo de urls / día
Estado de la indexación ● URLs de contenido
● Estado 200
● Acumulado
● URLs útiles
Logs Tú lo defines

¿Realmente es
importante mejorar el
crawl budget?

• En sites pequeños
• En sites medianos
• En sites grandes
Depende
Sí
Crítico
¿Es muy importante el crawl budget?

Optimizar el Crawl
Budget es conocer, de
verdad, tu web.

Cada web es única

Pero… en determinados aspectos
TODAS se parecen

Errores
Redirecciones
Correctas

1. Decisiones de negocio (fichas sin stock).
2. ¿Tienen o han tenido visitas anteriormente?
3. Ordenar, en base a su tráfico orgánico.
4. Tipo de error (50x pueden tardar en responder)
Cómo decidir qué hacer con los errores
Aspectos comunes → Tipos de estado → Errores (40x, 50x)

Errores
Redirecciones
Correctas

¿Las redirecciones
consumen crawl budget?

Aspectos comunes → Tipos de estado → Redirecciones
Dobles, triples, etc Cambiar
A páginas con error Cambiar
N → 1 Analizar
A urls no eficaces Analizar y eliminar
Redirecciones 302 ¿Modificar por 301?

Errores
Redirecciones
Correctas

¿Qué es la eficacia de
las urls?

“El ratio entre el número total de
URLs rastreadas Vs el número de
urls con visitas orgánicas.”
Eficacia de las urls
¿Qué es la eficacia de las URLs?

“Queremos que Google solo rastree e
indexe las urls que aportan visitas
orgánicas, o que sean una puerta
para indexar urls que aportan visitas”
Eficacia ideal de las urls
¿Qué es la eficacia de las URLs?

Aspectos comunes → Tipos de estado → URLs correctas (200)
Eficaces Tienen tráfico orgánico
Enlazan a eficaces El cómo llegar a las eficaces
Ineficaces Sin tráfico, imprescindibles en AI
Con errores No aportan pero podrían aportar
Históricas Alguna vez aportaron

● Visitas orgánicas totales.
● Número de URLs con tráfico orgánico.
● Número de URLs rastreadas por Google.
● Accesos totales de Google.
Aspectos comunes → Tipos de estado → URLs correctas (200)
¿Con qué datos identificamos las urls
eficaces?

Mitos Vs Realidades

Tráfico orgánico
Mitos Vs Realidades

¿Si aumento el número
de URLs rastreadas
aumenta el tráfico
orgánico?

Mitos Vs Realidades
URLs rastreadas Vs orgánico

¿Si aumento el número
de urls con visitas
ganaré tráfico orgánico?

Orgánico Vs URLs con visitas
Mitos Vs Realidades

¿Si aumento el número
de urls rastreadas
aumentarán las URLs
con visitas?

Rastreadas Vs URLs con visitas
Mitos Vs Realidades

Orgánico Vs con visitas Vs rastreadas
Mitos Vs Realidades

No existe la fórmula,
debemos usar datos y el
sentido común

Resumen→ Tipos de estado
Errores Priorizar y corregir
Redirecciones Analizar y corregir
Correctas ¿Son eficaces?

URLs ineficaces

● Filtros no indexables.
● Filtros que crean contenido thin content.
● Parámetros sin valor (ordenación, img).
● Segmentos sin potencial.
Mejorar el crawl budget → URLs ineficaces

¿Cómo mejorar la
eficacia de las urls?

Evitando que Google
pierda tiempo en URLs
ineficaces

● No ser destino de redirecciones ni
canonicals.
● No introducir en sitemaps.
● Arquitectura que no las contemple.
Mejorar el crawl budget → URLs ineficaces

¿Y si no se pueden evitar
las urls ineficaces?

Mejorar el crawl budget → URLs ineficaces
Ofuscar enlaces No evita el rastreo
Meta canonical No evita el rastreo
Meta NoIndex No evita el rastreo
Links NoFollow Evita el rastreo a medias
Robots.txt EVITA el rastreo

¡Muchas Gracias!