¿Qué es el crawl budget? Por qué importa para el SEO

Definición

El crawl budget se refiere al número de páginas que un rastreador (como Googlebot) solicitará de tu sitio en un período de tiempo dado. Está determinado por la tasa de rastreo y la demanda de rastreo.

Para sitios pequeños y medianos, el crawl budget no es un problema. Pero para sitios grandes (decenas de miles de páginas o más), su gestión se vuelve crítica.

Cómo los enlaces rotos desperdician crawl budget

Cada vez que un rastreador sigue un enlace a una página que devuelve un error 404, es un rastreo desperdiciado.

El problema se agrava con las cadenas de redirección que multiplican el coste de rastreo.

Por qué importa el crawl budget

• Descubrimiento de contenido nuevo — las páginas nuevas pueden tardar más en ser descubiertas.
• Frescura del contenido — las páginas rastreadas con menos frecuencia pueden mostrar información desactualizada.
• Gestión de sitios grandes — los sitios de e-commerce y noticias necesitan que cada rastreo cuente.

Optimización del crawl budget

1. Corregir enlaces rotos — ejecuta un escaneo de enlaces rotos para identificar errores 404.
2. Eliminar cadenas de redirección — asegúrate de que las redirecciones apunten directamente al destino final.
3. Usar robots.txt inteligentemente — bloquea el acceso a páginas de bajo valor.
4. Enviar un sitemap XML — ayuda a los motores a encontrar tus páginas importantes.
5. Mejorar el tiempo de respuesta del servidor — servidores más rápidos permiten más páginas rastreadas.
6. Evitar soft 404 — asegúrate de que las páginas inexistentes devuelvan un código 404 real.

Verificar tu crawl budget

El informe "Estadísticas de rastreo" de Google Search Console muestra cuántas páginas rastrea Googlebot por día.

Broken Link Scan te da una vista completa de cada URL que desperdicia crawl budget.