Qué es el Crawl Budget

El Crawl Budget, o presupuesto de rastreo, es el tiempo que asigna Google a sus sistemas para rastrear páginas web y sus contenidos internos. Hay que entender que Google es una empresa y rastrear millones de páginas web diariamente tiene un alto coste.

En base a ciertos parámetros, Google asigna a cada una de nuestras páginas un tiempo máximo de rastreo y como usuarios debemos sacarle el máximo partido.

A nivel SEO debe trabajarse el:

• Enlazado interno
• Etiquetado nofollow
• Etiquetado noindex

Por lógica, debería indexarse aquel contenido que resuelva intenciones de búsqueda y evitar todas las páginas con thin content.

A nivel WPO debe trabajarse el:

• Mantenimiento de servidor
• Análisis del código
• Optimización de contenidos

El WPO debe incidir sobre el conjunto de la página, tanto las indexables como las que no lo son. Pero en lo referente al Crawl Budget, tiene especial interés en mejorar los tiempos de carga para que Gooble Bot circule con la máxima velocidad a través de nuestro sitio y lea las máximas páginas posibles en el espacio temporal que nos asigna Google.

A través de Search Console podemos consultar las estadísticas de rastreo de Googlebot de los últimos 90 días. Nos permiten analizar la cantidad de páginas que rastrea al día, el peso total descargado diariamente y el tiempo de descarga de una página.

Estas gráficas nos permitirán analizar el impacto de nuestras optimizaciones tanto a nivel SEO como WPO sobre el crawl budget y la indexabilidad del sitio.