Automatización de la Detección y Corrección de Problemas de Crawl Budget en Sitios Grandes

Introducción al Crawl Budget y su Impacto en Sitios Grandes

El crawl budget es el límite de recursos que Google asigna para rastrear un sitio web. En sitios pequeños (menos de 10,000 URLs), esto rara vez es un problema, pero en sitios masivos como e-commerce, portales de noticias o directorios con cientos de miles o millones de páginas, el crawl budget puede convertirse en un cuello de botella crítico.

Dato clave: Google estima que sitios con más de 1 millón de URLs pueden tener un crawl budget de 10,000 a 100,000 páginas diarias, dependiendo de factores como la autoridad del dominio y la velocidad del servidor. Si el 50% de ese presupuesto se gasta en páginas irrelevantes, el contenido valioso (como páginas de producto o artículos clave) queda sin indexar o desactualizado en los resultados de búsqueda.

Ejemplo real: Un sitio de comercio electrónico con 500,000 URLs (productos, categorías, filtros) podría ver cómo Googlebot dedica el 40% de su rastreo a URLs generadas por parámetros como ?color=rojo&page=3, dejando sin atención las páginas principales de categorías.

El Problema: ¿Por Qué el Crawl Budget se Desperdicia?

El desperdicio de crawl budget ocurre por varias razones técnicas y estructurales:

1. Errores 404 y 410: Páginas eliminadas o mal enlazadas que Googlebot sigue intentando rastrear.
   • Ejemplo: Un producto descatalogado (/producto/zapatos-viejos-123) genera un 404, pero sigue siendo rastreado porque está vinculado desde un viejo sitemap.
2. Redirecciones innecesarias: Cadenas de redirecciones (301 o 302) que consumen tiempo y recursos.
   • Ejemplo: /pagina-vieja → /pagina-nueva → /pagina-final podría simplificarse a un solo salto.
3. Páginas de baja calidad: URLs generadas por filtros, búsquedas internas o parámetros redundantes.
   • Ejemplo: /categoria/zapatos?sort=precio&color=azul vs. /categoria/zapatos?color=azul&sort=precio (duplicados).
4. Contenido duplicado: Páginas casi idénticas que confunden a Googlebot.
   • Ejemplo: /blog/articulo-1 y /blog/articulo-1?ref=facebook sin canonicalización.

Dato: Según un análisis de Moz, en sitios grandes, hasta el 30-50% del crawl budget puede gastarse en estas trampas si no se gestionan activamente.

Impacto: Si Googlebot no rastrea tus páginas clave, pierdes tráfico orgánico, conversiones y autoridad a largo plazo.

La Solución: Automatización para Optimizar el Crawl Budget

Analizar manualmente logs de servidor y ajustar un sitio masivo es inviable. La automatización permite detectar problemas en tiempo real y corregirlos de forma escalable. Aquí está el enfoque paso a paso:

Paso 1 – Recopilar y Procesar Logs del Servidor

Los logs registran cada solicitud a tu servidor, incluyendo las de Googlebot. Necesitas:

• Identificar al User-Agent de Googlebot (Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)).
• Extraer URLs, códigos de respuesta y timestamps.

Herramienta: Usa Python con pandas o herramientas como Splunk si prefieres una interfaz gráfica.

Paso 2 – Detectar Patrones de Desperdicio

Analiza los logs para encontrar:

• 404s recurrentes: Indican enlaces rotos o sitemaps desactualizados.
• Redirecciones excesivas: Más de un salto por URL.
• Páginas irrelevantes: URLs con parámetros como ?sessionid= o ?utm_source=.

Ejemplo: En un log de 10,000 rastreos diarios, encuentras que 2,000 son 404s de productos descatalogados y 1,500 son filtros redundantes.

Paso 3 – Priorizar Páginas Valiosas

Compara las URLs rastreadas con una lista de páginas críticas (generada por tráfico, conversiones o estrategia SEO).

Ejemplo: Si /categoria/electronica genera el 20% de tus ingresos, pero solo recibe el 5% del rastreo, necesitas actuar.

Paso 4 – Implementar Correcciones Automáticas

• Bloqueo: Usa robots.txt para evitar el rastreo de parámetros (Disallow: /*?*).
• Noindex: Añade metaetiquetas a páginas de baja calidad.
• Redirecciones: Configura reglas en el servidor para 404s recurrentes.

Ejemplo: Redirige automáticamente /producto/eliminado-123 a /categoria/reemplazos.

Ejemplo Práctico 1: Script Básico para Análisis de Logs

Contexto

Un sitio de noticias con 1 millón de URLs tiene un crawl budget de 20,000 páginas diarias, pero el 30% son errores 404 de artículos archivados.

Código

import pandas as pd
from ua_parser import user_agent_parser

# Cargar logs
log_file = "server_logs.log"
logs = pd.read_csv(log_file, sep=" ", names=["date", "ip", "ua", "url", "status"])

# Filtrar Googlebot
def is_googlebot(ua_string):
    parsed_ua = user_agent_parser.Parse(ua_string)
    return "Googlebot" in parsed_ua["user_agent"]["family"]

googlebot_logs = logs[logs["ua"].apply(is_googlebot)]

# Resumen de códigos
status_summary = googlebot_logs["status"].value_counts()
print("Resumen de rastreo:")
print(status_summary)

# Encontrar 404s
errors_404 = googlebot_logs[googlebot_logs["status"] == 404]["url"].tolist()
print(f"Errores 404 encontrados: {len(errors_404)}")

# Guardar URLs problemáticas
with open("404_to_fix.txt", "w") as f:
    for url in errors_404:
        f.write(f"{url}\n")

import pandas as pd
import requests
from ua_parser import user_agent_parser
import schedule
import time

# Cargar logs y lista de URLs prioritarias
logs = pd.read_csv("server_logs.log", sep=" ", names=["date", "ip", "ua", "url", "status"])
priority_urls = set(pd.read_csv("priority_urls.csv")["url"].tolist())  # Lista de URLs clave

# Filtrar Googlebot
def is_googlebot(ua):
    return "Googlebot" in user_agent_parser.Parse(ua)["user_agent"]["family"]

googlebot_logs = logs[logs["ua"].apply(is_googlebot)]

# Identificar desperdicio
low_quality = googlebot_logs[googlebot_logs["url"].str.contains(r"\?sort=|filter=")]
print(f"Páginas de baja calidad rastreadas: {len(low_quality)}")

# Comparar con prioridades
priority_crawled = googlebot_logs[googlebot_logs["url"].isin(priority_urls)]
print(f"Páginas prioritarias rastreadas: {len(priority_crawled)} de {len(priority_urls)}")

# Generar robots.txt dinámico
with open("robots.txt", "a") as f:
    f.write("\n# Bloqueo automático de filtros\n")
    for url in low_quality["url"].head(50):  # Ejemplo: primeras 50
        f.write(f"Disallow: {url.split('?')[0]}?*\n")

# Notificar por Slack (opcional)
def send_slack_alert(message):
    webhook = "TU_WEBHOOK_DE_SLACK"
    requests.post(webhook, json={"text": message})

if len(priority_crawled) / len(priority_urls) < 0.8:  # Si menos del 80% se rastrea
    send_slack_alert("¡Alerta! Páginas prioritarias no están siendo rastreadas lo suficiente.")

# Programar ejecución
schedule.every().day.at("03:00").do(lambda: print("Ejecutando análisis..."))
while True:
    schedule.run_pending()
    time.sleep(60)