Web scraping con proxies: buenas prácticas, límites y aspectos legales

Muchos sitios ofrecen API, feeds de productos o exportaciones de datos. Son más estables que el scraping, no se rompen con cada rediseño y dejan claro qué puedes hacer con los datos. El scraping tiene sentido cuando no hay alternativas o estas no cubren lo que necesitas.

No es asesoramiento jurídico, pero algunos puntos valen casi en todas partes:

• Datos personales: en Europa el RGPD se aplica también a los datos publicados en Internet. Nombres, emails, fotos y perfiles de personas requieren una base jurídica y garantías específicas. Si puedes, evita recogerlos.
• Condiciones de uso: muchos sitios regulan expresamente el scraping. Incumplirlas puede tener consecuencias contractuales.
• Derechos de autor y bases de datos: copiar y volver a publicar contenidos o bases de datos enteras puede vulnerar los derechos del titular.
• Zonas protegidas: no recojas datos que estén tras un inicio de sesión o controles de acceso sin autorización.

• Contenidos locales: precios, disponibilidad y resultados de búsqueda cambian según el país. Con una IP italiana, neerlandesa, británica o francesa ves lo que ve un usuario local.
• Versión móvil: con un proxy móvil ves los contenidos como un usuario de smartphone en la red de un operador.
• Repartir la carga: muchas peticiones desde una sola IP acaban limitadas aunque el ritmo total sea razonable.

Qué tipo de proxy elegir depende del volumen y de los sitios objetivo: consulta Proxies móviles, residenciales y de datacenter.

1. Respeta robots.txt y las posibles indicaciones sobre la frecuencia de rastreo.
2. Ve despacio: pocas peticiones por segundo, con pausas variables. El ritmo llama más la atención que la IP.
3. Usa caché para las páginas que cambian poco y descarga solo lo que necesitas.
4. Gestiona los errores: ante un 429 (demasiadas peticiones) o un 503, espera, aumentando la pausa en cada intento.
5. Rota con criterio: por intervalos o cuando un sitio empieza a limitarte, no en cada petición. Consulta Rotación de IP.
6. Usa cabeceras realistas y coherentes (user agent, idioma).
7. Trabaja en las horas de menos tráfico del sitio cuando sea posible.

Un esqueleto con pausas, reintentos y rotación de la IP cuando el sitio responde con un límite:

import random, time, requests

PROXY = "http://USUARIO:CONTRASEÑA@HOST:PUERTO"
ROTATE = "ENLACE_DE_ROTACION"
session = requests.Session()
session.proxies = {"http": PROXY, "https": PROXY}

def fetch(url, tries=4):
    for attempt in range(tries):
        r = session.get(url, timeout=30)
        if r.status_code == 200:
            return r.text
        if r.status_code in (429, 503):
            requests.get(ROTATE, timeout=30)   # IP nueva
            time.sleep(30 + 2 ** attempt)      # espera creciente
            continue
        r.raise_for_status()
    raise RuntimeError(f"Demasiados intentos: {url}")

for url in ["https://example.com/a", "https://example.com/b"]:
    html = fetch(url)
    time.sleep(random.uniform(2, 5))       # ritmo humano

La configuración del proxy en Python y Node.js está en las guías de Python y Node.js.

Los sitios que cargan los contenidos con JavaScript requieren un navegador automatizado (Playwright, Puppeteer, Selenium). Valen las mismas reglas, con más atención a la coherencia: idioma, zona horaria y sistema operativo del navegador deben coincidir con el proxy, incluida la huella TCP/IP.