Web scraping con i proxy: buone pratiche, limiti e aspetti legali

Molti siti offrono API, feed di prodotti o esportazioni di dati. Sono più stabili dello scraping, non si rompono a ogni modifica grafica e chiariscono cosa puoi fare con i dati. Lo scraping ha senso quando non esistono alternative o non coprono quello che ti serve.

Non è un parere legale, ma alcuni punti valgono quasi ovunque:

• Dati personali: in Europa il GDPR si applica anche ai dati pubblicati online. Nomi, email, foto e profili di persone richiedono una base giuridica e cautele precise. Se puoi, evita del tutto di raccoglierli.
• Condizioni d'uso: molti siti le regolano esplicitamente. Violarle può avere conseguenze contrattuali.
• Diritto d'autore e banche dati: copiare e ripubblicare contenuti o intere banche dati può violare i diritti del titolare.
• Aree protette: non raccogliere dati dietro login o sistemi di accesso senza autorizzazione.

• Contenuti locali: prezzi, disponibilità e risultati di ricerca cambiano da paese a paese. Con un IP italiano, olandese, britannico o francese vedi quello che vede un utente locale.
• Versione mobile: con un proxy mobile vedi i contenuti come un utente da smartphone sulla rete di un operatore.
• Distribuire il carico: tante richieste da un solo IP vengono limitate anche quando il ritmo complessivo è ragionevole.

Quale tipo di proxy scegliere dipende da volume e siti: lo spieghiamo in Proxy mobili, residenziali e datacenter.

1. Rispetta robots.txt e le eventuali indicazioni sul ritmo di accesso.
2. Vai piano: poche richieste al secondo, con pause variabili. Il ritmo si nota più dell'IP.
3. Metti in cache le pagine che non cambiano spesso e scarica solo quello che ti serve.
4. Gestisci gli errori: con 429 (troppe richieste) o 503 aspetta, aumentando l'attesa a ogni tentativo.
5. Ruota con criterio: a intervalli o quando un sito inizia a limitarti, non a ogni richiesta. Vedi Rotazione IP.
6. Usa intestazioni realistiche e coerenti tra loro (user agent, lingua).
7. Lavora negli orari di minor traffico del sito, quando possibile.

Uno scheletro con pause, nuovi tentativi e rotazione dell'IP quando il sito risponde con un limite:

import random, time, requests

PROXY = "http://UTENTE:PASSWORD@HOST:PORTA"
ROTATE = "LINK_DI_ROTAZIONE"
session = requests.Session()
session.proxies = {"http": PROXY, "https": PROXY}

def fetch(url, tries=4):
    for attempt in range(tries):
        r = session.get(url, timeout=30)
        if r.status_code == 200:
            return r.text
        if r.status_code in (429, 503):
            requests.get(ROTATE, timeout=30)   # nuovo IP
            time.sleep(30 + 2 ** attempt)      # attesa crescente
            continue
        r.raise_for_status()
    raise RuntimeError(f"Troppi tentativi: {url}")

for url in ["https://example.com/a", "https://example.com/b"]:
    html = fetch(url)
    time.sleep(random.uniform(2, 5))       # ritmo umano

La configurazione dei proxy in Python e Node.js è spiegata nelle guide per Python e Node.js.

Per siti che caricano i contenuti con JavaScript serve un browser automatizzato (Playwright, Puppeteer, Selenium). Valgono le stesse regole, con un'attenzione in più alla coerenza: lingua, fuso orario e sistema operativo del browser devono corrispondere al proxy, compresa l'impronta TCP/IP.