Web Scraping mit Proxys: Best Practices, Grenzen und rechtliche Aspekte

Viele Websites bieten APIs, Produktfeeds oder Datenexporte an. Sie sind stabiler als Scraping, gehen nicht bei jedem Redesign kaputt und regeln klar, was Sie mit den Daten tun dürfen. Scraping ist sinnvoll, wenn es keine Alternative gibt oder diese nicht abdeckt, was Sie brauchen.

Das ist keine Rechtsberatung, aber einige Punkte gelten fast überall:

• Personenbezogene Daten: In Europa gilt die DSGVO auch für online veröffentlichte Daten. Namen, E-Mails, Fotos und Profile von Personen erfordern eine Rechtsgrundlage und besondere Schutzmaßnahmen. Wenn möglich, erheben Sie sie gar nicht.
• Nutzungsbedingungen: Viele Websites regeln Scraping ausdrücklich. Verstöße können vertragliche Folgen haben.
• Urheber- und Datenbankrecht: Inhalte oder ganze Datenbanken zu kopieren und neu zu veröffentlichen kann die Rechte des Inhabers verletzen.
• Geschützte Bereiche: Erheben Sie keine Daten hinter Logins oder Zugangskontrollen ohne Erlaubnis.

• Lokale Inhalte: Preise, Verfügbarkeit und Suchergebnisse ändern sich je nach Land. Mit einer italienischen, niederländischen, britischen oder französischen IP sehen Sie, was ein lokaler Nutzer sieht.
• Mobile Version: Mit einem mobilen Proxy sehen Sie Inhalte wie ein Smartphone-Nutzer im Netz eines Betreibers.
• Last verteilen: Viele Anfragen von einer einzigen IP werden gedrosselt, selbst wenn das Gesamttempo vernünftig ist.

Welcher Proxy-Typ passt, hängt von Volumen und Zielseiten ab: siehe Mobile, Residential und Rechenzentrums-Proxys.

1. Beachten Sie robots.txt und etwaige Vorgaben zur Crawl-Frequenz.
2. Gehen Sie langsam vor: wenige Anfragen pro Sekunde, mit wechselnden Pausen. Das Tempo fällt mehr auf als die IP.
3. Cachen Sie selten geänderte Seiten und laden Sie nur, was Sie brauchen.
4. Behandeln Sie Fehler: Bei 429 (zu viele Anfragen) oder 503 warten Sie und verlängern die Pause bei jedem Versuch.
5. Rotieren Sie mit Bedacht: in Intervallen oder wenn eine Website zu drosseln beginnt, nicht bei jeder Anfrage. Siehe IP-Rotation.
6. Nutzen Sie realistische, konsistente Header (User Agent, Sprache).
7. Arbeiten Sie möglichst zu verkehrsarmen Zeiten der Website.

Ein Grundgerüst mit Pausen, Wiederholungen und IP-Rotation, wenn die Website mit einem Limit antwortet:

import random, time, requests

PROXY = "http://BENUTZER:PASSWORT@HOST:PORT"
ROTATE = "ROTATIONSLINK"
session = requests.Session()
session.proxies = {"http": PROXY, "https": PROXY}

def fetch(url, tries=4):
    for attempt in range(tries):
        r = session.get(url, timeout=30)
        if r.status_code == 200:
            return r.text
        if r.status_code in (429, 503):
            requests.get(ROTATE, timeout=30)   # neue IP
            time.sleep(30 + 2 ** attempt)      # wachsende Wartezeit
            continue
        r.raise_for_status()
    raise RuntimeError(f"Zu viele Versuche: {url}")

for url in ["https://example.com/a", "https://example.com/b"]:
    html = fetch(url)
    time.sleep(random.uniform(2, 5))       # menschliches Tempo

Die Proxy-Einrichtung in Python und Node.js zeigen die Anleitungen zu Python und Node.js.

Websites, die Inhalte per JavaScript laden, erfordern einen automatisierten Browser (Playwright, Puppeteer, Selenium). Es gelten dieselben Regeln, mit besonderem Augenmerk auf Konsistenz: Sprache, Zeitzone und Betriebssystem des Browsers müssen zum Proxy passen, einschließlich des TCP/IP-Fingerprints.