# Scraper

Kategorie: [KI-Bots & Crawler](https://seo-geo-glossary.com/de/glossar/kategorie/ki-bots-crawler/) › [Arten von KI-Bots](https://seo-geo-glossary.com/de/glossar/kategorie/ki-bots-crawler/arten-von-ki-bots/) · Auch genannt: Web Scraper, Scraping-Bot

Ein **Scraper** ist ein Programm, das Daten aus Webseiten automatisiert ausliest und in ein anderes Format überträgt, etwa in eine Tabelle oder Datenbank. Gemeint ist das Auslesen von Inhalten, anders als beim Crawler, dessen Hauptaufgabe das Auffinden und Abrufen von Seiten ist. Im SEO-Alltag taucht der Begriff meist auf, wenn fremde Bots Inhalte einer Website kopieren.

## Wie arbeitet ein Scraper?

Ein Scraper ruft Seiten ab, liest das HTML aus und extrahiert gezielt einzelne Elemente wie Preise, Texte oder Bewertungen. Dafür kommen Skripte, Bibliotheken oder Tools ohne Programmierung zum Einsatz. Crawling und Scraping treten laut Berichten oft zusammen auf. Das Crawling liefert die Seiten, das Scraping liefert die Daten.

Scraper sind nicht von vornherein Missbrauch. Preisvergleiche, Marktforschung und Monitoring nutzen dieselbe Technik. Für Website-Betreiber wird es zum Thema, wenn der Zugriff Server belastet oder Inhalte ohne Erlaubnis wiederverwendet werden.

## Wie gehen Betreiber mit Scrapern um?

Die robots.txt ist ein Hinweis an Bots, der sich an die Regeln hält. Nach RFC 9309 sind ihre Regeln ausdrücklich keine Form der Zugriffsautorisierung. Ein Scraper, der sie ignoriert, wird dadurch nicht aufgehalten.

Als Gegenmaßnahmen nennt die Fachliteratur Rate Limiting, IP-Sperren, CAPTCHAs und Bot-Management. Cloudflare ordnet Bots nach ihrem Verhalten ein, etwa in Search, Agent und Training. Das hilft, erwünschte Zugriffe von unerwünschten zu trennen.

## Beispiel

Eine Seite mit 20.000 Produktdetailseiten wird innerhalb einer Stunde von einer einzelnen IP abgerufen, mit identischem User-Agent und ohne Bild- und CSS-Abrufe. Das Muster in den Logfiles spricht für einen Scraper (konstruiertes Beispiel, kein Messwert).

## Häufige Fehler

- **robots.txt als Schutz einsetzen.** Laut RFC 9309 ersetzt das Robots Exclusion Protocol keine Maßnahmen zur Absicherung von Inhalten. Wer Inhalte schützen will, braucht etwa eine Authentifizierung.
- **Sensible Pfade in der robots.txt auflisten.** Laut RFC 9309 macht ein Eintrag in der robots.txt die Pfade öffentlich auffindbar.

## Häufige Fragen

**Ist Scraping dasselbe wie Crawling?**
Beide Begriffe überschneiden sich. Crawling bezeichnet das Abrufen von Seiten, Scraping das Extrahieren von Daten daraus.

**Hält die robots.txt Scraper ab?**
Nur solche, die sie beachten. Technische Sperren und Bot-Management greifen unabhängig davon.

## Auf einen Blick

- **Art:** Programm zum automatisierten Auslesen von Webseiten
- **Wirkt auf:** Inhalte öffentlich abrufbarer Webseiten
- **Doku:** [RFC 9309: robots.txt ist keine Zugriffsautorisierung](https://www.rfc-editor.org/rfc/rfc9309.html)

Stand: 8. Oktober 2026

## Verwandte Begriffe

- [Crawler](https://seo-geo-glossary.com/de/glossar/crawler/index.md)
- [robots.txt](https://seo-geo-glossary.com/de/glossar/robots-txt/index.md)
- [Bot-Management](https://seo-geo-glossary.com/de/glossar/bot-management/index.md)
- [Gescrapte Inhalte](https://seo-geo-glossary.com/de/glossar/gescrapte-inhalte/index.md)
- [Bösartige Bots (Bad Bots)](https://seo-geo-glossary.com/de/glossar/boesartige-bots/index.md)
- [Web Bot Auth (signierte Bots)](https://seo-geo-glossary.com/de/glossar/web-bot-auth/index.md)
- [User-Agent](https://seo-geo-glossary.com/de/glossar/user-agent/index.md)

## Quellen

- [RFC 9309: Robots Exclusion Protocol – IETF](https://www.rfc-editor.org/rfc/rfc9309.html)
- [Bots and AI classification – Cloudflare Docs](https://developers.cloudflare.com/bots/concepts/bot/)
- [Web scraping – Wikipedia (Zweitquelle)](https://en.wikipedia.org/wiki/Web_scraping)

---

Stand: 8. Oktober 2026
URL: https://seo-geo-glossary.com/de/glossar/scraper/