Eine Web Application Firewall (WAF) prüft den HTTP- und HTTPS-Verkehr, der bei einer Website oder Webanwendung ankommt, und blockiert verdächtige Anfragen. Sie arbeitet auf der Anwendungsebene (Layer 7 des OSI-Modells). Im SEO-Kontext ist sie wichtig, weil sie auch Crawler ausbremsen oder aussperren kann.
Wie arbeitet eine WAF?
Die WAF analysiert Anfragen samt Headern, Parametern und Inhalt und gleicht sie mit Regeln ab. Ziel sind Angriffe wie SQL-Injection oder Cross-Site Scripting sowie Bot-Angriffe und Überlastung durch zu viele Anfragen. Erkennung läuft über Signaturen bekannter Angriffsmuster, über Anomalie-Erkennung oder über Machine Learning. Betrieben wird sie als Cloud-Dienst, vor Ort oder hybrid.
Eine klassische Netzwerk-Firewall arbeitet dagegen auf den Ebenen 3 und 4 und regelt Verbindungen anhand von IP-Adressen und Ports. Beide Systeme ergänzen sich laut Fortinet.
Bezug zu Crawling und SEO
Viele WAF-Produkte bringen Bot-Regeln mit. Laut Berichten können diese Regeln auch Googlebot oder einen SEO-Crawler treffen und zu Fehlerantworten führen. Google wertet 429 als Signal für einen überlasteten Server und drosselt dann das Crawling. Die Codes 401 und 403 sind dafür ausdrücklich nicht gedacht, ein 403 liefert dem Crawler schlicht keinen Inhalt.
Gute Bot-Regeln unterscheiden echte Crawler von Fälschungen. Cloudflare bestätigt Verified Bots über veröffentlichte IP-Listen mit Reverse-DNS-Prüfung oder über eine kryptografische Signatur (Web Bot Auth). Am Server lässt sich Googlebot analog prüfen (siehe Bot-Verifizierung).
Beispiel
Ein Logfile-Auszug (Beispieldaten) zeigt, wie sich eine zu strenge Regel äußert:
192.0.2.15 - - [06/Oct/2026:10:12:01 +0000] "GET /produkte/ HTTP/1.1" 403 199 "-" "ExampleBot/1.0"
Der Crawler erhält statt der Seite den Status 403. Im Logfile fällt das über die Statuscodes pro Bot auf.
Häufige Fehler
- Googlebot nur am User-Agent erkennen. Google beschreibt die Prüfung per Reverse-DNS oder über veröffentlichte IP-Bereiche, weil sich Dritte als Google ausgeben können. Wer nur den User-Agent zulässt, lässt auch Fälschungen durch.
- Crawling mit 401 oder 403 bremsen. Google schreibt, dass diese Codes nicht zum Begrenzen der Crawlrate dienen. Die 4xx-Codes außer 429 haben keinen Einfluss darauf, und der Inhalt solcher URLs wird nicht verwendet.
Häufige Fragen
Was ist der Unterschied zwischen WAF und Firewall? Die WAF prüft Inhalte von Webanfragen auf Anwendungsebene, die Netzwerk-Firewall regelt Verbindungen auf den unteren Netzwerkebenen.
Mehr dazu im searchVIU-Blog
Quellen
- Unterschied zwischen WAF und einer Firewall – Fortinetfortinet.com
- Was ist eine Web Application Firewall (WAF)? – Ciscocisco.com
- Verified Bots – Cloudflare Docsdevelopers.cloudflare.com
- HTTP-Statuscodes und Netzwerkfehler – Google Search Centraldevelopers.google.com
- Web Application Firewall – OWASP Communitycommunity.owasp.org
- Verifying requests from Google crawlers – Google Crawling Infrastructuredevelopers.google.com
Stand: