English
Server, HTTP & Caching

Reverse DNS (Bot-Verifizierung)

Auch genannt: Bot-Verifizierung

Reverse DNS (rDNS, Reverse Lookup) ermittelt zu einer IP-Adresse den zugehörigen Hostnamen. Das ist die Umkehrung der üblichen DNS-Abfrage, die zu einem Namen die IP-Adresse liefert. In der SEO dient sie vor allem dazu, Crawler wie den Googlebot zu verifizieren.

Wie funktioniert die Abfrage?

Reverse-Einträge liegen in einer eigenen Zone, bei IPv4 unter in-addr.arpa, bei IPv6 unter ip6.arpa. Die Oktette der IP-Adresse werden dafür umgedreht. Aus 192.0.2.69 wird 69.2.0.192.in-addr.arpa. Dort steht ein PTR-Record, der auf den Hostnamen zeigt. PTR-Einträge sind laut Microsoft ein optionaler Teil des DNS-Standards. Wer sie nicht anlegt, bekommt bei der Abfrage keinen Namen zurück.

Wie werden Crawler damit verifiziert?

Im User-Agent kann sich jeder als Googlebot ausgeben. Google beschreibt deshalb ein Verfahren in vier Schritten.

  1. Reverse-DNS-Abfrage der zugreifenden IP-Adresse, zum Beispiel mit dem Befehl host.
  2. Prüfen, ob die Domain des Ergebnisses googlebot.com, google.com oder googleusercontent.com lautet.
  3. Forward-DNS-Abfrage auf den ermittelten Hostnamen.
  4. Prüfen, ob die dabei gelieferte IP-Adresse mit der ursprünglichen übereinstimmt.

Den Rückweg über den Forward-Lookup braucht es, weil Betreiber eines IP-Blocks den PTR-Eintrag selbst setzen können (Einschätzung). Alternativ gleicht man die IP-Adresse mit den Bereichen ab, die Google als JSON-Dateien im CIDR-Format veröffentlicht.

IP-Adressen in Logfiles können personenbezogene Daten sein (EuGH, Urteil vom 19.10.2016, C-582/14, Breyer). Keine Rechtsberatung.

Ist das wirklich Googlebot?Ablauf in fünf Schritten: IP-Adresse aus dem Logfile nehmen, Reverse-DNS-Abfrage, prüfen, ob der Hostname auf googlebot.com, google.com oder googleusercontent.com endet, Forward-DNS-Abfrage auf diesen Hostnamen, prüfen, ob dieselbe IP zurückkommt. Nur wenn beide Prüfungen passen, kommt die Anfrage von Google. Alternativ wird die IP mit Googles veröffentlichten JSON-Listen abgeglichen.1 · IP-Adresse aus dem Logfile66.249.66.12 · Reverse-DNS-Abfragecrawl-66-249-66-1.googlebot.com3 · Hostname endet aufgooglebot.com, google.com, googleusercontent.com?ja4 · Forward-DNS auf den Hostnamen66.249.66.15 · Gleiche IP wie im Logfile?jaAnfrage kommt von Googleneinnicht Googleneinnicht GoogleOder automatischIP mit Googles JSON-Listenabgleichen (CIDR-Format):common-crawlers.jsonspecial-crawlers.jsonuser-triggered-fetchers.jsonuser-triggered-fetchers-google.jsonuser-triggered-agents.jsonDen User-Agent von Googlebotgeben andere Crawler oft vor.Er allein beweist nichts.
Beide DNS-Abfragen müssen zusammenpassen. Für große Mengen empfiehlt Google den automatischen Abgleich mit den veröffentlichten IP-Listen. Beispielwerte aus Googles Dokumentation. Quellen: Google Crawling: Anfragen von Google-Crawlern und -Fetchern überprüfen; Google Search Central: Was ist der Googlebot?.

Beispiel

Illustrierter Ablauf mit erfundenen Werten.

Shell
$ host 203.0.113.7
7.113.0.203.in-addr.arpa domain name pointer crawl-203-0-113-7.googlebot.com.

$ host crawl-203-0-113-7.googlebot.com
crawl-203-0-113-7.googlebot.com has address 203.0.113.7

Beide Ergebnisse passen zusammen, die Domain lautet googlebot.com.

Häufige Fehler

  • Nur den User-Agent prüfen. Im User-Agent kann sich jeder als Googlebot ausgeben. Google beschreibt die Prüfung deshalb über die zugreifende IP-Adresse.
  • Den Rückweg weglassen. Google zählt die Forward-DNS-Abfrage und den Vergleich mit der ursprünglichen IP-Adresse (Schritte 3 und 4) zum Verfahren.
  • Jede Anfrage einzeln von Hand prüfen. Für die automatisierte Prüfung nennt Google JSON-Dateien mit seinen IP-Bereichen im CIDR-Format.

Häufige Fragen

Was ist ein Reverse Lookup? Die Auflösung einer IP-Adresse in einen Hostnamen über PTR-Einträge.

Wofür wird Reverse DNS sonst genutzt? Etwa bei Mailservern, in Logfiles und zur Bot-Prüfung.

Quellen

  1. Googlebot und andere Google-Crawler verifizieren – Google Search Centraldevelopers.google.com
  2. DNS Reverse Lookups – Microsoft Learnlearn.microsoft.com
  3. Domain Names – Implementation and Specification, RFC 1035rfc-editor.org
  4. EuGH, Urteil vom 19.10.2016, C-582/14 (Breyer) – EUR-Lexeur-lex.europa.eu

Stand: