robots.txt & Robots-Direktiven

Crawl-delay ist eine Direktive in der robots.txt, mit der Betreiber einen Crawler bitten, zwischen Abrufen zu warten.

Crawler-Direktiven sind Anweisungen an Suchmaschinen-Bots, wie sie eine Website abrufen und verarbeiten sollen.

data-nosnippet ist ein HTML-Attribut, das einzelne Textstellen einer Seite von Snippets der Google Suche ausnimmt.

Disallow ist eine Anweisung in der robots.txt, die Crawlern verbietet, URLs abzurufen, deren Pfad mit einem angegebenen Wert beginnt.

max-snippet ist eine Robots-Regel, die die maximale Länge des Text-Snippets in Suchergebnissen in Zeichen festlegt.

Das Meta Robots Tag ist ein Meta-Element im <head> einer HTML-Seite, das Suchmaschinen Vorgaben zur Indexierung und Darstellung dieser …

noarchive ist eine Robots-Regel, die früher verhindert hat, dass Google in den Suchergebnissen einen „Im Cache“-Link zu einer …

nofollow ist ein Wert, der Suchmaschinen signalisiert, einem Link nicht zu folgen.

noimageindex ist eine Robots-Regel, die verhindert, dass Google die auf dieser Seite eingebetteten Bilder indexiert.

noindex ist eine Anweisung an Suchmaschinen, eine Seite oder Datei nicht in den Suchergebnissen anzuzeigen.

nosnippet ist eine Robots-Regel, die verhindert, dass eine Suchmaschine für eine Seite Text-Snippets und Videovorschauen anzeigt.

Paywall-Inhalte sind Inhalte, die nur nach Zahlung, Abo oder Registrierung vollständig sichtbar sind.

Das Robots Exclusion Protocol (REP) ist der Standard, mit dem Betreiber über eine robots.txt-Datei Crawlern mitteilen, welche Bereiche …

Die robots.txt ist eine Textdatei im Stammverzeichnis einer Website, die Crawlern mitteilt, welche URLs sie abrufen dürfen und welche nicht.

unavailable_after ist eine Robots-Regel, die Google ein Datum und eine Uhrzeit nennt, ab denen die Seite nicht mehr in den Suchergebnissen …

Der X-Robots-Tag ist ein HTTP-Header, mit dem sich Indexierungs- und Darstellungsregeln für eine URL an Suchmaschinen übermitteln lassen.