Crawling & Indexierung

Der Bingbot ist der Webcrawler von Microsoft Bing.

Bad Bots (auch Rogue Bots) sind automatische Programme, die eine Website gegen den Willen des Betreibers aufrufen oder deren Regeln …

Ein Crawler (auch Webcrawler, Spider oder Bot) ist ein Programm, das Webseiten automatisch abruft und den Links darauf folgt, um weitere …

DuckDuckBot ist der Web-Crawler der Suchmaschine DuckDuckGo.

Googlebot ist der Web-Crawler der Google Suche.

Der Googlebot Smartphone ist die mobile Variante des Googlebots.

Google-InspectionTool ist ein Google-Crawler, der bei Testwerkzeugen der Suche zum Einsatz kommt, zum Beispiel beim Rich-Results-Test und …

GoogleOther ist ein generischer Crawler von Google, den verschiedene Produktteams für den Abruf öffentlich erreichbarer Inhalte nutzen …

User-Agent ist ein HTTP-Header, mit dem ein Client dem Server mitteilt, welche Software die Anfrage stellt, etwa ein Browser, ein Crawler …

Das Crawl-Budget ist die Menge an Zeit und Ressourcen, die Google für das Crawlen einer Website aufwendet.

Crawl Demand ist der Teil des Crawl-Budgets, der beschreibt, wie viel ein Crawler von einer Website crawlen will.

Eine Crawler-Falle (englisch Spider Trap oder Crawler Trap) ist im SEO ein Bereich einer Website, in dem ein Crawler immer neue URLs …

Crawling (deutsch meist „Crawlen“) ist der automatische Abruf von Webseiten durch ein Programm, den Crawler.

Crawling-Fehler sind Probleme, bei denen ein Crawler eine Seite oder ganze Website nicht abrufen kann, zum Beispiel wegen Serverfehlern …

Die Crawl-Rate ist die Zahl der Abrufe, die ein Crawler in einem Zeitraum an eine Website stellt.

Die Crawl-Tiefe, auch Klicktiefe, gibt an, wie viele Klicks oder Linkschritte eine URL von einem Startpunkt entfernt ist.

DNS (Domain Name System) ist das System, das Domainnamen wie example.com in IP-Adressen übersetzt, damit Browser und Crawler den passenden …

Focused Crawling (themenbezogenes Crawling) bezeichnet eine Crawling-Strategie, die nur Seiten zu einem bestimmten Thema abruft und nicht …

Fresh Crawl und Deep Crawl sind historische Begriffe aus Googles Anfangsjahren.

Ein Recrawl ist der erneute Abruf einer bereits bekannten URL durch einen Crawler, damit Änderungen im Index ankommen.

URL-Discovery bezeichnet den Schritt, in dem eine Suchmaschine eine URL erstmals kennenlernt, noch bevor sie die Seite abruft.

Eine verwaiste Seite (Orphan Page) ist eine URL, auf die keine andere Seite derselben Website verlinkt.

Crawl-delay ist eine Direktive in der robots.txt, mit der Betreiber einen Crawler bitten, zwischen Abrufen zu warten.

Crawler-Direktiven sind Anweisungen an Suchmaschinen-Bots, wie sie eine Website abrufen und verarbeiten sollen.

data-nosnippet ist ein HTML-Attribut, das einzelne Textstellen einer Seite von Snippets der Google Suche ausnimmt.

Disallow ist eine Anweisung in der robots.txt, die Crawlern verbietet, URLs abzurufen, deren Pfad mit einem angegebenen Wert beginnt.

max-snippet ist eine Robots-Regel, die die maximale Länge des Text-Snippets in Suchergebnissen in Zeichen festlegt.

Das Meta Robots Tag ist ein Meta-Element im <head> einer HTML-Seite, das Suchmaschinen Vorgaben zur Indexierung und Darstellung dieser …

noarchive ist eine Robots-Regel, die früher verhindert hat, dass Google in den Suchergebnissen einen „Im Cache“-Link zu einer …

nofollow ist ein Wert, der Suchmaschinen signalisiert, einem Link nicht zu folgen.

noimageindex ist eine Robots-Regel, die verhindert, dass Google die auf dieser Seite eingebetteten Bilder indexiert.

noindex ist eine Anweisung an Suchmaschinen, eine Seite oder Datei nicht in den Suchergebnissen anzuzeigen.

nosnippet ist eine Robots-Regel, die verhindert, dass eine Suchmaschine für eine Seite Text-Snippets und Videovorschauen anzeigt.

Paywall-Inhalte sind Inhalte, die nur nach Zahlung, Abo oder Registrierung vollständig sichtbar sind.

Das Robots Exclusion Protocol (REP) ist der Standard, mit dem Betreiber über eine robots.txt-Datei Crawlern mitteilen, welche Bereiche …

Die robots.txt ist eine Textdatei im Stammverzeichnis einer Website, die Crawlern mitteilt, welche URLs sie abrufen dürfen und welche nicht.

unavailable_after ist eine Robots-Regel, die Google ein Datum und eine Uhrzeit nennt, ab denen die Seite nicht mehr in den Suchergebnissen …

Der X-Robots-Tag ist ein HTTP-Header, mit dem sich Indexierungs- und Darstellungsregeln für eine URL an Suchmaschinen übermitteln lassen.

Der Canonical Tag ist ein Link-Element im <head> einer Seite, das Suchmaschinen die bevorzugte URL nennt, wenn derselbe oder sehr …

Ein Cross-Domain-Canonical ist ein rel="canonical"-Link, der auf eine URL einer anderen Domain zeigt.

Duplicate Content sind gleiche oder sehr ähnliche Inhalte, die unter mehr als einer URL erreichbar sind, entweder innerhalb einer Website …

Index Bloat beschreibt eine Website, von der Google deutlich mehr URLs indexiert hat, als für Suchende nützlich sind.

Kanonisierung (englisch Canonicalization) bezeichnet in der Suchmaschinenoptimierung den Vorgang, aus mehreren URLs mit gleichem oder sehr …

Near Duplicate Content bezeichnet in der SEO-Praxis Seiten (allgemeine Bedeutung, keine Google-Definition), deren Inhalt anderen Seiten …

Ein selbstreferenzierender Canonical ist ein rel="canonical"-Link, dessen Ziel die eigene URL der Seite ist.

Eine Bild-Sitemap ist eine XML-Sitemap, die Google zusätzlich die Adressen von Bildern zu einer Seite nennt.

Die Google Indexing API ist eine Programmierschnittstelle, über die Website-Betreiber Google melden, dass sich eine URL geändert hat oder …

Eine HTML-Sitemap ist eine normale Seite einer Website, die Links auf Unterseiten bündelt und Besuchern die Orientierung erleichtert.

IndexNow ist ein offenes Protokoll, mit dem Website-Betreiber Suchmaschinen aktiv melden, dass sich eine URL geändert hat, neu ist oder …

lastmod ist ein optionales Feld in der XML-Sitemap und gibt an, wann sich der Inhalt einer URL zuletzt geändert hat.

Eine News-Sitemap ist eine XML-Sitemap mit Zusatzangaben für Nachrichtenartikel.

Ein RSS-Feed oder Atom-Feed ist eine XML-Datei, die die neuesten Inhalte einer Website in maschinenlesbarer Form auflistet, meist mit …

Ein Sitemap-Index ist eine XML-Datei, die auf mehrere einzelne Sitemaps verweist.

Eine Video-Sitemap ist eine XML-Sitemap mit Zusatzangaben zu Videos, die auf einzelnen Seiten einer Website eingebettet sind.

Eine XML-Sitemap ist eine Datei im XML-Format, in der eine Website die URLs auflistet, die Suchmaschinen crawlen und indexieren sollen.

Caffeine ist der Name eines Indexierungssystems, das Google am 8. Juni 2010 als abgeschlossen bekannt gab.

Crawlbarkeit (englisch Crawlability) beschreibt, ob ein Crawler wie Googlebot eine URL erreichen und abrufen kann.

Deindexierung bedeutet, dass eine URL aus dem Index einer Suchmaschine entfernt wird und nicht mehr in den Ergebnissen erscheint.

„Gecrawlt – zurzeit nicht indexiert“ ist ein Status im Bericht zur Seitenindexierung der Google Search Console.

„Gefunden – zurzeit nicht indexiert“ ist ein Status im Bericht zur Seitenindexierung der Google Search Console.

Google Cache war eine Funktion der Google-Suche, die zu einem Ergebnis eine von Google gespeicherte Kopie der Seite anzeigte.

Indexierbarkeit (Indexability) beschreibt, ob eine URL technisch in einen Suchmaschinenindex aufgenommen werden darf.

Indexierte Seiten sind URLs, die Google gecrawlt, verarbeitet und in seinen Index aufgenommen hat.

Indexierung bezeichnet im SEO den Schritt, in dem eine Suchmaschine eine gecrawlte Seite analysiert und in ihren Index aufnimmt, also in …

Indexierung beantragen heißt, Google in der Search Console per URL-Prüfung zum Crawlen einer einzelnen URL aufzufordern.

Der Indexierungsstatus gibt an, ob Google eine URL in den Index aufgenommen hat und, falls nicht, aus welchem Grund.

Mobile-First-Indexierung bedeutet, dass Google für Indexierung und Ranking die mobile Version einer Website verwendet, gecrawlt mit dem …

Die Rendering-Warteschlange (Render Queue) ist in der SEO-Bedeutung die Warteliste, in der Google Seiten nach dem Crawlen ablegt, bis sie …

Eine Soft 404 liegt vor, wenn eine URL einen Erfolgsstatuscode (2xx, meist 200) liefert, die Seite aber inhaltlich wie eine Fehlerseite …

Der Suchindex ist die Datenbank einer Suchmaschine, in der sie Informationen zu gecrawlten Seiten speichert.

Die URL-Entfernung ist ein Tool in der Google Search Console, mit dem Website-Inhaber eigene URLs vorübergehend aus den …

URL-Prüfung bezeichnet in der SEO das URL-Prüftool der Google Search Console.