- Crawl-Budget
Das Crawl-Budget ist die Menge an Zeit und Ressourcen, die Google für das Crawlen einer Website aufwendet.
- Crawl Demand
Crawl Demand ist der Teil des Crawl-Budgets, der beschreibt, wie viel ein Crawler von einer Website crawlen will.
- Crawler-Falle (Spider Trap)
Eine Crawler-Falle (englisch Spider Trap oder Crawler Trap) ist im SEO ein Bereich einer Website, in dem ein Crawler immer neue URLs …
- Crawling
Crawling (deutsch meist „Crawlen“) ist der automatische Abruf von Webseiten durch ein Programm, den Crawler.
- Crawling-Fehler
Crawling-Fehler sind Probleme, bei denen ein Crawler eine Seite oder ganze Website nicht abrufen kann, zum Beispiel wegen Serverfehlern …
- Crawl-Rate
Die Crawl-Rate ist die Zahl der Abrufe, die ein Crawler in einem Zeitraum an eine Website stellt.
- Crawl-Tiefe (Klicktiefe)
Die Crawl-Tiefe, auch Klicktiefe, gibt an, wie viele Klicks oder Linkschritte eine URL von einem Startpunkt entfernt ist.
- DNS
DNS (Domain Name System) ist das System, das Domainnamen wie example.com in IP-Adressen übersetzt, damit Browser und Crawler den passenden …
- Focused Crawling
Focused Crawling (themenbezogenes Crawling) bezeichnet eine Crawling-Strategie, die nur Seiten zu einem bestimmten Thema abruft und nicht …
- Fresh Crawl / Deep CrawlHistorisch
Fresh Crawl und Deep Crawl sind historische Begriffe aus Googles Anfangsjahren.
- Recrawl (erneutes Crawlen)
Ein Recrawl ist der erneute Abruf einer bereits bekannten URL durch einen Crawler, damit Änderungen im Index ankommen.
- URL-Discovery
URL-Discovery bezeichnet den Schritt, in dem eine Suchmaschine eine URL erstmals kennenlernt, noch bevor sie die Seite abruft.
- Verwaiste Seite (Orphan Page)
Eine verwaiste Seite (Orphan Page) ist eine URL, auf die keine andere Seite derselben Website verlinkt.