Focused Crawling (themenbezogenes Crawling) bezeichnet eine Crawling-Strategie, die nur Seiten zu einem bestimmten Thema abruft und nicht das ganze Web. Der Begriff stammt aus der Informatik-Forschung und wurde laut Wikipedia von Chakrabarti et al. (WWW 1999) geprägt, einer Arbeit, die auch das VLDB-Paper von 2000 zitiert.
Wie funktioniert Focused Crawling?
Diligenti et al. (VLDB 2000) beschreiben das Ziel so, dass ein idealer Focused Crawler möglichst viele relevante Seiten holt und dabei möglichst wenige irrelevante durchläuft. Dafür muss er die Relevanz einer Seite schätzen, bevor er sie lädt. Frühe Verfahren nutzten dafür den Ankertext eines Links. Spätere Ansätze ziehen den Inhalt bereits besuchter Seiten heran.
Nischensuchmaschinen und Portale mit begrenzter Bandbreite und begrenztem Speicher profitieren davon. Auch ergänzend zu vollständigen Crawls kann es sinnvoll sein, etwa für schnell wechselnde Themen.
Beispiel
Ein Crawler für eine Suchmaschine zu medizinischer Fachliteratur startet bei Fachportalen. Ein Klassifikator bewertet jeden gefundenen Link nach seiner Themennähe. Nur Links mit hoher Bewertung wandern in die Crawl-Warteschlange.
Abgrenzung
Einige SEO-Lexika verwenden den Begriff für Googles Priorisierung häufig aktualisierter Seiten. Eine Google-Quelle, die diese Gleichsetzung stützt, liegt nicht vor.
Quellen
Stand: