Duplicate Content sind gleiche oder sehr ähnliche Inhalte, die unter mehr als einer URL erreichbar sind, entweder innerhalb einer Website oder über mehrere Domains hinweg. Google wählt aus einer solchen Gruppe eine kanonische URL aus und zeigt in der Regel nur diese in den Suchergebnissen.
Auf einen Blick
- Art
- gleiche oder sehr ähnliche Inhalte unter mehreren URLs
- Wirkt auf
- Wahl der kanonischen URL, Crawling
- Abstrafung?
- keine für technisch bedingte Duplikate (laut Google)
- Signale zur Kanonisierung
- 301 und
rel="canonical"stark, Sitemap schwach
Stand:
Wie geht Google mit Duplicate Content um?
Google fasst Seiten mit gleichem Hauptinhalt zu einer Gruppe zusammen und bestimmt eine davon als kanonisch. Diesen Vorgang nennt Google Kanonisierung. Die übrigen Varianten gelten als Duplikate und werden seltener gecrawlt.
Eine Abstrafung ist damit nicht verbunden. Google schreibt, dass eine gewisse Menge doppelter Inhalte normal ist und nicht gegen die Spamrichtlinien verstößt. Problematisch wird es aus anderen Gründen. Google wählt womöglich eine andere URL als gewünscht, es wird schwerer nachzuvollziehen, wie die Inhalte in den Suchergebnissen abschneiden, und bei großen Websites verbraucht das Crawlen der Duplikate Crawl-Budget.
Wie entsteht Duplicate Content?
Meist steckt keine Absicht dahinter. Typische technische Ursachen:
- Protokoll- und Hostvarianten (http/https, mit und ohne www)
- URL-Parameter für Filter, Sortierung oder Tracking
- Regionale Varianten mit gleichem Text, etwa für Deutschland und Österreich
- Getrennte Mobil- und Desktop-URLs
- Druckversionen, Tag- und Archivseiten im CMS
- Demo- oder Testumgebungen, die öffentlich erreichbar sind
Dazu kommen inhaltliche Gründe, etwa Herstellertexte, die viele Shops gleichlautend verwenden.
Beispiel
Dieselbe Produktseite ist unter drei URLs erreichbar:
https://www.example.com/schuh-123
https://www.example.com/schuh-123?farbe=blau
http://example.com/schuh-123
Der Host ohne www und die http-Version leiten per 301 auf die erste URL weiter. Die Parameter-URL bleibt erreichbar und enthält im <head> einen Canonical-Hinweis:
<link rel="canonical" href="https://www.example.com/schuh-123">
Wie lässt sich Duplicate Content beheben?
Google nennt mehrere Signale, die unterschiedlich stark wirken. Weiterleitungen gelten als starkes Signal, rel="canonical" ebenfalls, die Aufnahme in die XML-Sitemap als schwächeres. Alle sind Hinweise und keine Befehle. Am verlässlichsten ist es, wenn alle Signale auf dieselbe URL zeigen und interne Links ebenfalls die kanonische Version verwenden.
Häufige Fehler
- Duplikate per robots.txt sperren. Google rät davon ab, die robots.txt zur Kanonisierung zu nutzen. Gesperrte URLs kann Google trotzdem indexieren, dann ohne Inhalt.
- Das Entfernungstool nutzen. Das Tool zum Entfernen von URLs blendet alle Versionen einer URL in der Suche aus. Für die Kanonisierung ist es laut Google ungeeignet.
- Widersprüchliche Signale. Nennt die Sitemap eine andere URL als
rel="canonical"auf derselben Seite, widersprechen sich die Hinweise. Google empfiehlt, mit allen Methoden dieselbe URL anzugeben. - URL-Fragment als kanonisch angeben. Google unterstützt Fragmente wie
#farbe-blauin der Regel nicht. Eine Adresse mit Fragment eignet sich deshalb nicht als kanonische URL.
Häufige Fragen
Wird eine Website für Duplicate Content abgestraft? Für technisch bedingte Duplikate nicht. Anders liegt der Fall bei Inhalten, die von fremden Websites kopiert werden, um Rankings zu manipulieren. Das fällt unter Googles Spamrichtlinien.
Wie finde ich Duplicate Content? Der Bericht zur Seitenindexierung in der Search Console zeigt URLs mit Status wie „Duplikat – vom Nutzer nicht als kanonisch festgelegt“. Ein Crawl der Website deckt gleiche Titel, gleiche Inhalte und Parameter-Varianten auf.
Quellen
- Was ist die URL-Kanonisierung? – Google Search Centraldevelopers.google.com
- Kanonische URL angeben – Google Search Centraldevelopers.google.com
- Crawling-Budget für große Websites verwalten – Google Search Centraldevelopers.google.com
- Spamrichtlinien für die Google Websuche (Abschnitt Scraping)developers.google.com
- Bericht zur Seitenindexierung – Search Console-Hilfesupport.google.com
Stand: