Zum Inhalt springen

Japon Sakura

Actualité

Wie lässt sich eine Website mithilfe ihrer Sitemap effizient erkunden?

Eine Sitemap listet die URLs einer Domain in einer strukturierten Datei auf, meist im XML-Format. Eine Website ausgehend von … erkunden

Femme analysant un plan de site web imprimé sur un bureau en open space, explorant la hiérarchie de navigation d'un site internet

Ein Sitemap listet die URLs einer Domain in einer strukturierten Datei auf, in der Regel im XML-Format. Eine Website anhand dieser Datei zu crawlen, ermöglicht es, ihre Inhalte schnell zu erfassen. Allerdings bildet eine Sitemap nicht immer alle veröffentlichten Seiten ab.

Google weist darauf hin, dass eine Sitemap dabei hilft, URLs bekannt zu machen, aber nicht garantiert, dass diese gecrawlt oder indexiert werden. Ein Vergleich zwischen den in der Sitemap aufgeführten URLs, den über interne Links erreichbaren Seiten und den tatsächlich von Suchmaschinen indexierten Inhalten liefert ein deutlich zuverlässigeres Bild vom Zustand einer Website.

XML-Sitemap, interne Links und Google-Index: drei Quellen, drei Perspektiven auf die Website

Jede Datenquelle deckt einen anderen Bereich ab. Ein Vergleich dieser Bereiche macht blinde Flecken sichtbar, die bei einem Crawl allein anhand der Sitemap unentdeckt blieben.

Quelle Was sie erfasst Wichtigste Einschränkung
XML-Sitemap Die vom Websitebetreiber angegebenen URLs Kann vorhandene Seiten auslassen oder veraltete URLs aufführen
Interne Links (Crawl) Seiten, die tatsächlich über Links von anderen Seiten der Website erreichbar sind Erkennt keine verwaisten URLs (ohne eingehende Links)
Google-Index (Search Console) URLs, die von Googlebot gecrawlt und/oder indexiert wurden Eine in der Sitemap aufgeführte URL kann trotzdem nicht indexiert sein

Der Abgleich dieser drei Bestände ist die einzige zuverlässige Methode, um verwaiste Seiten, Phantom-URLs und für Suchmaschinen unsichtbare Inhalte aufzuspüren. Ein Audit-Crawler durchsucht die Website, indem er den Links folgt, während die Search Console Auskunft darüber gibt, wie Google mit den einzelnen URLs umgeht.

Im Sitemap von All News beispielsweise sind alle Rubriken mit ihrer URL und dem Datum der letzten Änderung aufgeführt. So lässt sich die redaktionelle Abdeckung der Domain schnell überprüfen.

Mann vor einem Bildschirm mit einer strukturierten Website-Sitemap und Navigationsknoten in einem Homeoffice

Verwaiste Seiten: Wie die Sitemap vergessene URLs aufdeckt

Eine verwaiste Seite ist eine URL, die auf dem Server existiert, auf die aber kein interner Link verweist. Sie ist über ihre direkte Adresse erreichbar und manchmal auch in der Sitemap aufgeführt. Besucher, die normal durch die Website navigieren, werden sie jedoch nie finden.

Verwaiste Seiten in drei Schritten erkennen

  • Die vollständige Liste der URLs aus der XML-Sitemap extrahieren (mit einem Parser oder einem Crawling-Tool wie Screaming Frog, Sitebulb oder einem einfachen Python-Skript)
  • Die Website von der Startseite aus crawlen, um alle über interne Links erreichbaren URLs zu erfassen
  • Beide Listen vergleichen: Jede URL, die in der Sitemap steht, aber im Crawl fehlt, ist möglicherweise verwaist. Jede gecrawlte URL, die nicht in der Sitemap steht, wurde nicht aufgeführt

Auch die umgekehrte Prüfung ist aufschlussreich. Eine Seite mit vielen internen Links, die in der Sitemap fehlt, kann bei einem Audit, das sich auf die XML-Datei beschränkt, leicht übersehen werden. Beide Abweichungen weisen auf ein Architekturproblem hin, das das Crawling durch Suchmaschinen und die Navigation für Nutzer erschwert.

Häufiger Fall: URL-Varianten

Doppelte Seiten entstehen häufig, wenn die Sitemap eine bestimmte URL-Version aufführt (mit oder ohne abschließenden Schrägstrich, HTTP oder HTTPS, mit oder ohne Parameter). Ein Abgleich der Sitemap-URLs mit den URLs in den internen Links hilft, solche Varianten zu erkennen, bevor sie das Crawl-Budget aufbrauchen.

lastmod-Tag in der Sitemap: nützliches Signal oder unnötiges Rauschen?

Das lastmod-Tag gibt das Datum der letzten wesentlichen Änderung einer Seite an. Google empfiehlt, dass es eine tatsächliche Änderung des Inhalts widerspiegelt und nicht durch eine automatische Aktualisierung ausgelöst wird (etwa durch die Neuerstellung eines Caches oder eine kosmetische Änderung am Template).

Auch Bing nutzt dieses Datum als Aktualitätssignal. Die Tags changefreq und priority werden von beiden Suchmaschinen hingegen nicht berücksichtigt. Diese Felder auszufüllen, bringt daher weder für das Crawling noch für die Suchmaschinenoptimierung einen Vorteil.

Wenn alle lastmod-Daten in einer Sitemap identisch sind – ein typischer Fall bei einem falsch konfigurierten CMS –, verliert das Signal seinen Wert. Die Suchmaschine kann dann nicht mehr unterscheiden, ob ein Artikel gestern aktualisiert wurde oder eine Seite seit zwei Jahren unverändert ist. Für einen Content-Publisher gilt: Wer korrekte lastmod-Daten pflegt, sorgt dafür, dass geänderte Seiten schneller wiederentdeckt werden.

Zwei Kollegen erkunden gemeinsam an einem Laptop in einem modernen Stadthotel ein Website-Sitemap-Tool

Eine Website mit unvollständiger oder fehlender Sitemap crawlen

Nicht alle Websites veröffentlichen eine Sitemap, und auch vorhandene Sitemaps enthalten nicht immer sämtliche Seiten. In solchen Fällen muss das Crawling auf andere Methoden zurückgreifen.

  • Die gesamte Website von der Startseite aus crawlen und allen internen Links folgen, einschließlich Links in Footer, Menü und Paginierung
  • Mit der Google-Suche site:domain.de bereits indexierte Seiten auflisten und die Ergebnisse anschließend mit dem Crawl vergleichen
  • In der Search Console den Bericht „Seiten“ aufrufen, um URLs zu finden, die entdeckt, aber nicht indexiert wurden, oder indexiert sind, aber in der Sitemap fehlen
  • Mögliche URLs manuell über die Adressleiste überprüfen (Seiten mit rechtlichen Hinweisen, AGB und ältere Landingpages, die oft nicht mehr in die Navigation eingebunden sind)

Ein Audit-Crawler erfasst die erreichbaren Seiten, ihre Antwortcodes und ausgehenden Links. Die Search Console zeigt, wie Google tatsächlich mit einer URL umgeht, und deckt damit einen anderen Aspekt ab: Eine Seite kann gecrawlt werden, ohne indexiert zu sein, oder erst indexiert und später wieder entfernt werden.

IndexNow und Sitemap: zwei ergänzende Mechanismen für Bing

Microsoft unterscheidet klar zwischen der Sitemap, die als dauerhaftes Verzeichnis der URLs dient, und IndexNow, das in Echtzeit über neue, geänderte oder gelöschte Inhalte informiert. Eine Empfangsbestätigung von IndexNow bestätigt die Benachrichtigung, nicht die Indexierung.

Für eine Nachrichtenseite, die täglich mehrere Artikel veröffentlicht, deckt die Kombination aus einer aktualisierten Sitemap und IndexNow-Pings beide Zeiträume ab: Die Suchmaschine erhält ein vollständiges Verzeichnis und wird bei jedem neuen Inhalt sofort benachrichtigt. Bei Google besteht der entsprechende Mechanismus weiterhin darin, die Sitemap über die Search Console einzureichen und das standardmäßige Ping-Protokoll zu verwenden.

Das Crawling einer Website anhand ihrer Sitemap wird zuverlässiger, sobald man die Sitemap nicht mehr als alleinige Quelle betrachtet. Der systematische Abgleich der XML-Datei mit der internen Verlinkung und den Indexierungsdaten macht aus einem einfachen URL-Verzeichnis eine fundierte Analyse der Sichtbarkeit.

Wie lässt sich eine Website mithilfe ihrer Sitemap effizient erkunden?