Zum Inhalt springen

Archilinux

Linux, logiciels libres et infographie

Wie Sie die Sitemap einer Website effizient durchsuchen, um die gewünschten Seiten zu finden

Man stößt auf eine Website mit offensichtlich Hunderten von Seiten, doch die Navigation führt nur zu den Hauptbereichen. Um einen Artikel wiederzufinden …

Une femme analysant un plan de sitemap imprimé sur son bureau en bois dans un bureau à domicile

Man stößt auf eine Website mit offensichtlich Hunderten von Seiten, doch die Navigation führt nur zu den Hauptbereichen. Um einen bestimmten Artikel, eine versteckte Produktseite oder eine Dokumentationsseite zu finden, müsste man stundenlang manuell suchen. Die Sitemap der Website bietet eine direkte Abkürzung zum Verzeichnis der URLs, die der Betreiber sichtbar machen möchte. Man muss nur wissen, wo sie zu finden ist, wie man sie liest und vor allem, wie man darin schnell das Gesuchte entdeckt.

Die Sitemap-URL finden: robots.txt und alternative Pfade

Am häufigsten hängt man einfach /sitemap.xml an den Domainnamen an. In den meisten Fällen funktioniert das. Wenn nicht, verliert man Zeit damit, den richtigen Pfad zu erraten.

Die zuverlässige Methode führt über die Datei robots.txt, die im Stammverzeichnis jeder Website erreichbar ist. Man muss lediglich /robots.txt an die Domain anhängen und nach der Zeile suchen, die mit Sitemap: beginnt. Diese Zeile gibt die genaue Adresse der Datei an, die unter einem ungewöhnlichen Namen oder in einem ungewöhnlichen Verzeichnis liegen kann (zum Beispiel /sitemaps/main.xml oder /sitemap_index.xml).

Manche Websites geben in ihrer robots.txt mehrere Sitemaps an, die jeweils einen bestimmten Inhaltstyp abdecken: Artikel, Bilder, Videos oder Produktseiten. Wer vor dem Anklicken die richtige Zeile ausfindig macht, muss keine Datei durchsuchen, die den gesuchten Seitentyp gar nicht enthält. Auf der Sitemap von Scoopium sieht man beispielsweise eine Struktur, die die verschiedenen Bereiche der Website klar voneinander trennt und so die gezielte Navigation erleichtert.

Ein Mann betrachtet die baumartige Darstellung einer Sitemap auf einem Computerbildschirm in einem modernen Büro

Sitemap-Index und untergeordnete Dateien: in einer aufgeteilten Sitemap navigieren

Große Websites speichern nicht alle ihre URLs in einer einzigen Datei. Eine Sitemap-Datei ist auf 50.000 URLs oder 50 MB unkomprimierte Daten begrenzt. Wird dieser Umfang überschritten, verteilt die Website ihre Adressen auf mehrere Dateien, die über einen Index miteinander verknüpft sind.

Einen Sitemap-Index erkennen

Öffnet man die Haupt-Sitemap und sieht statt <url>-Tags <sitemap>-Tags, handelt es sich um einen Index. Jeder Eintrag verweist auf eine untergeordnete Datei. Diese Dateien können nach Sprache, Kategorie oder Veröffentlichungsdatum organisiert sein.

Den Index zu öffnen, reicht nicht aus, um eine Seite zu finden. Man muss die passende untergeordnete Datei ausfindig machen, sie öffnen und anschließend darin nach der gewünschten URL suchen. Bei einem Onlineshop kann eine Datei die Kategorien enthalten, eine andere die Produktseiten und eine dritte die redaktionellen Seiten.

Die Textsuche in der Datei verwenden

Eine XML-Sitemap-Datei wird im Browser als strukturierter Text angezeigt. Mit der Tastenkombination Ctrl+F (oder Cmd+F auf dem Mac) lässt sich direkt auf der angezeigten Seite nach einem Stichwort suchen. Dazu gibt man einen Teil der URL oder ein erwartetes Wort im Slug der Seite ein.

Bei Dateien mit einigen Tausend URLs funktioniert diese Suche gut. Bei größeren Dateien kann es dauern, bis der Browser den gesamten Inhalt darstellt. Dann ist die Suche im rohen Quellcode effizienter. Ein Rechtsklick auf „Seitenquelltext anzeigen“ und anschließend dieselbe Textsuche umgehen das Darstellungsproblem.

XML-Sitemap-Metadaten lesen, um Ergebnisse zu filtern

Eine Sitemap ist mehr als eine Liste von Adressen. Jeder Eintrag kann Metadaten enthalten, mit denen sich Seiten filtern lassen, ohne sie alle öffnen zu müssen.

  • <lastmod> gibt das Datum der letzten Änderung an. So lassen sich kürzlich aktualisierte Seiten erkennen – nützlich, wenn man aktuelle Inhalte zu einem sich wandelnden Thema sucht.
  • <changefreq> gibt die angegebene Änderungshäufigkeit an (daily, weekly, monthly). Mit „daily“ gekennzeichnete Seiten sind oft aktive Seiten, Blogs oder Nachrichtenfeeds.
  • <priority> spiegelt die relative Bedeutung wider, die der Betreiber jeder Seite im Vergleich zu den anderen Seiten derselben Website zuweist. Ein hoher Wert weist auf Seiten hin, die die Website als zentral betrachtet.

Diese Metadaten sind Angaben des Betreibers. Er kann sie frei festlegen, und es gibt keine Garantie, dass sie aktuell sind. Das Datum in lastmod ist in der Praxis am zuverlässigsten, da es bei jedem Speichern häufig automatisch vom CMS erzeugt wird.

Eine Person durchsucht eine XML-Sitemap-Datei auf einem Laptop in einem entspannten Coworking-Space

HTML-Sitemap und Alternativen, wenn XML nicht ausreicht

Nicht alle Sitemaps liegen im XML-Format vor. Manche Websites bieten eine HTML-Sitemap für menschliche Besucher an. Sie ist meist über einen Link im Fußbereich erreichbar, der häufig mit „Sitemap“ oder „Seitenübersicht“ beschriftet ist.

In einer HTML-Sitemap werden die Seiten als anklickbare Links nach Bereichen geordnet angezeigt. Für einen schnellen Überblick ist sie oft besser lesbar als XML, insbesondere wenn man noch nicht genau weiß, wonach man sucht. Statt rohe URLs zu durchsuchen, kann man die Kategorien visuell überfliegen.

Wenn die Sitemap nicht die gesamte Website abbildet

Eine Sitemap ist kein vollständiges Verzeichnis aller vorhandenen Seiten. Sie listet die URLs auf, die der Betreiber den Suchmaschinen mitteilen möchte. Manche Seiten können absichtlich fehlen, etwa Anmeldeseiten, Dankesseiten nach dem Absenden eines Formulars oder archivierte Inhalte.

Um zu prüfen, ob eine Seite existiert, obwohl sie nicht in der Sitemap aufgeführt ist, kann man die Suche mit dem Google-Operator site:nomdudomaine.com mot-clé kombinieren. Diese Suchanfrage durchsucht den Google-Index. Google kann die Seite über andere Wege als die Sitemap entdeckt haben, insbesondere über interne Links.

  • Ein Vergleich der Ergebnisse von site: mit dem Inhalt der Sitemap zeigt indexierte, aber nicht deklarierte Seiten.
  • Seiten, die in der Sitemap stehen, aber nicht in den Google-Ergebnissen auftauchen, sind entweder noch zu neu oder durch eine noindex-Anweisung ausgeschlossen.
  • Der Abgleich beider Quellen vermittelt ein vollständigeres Bild der tatsächlichen Website-Architektur.

Für die Erkundung einer Sitemap braucht man weder kostenpflichtige Tools noch umfassende technische Kenntnisse. Ein Browser, die Textsuche und das Wissen um die Struktur aus Index und untergeordneten Dateien reichen für die meisten Fälle aus. Der Ausgangspunkt ist immer die Datei robots.txt: Sie erspart das Erraten der Sitemap-Adresse und verweist direkt auf die richtige Datei.

Wie Sie die Sitemap einer Website effizient durchsuchen, um die gewünschten Seiten zu finden