robots.txt & Sitemap — Anwendungsbeispiele

Zurück zur Übersicht: robots.txt & Sitemap · Tool live öffnen: www.jpkc.com/tools/robots-sitemap/

Das Manual erklärt jeden Tab und jede Option im Detail. Diese Seite ergänzt das um konkrete Arbeitsabläufe: typische Aufgaben, Schritt für Schritt durchgespielt. Die Oberfläche des Tools ist auf Englisch — Tab- und Button-Namen stehen deshalb in ihrer englischen Original-Schreibweise, bei Bedarf mit deutscher Erläuterung.

Beispiel 1: Eine robots.txt für WordPress bauen

Der Klassiker — eine saubere robots.txt für eine typische WordPress-Site.

Öffne das Tool, geh in den Examples-Tab und klick bei WordPress auf Load into Generator. Nach der Rückfrage, ob das Formular ersetzt werden soll, springt das Tool in den robots.txt-Tab und füllt ihn mit der WordPress-Vorlage.
Schau dir den Block User-agent: * an: Er sperrt /wp-admin/, gibt aber gezielt /wp-admin/admin-ajax.php per Allow frei (das braucht WordPress für Funktionen im Frontend; als längere Regel gewinnt das Allow) und sperrt mit den Wildcard-Regeln /*?s= und /*?p= die internen Suchergebnisseiten sowie Adressen mit dem Parameter ?p=. /wp-includes/ und /wp-content/ bleiben bewusst offen — dort liegen CSS, JavaScript und Bilder.
Passe die Sitemap-URL an. Die Vorlage trägt https://example.com/wp-sitemap.xml ein. Ersetz sie durch die echte Adresse deiner Sitemap (bei einem SEO-Plugin oft eine andere) — im Feld Sitemaps auch mehrere, eine pro Zeile.
Prüf die Vorschau rechts und die Hinweisliste darunter, dann Copy oder Download. Lade die Datei in dein Web-Root, sodass sie unter https://deine-domain.de/robots.txt erreichbar ist.

Wichtig: Blockier nie pauschal /wp-content/ oder /wp-includes/ — darin liegen deine Bilder sowie CSS und JavaScript, die Google zum Rendern braucht.

Beispiel 2: KI-Crawler blocken, Suchmaschinen erlauben

Du willst in klassischen Suchmaschinen sichtbar bleiben, aber nicht, dass KI-Crawler deine Inhalte fürs Training abgreifen. Ob KI-Suchdienste dich weiter finden und zitieren dürfen, entscheidest du separat.

Im Examples-Tab wählst du eine der beiden KI-Vorlagen und klickst Load into Generator:
- Block AI Training, Allow AI Search sperrt nur die Training-Crawler. KI-Suche und Abrufe, die eine Person im Chat auslöst (ChatGPT, Claude, Perplexity), bleiben erlaubt.
- Block All AI Crawlers sperrt zusätzlich die Such- und Nutzer-Crawler; klassische Suchmaschinen dürfen weiterhin alles.
Beide Vorlagen legen einen offenen Block User-agent: * mit leerem Disallow: an (alle dürfen) und darunter einen Block mit Disallow: /, der die KI-Crawler kommagetrennt bündelt. Bei Block AI Training sind das GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, meta-externalagent, CCBot und Bytespider; Block All AI Crawlers ergänzt OAI-SearchBot, ChatGPT-User, Claude-SearchBot, Claude-User, PerplexityBot und Perplexity-User. In der Ausgabe bekommt jeder Bot eine eigene User-agent:-Zeile über der gemeinsamen Regel.
Ergänze fehlende Bots nach Bedarf. Tipp sie einfach kommagetrennt ins User-agent-Feld des KI-Blocks — die Autovervollständigung schlägt unter anderem Amazonbot, DuckAssistBot und MistralAI-User vor.
Prüf das Ergebnis im Live-Test unter der Vorschau: Googlebot muss für / Allowed sein, GPTBot Blocked.
Copy/Download, hochladen, fertig.

Zwei ehrliche Hinweise: Erstens respektiert nicht jeder Bot die robots.txt — sie ist eine freiwillige Policy, keine technische Sperre. Zweitens schließt das Blocken von Google-Extended (Gemini-Training) Googles normale Suche nicht aus; die läuft weiter über Googlebot. Welche Bots welchem Zweck dienen (AI training, AI search, AI user request), steht in der Bot-Tabelle im Reference-Tab.

Beispiel 3: Eine XML-Sitemap von Hand zusammenstellen

Für eine kleinere Site ohne Sitemap-Plugin baust du die Datei direkt im Tool.

Wechsle in den Sitemap-Tab. Lass File type auf Sitemap (pages) und trag bei Base URL deine Domain ein (z. B. https://deine-domain.de).
Füg die Seiten ein. Am schnellsten geht das über Add many at once: Liste einfügen, ein Pfad pro Zeile (/, /leistungen/, /kontakt/ …), dann Add lines. Einzelne Zeilen ergänzt du mit Add entry.
lastmod nur setzen, wenn du das Datum wirklich kennst. Trag es im Format 2026-10-15 ein, bei Bedarf mit Uhrzeit und Zeitzone (2026-10-15T09:30:00+02:00). Ein erfundenes Änderungsdatum schadet mehr, als es nutzt — lass das Feld sonst leer. Der Button Empty lastmod → today füllt alle leeren Felder mit dem heutigen Datum; nimm ihn nur, wenn die Seiten wirklich heute geändert wurden, etwa beim ersten Livegang.
changefreq und priority kannst du leer lassen. Google ignoriert beide Felder, das Tool weist selbst darauf hin.
Lies die Hinweise unter der Vorschau. Dort meldet das Tool etwa ein ungültiges Datum, doppelte Einträge oder Pfade, die ohne Base-URL nicht aufgelöst werden können.
Mit den Pfeil-Buttons bringst du die Zeilen in die gewünschte Reihenfolge. Dann Copy oder Download und die Datei als sitemap.xml ins Web-Root legen.

Tipp: Deklarier die Sitemap in der robots.txt (Feld Sitemaps im robots.txt-Tab) und reich sie in der Google Search Console (öffnet in neuem Tab) und den Bing Webmaster Tools (öffnet in neuem Tab) ein — der Hinweis dazu steht auch direkt unter dem Editor.

Beispiel 4: Die robots.txt einer fremden Domain prüfen

Du willst wissen, wie eine bestehende Site (deine eigene oder die eines Wettbewerbers) ihre Crawler steuert.

Geh in den Check robots.txt-Tab, gib eine Domain ein (z. B. example.com — /robots.txt wird automatisch ergänzt) und klick Check.
Lies die Zusammenfassung und die Checks. Sie zeigen den HTTP-Status und alle Fehler und Warnungen mit Zeilennummer — etwa eine Regel vor der ersten User-agent-Zeile oder eine HTML-Fehlerseite statt der Datei. Antwortet der Server mit einem Fehler (5xx), behandeln Crawler die ganze Site als gesperrt; das Tool meldet das deutlich.
Dann die Per-Bot-Tabelle. Sie zeigt für 40 bekannte Bots auf einen Blick Allowed oder Blocked für die Startseite. Die Spalte Group verrät, woher die Entscheidung kommt: der Name einer eigenen Gruppe für diesen Bot, * (die Wildcard-Gruppe) oder none (keine Gruppe greift — also erlaubt); Matched rule nennt die Regel.
Achte auf die KI-Zeilen (Typ AI): Sperrt die Site GPTBot, ClaudeBot, OAI-SearchBot, PerplexityBot & Co. aus? Das ist genau die Information, die du auch für die eigene GEO-Strategie brauchst.
Teste eine konkrete URL. Im Block Test a URL against these rules gibst du einen Pfad mit Query-String (z. B. /blog/mein-artikel?ref=newsletter) und einen User-agent (z. B. Googlebot) ein und klickst Test — das Tool sagt dir, ob die Datei den Zugriff erlaubt oder blockiert, welche Regel in welcher Zeile greift und welche Gruppe gilt.
Unter Sitemaps declared stehen die in der Datei verlinkten Sitemaps. Über den check-Button daneben springst du direkt in die Sitemap-Prüfung (siehe nächstes Beispiel).

Beispiel 5: Eine Sitemap validieren und auf Spec-Grenzen prüfen

Du willst sichergehen, dass deine sitemap.xml sauber und vollständig ist.

Im Check Sitemap-Tab deine Domain eingeben (z. B. deine-domain.de) und Check klicken. Das Tool nimmt dann die Sitemap, die deine robots.txt deklariert, und sonst /sitemap.xml. Alternativ gibst du die volle Sitemap-URL ein oder kommst über den check-Button aus der robots.txt-Prüfung direkt hierher.
Lies die Checks. Ganz oben stehen Fehler, die Crawler die Datei verwerfen lassen — vor allem nicht wohlgeformtes XML (z. B. ein unescaptes & in einer URL). Darunter: relative oder doppelte Adressen, ungültige lastmod-Werte und mehr als 50.000 URLs — darüber musst du auf mehrere Dateien plus eine Index-Datei aufteilen. Dasselbe gilt ab 50 MB unkomprimiert; diese Grenze meldet der Checker aber nur im Expert Mode, über den Server-Proxy wird eine so große Datei vorher gekürzt und als unvollständig gemeldet.
Schau in die Karte robots.txt. Sie meldet, ob deine robots.txt gelistete URLs für Googlebot sperrt (ein Widerspruch, den du auflösen solltest) und ob die Sitemap dort deklariert ist.
Lies die Metadata-Tabelle. Sie zeigt mit Fortschrittsbalken, bei wie viel Prozent der URLs lastmod gesetzt ist — das ist das Feld, das zählt. changefreq und priority stehen mit dem Vermerk „ignored by Google" daneben.
Starte die Stichprobe. In der Karte Do the URLs work? klickst du Check N URLs: Das Tool fragt bis zu 20 gleichmäßig verteilte URLs ab und markiert Weiterleitungen und kaputte Seiten. Beides gehört nicht in eine Sitemap.
In der URLs-Tabelle siehst du die ersten 100 Einträge. Über Copy all URLs holst du dir die vollständige Liste (auch über 100 hinaus) in die Zwischenablage — praktisch für einen Abgleich mit deinem CMS.

Beispiel 6: Eine Sitemap-Index-Datei aufdröseln

Große Sites verteilen ihre URLs auf mehrere Sitemaps, die eine Index-Datei bündelt.

Gib im Check Sitemap-Tab die URL der Index-Datei ein (oft …/sitemap_index.xml) und klick Check. Ist der Index in der robots.txt deklariert, reicht auch die bloße Domain.
Das Tool erkennt automatisch, dass es sich um eine Sitemap-Index-Datei handelt, und listet unter Child sitemaps die Kind-Sitemaps mit ihrem optionalen lastmod auf.
Prüf einzelne Kind-Sitemaps weiter. Neben jeder steht ein Check-Button, der diese Datei lädt und im Detail analysiert (Checks, Metadaten, robots.txt-Abgleich, Stichprobe). Auch komprimierte Kind-Sitemaps (.xml.gz) werden dabei entpackt.

So arbeitest du dich vom Index bis zur einzelnen URL durch — ohne die Dateien selbst öffnen zu müssen. Willst du einen Index bearbeiten, liest du ihn im Sitemap-Generator per Load File ein; das Tool schaltet dann selbst auf Sitemap index um (siehe Beispiel 8).

Beispiel 7: Eine robots.txt vor dem Upload testen

Du willst sicher sein, dass eine neue Regel genau das sperrt, was sie soll — und nicht mehr. Das prüfst du direkt im Generator, bevor die Datei live geht.

Lade im Examples-Tab die Vorlage Standard Website in den Generator. Sie sperrt unter anderem /admin/, die interne Suche über /*?s= und alle PDFs über /*.pdf$.
In der Karte Test a URL against this robots.txt unter der Vorschau trägst du bei Path or URL einen Pfad ein, etwa /downloads/preisliste.pdf. Das Ergebnis erscheint sofort: Blocked — rule "Disallow: /*.pdf$", group "*".
Probier die Grenzfälle durch: /downloads/preisliste.pdf?v=2 ist Allowed, weil das $ das Ende der URL verlangt und der Query-String danach kommt. /administrator/ ist erlaubt, /admin/users gesperrt, weil die Regel mit Schrägstrich nur das Verzeichnis trifft.
Teste einzelne Bots. Trag bei Path or URL wieder / ein und bei User-agent GPTBot. Solange es keine eigene Gruppe für GPTBot gibt, gilt für ihn *, und das Ergebnis lautet Allowed. Legst du per Add User-agent Block eine Gruppe GPTBot mit Disallow: / an, springt das Ergebnis auf Blocked — und GPTBot ignoriert ab da alle Regeln der *-Gruppe.
Willst du eine Ausnahme? Ergänze im *-Block eine Regel Allow mit /downloads/agb.pdf, stell User-agent wieder auf Googlebot (für GPTBot gilt der *-Block ja nicht mehr) und trag bei Path or URL /downloads/agb.pdf ein. Der Test zeigt Allowed für genau diese Datei: Die längere Regel gewinnt.

Die Hinweisliste unter der Vorschau warnt dich parallel vor typischen Fehlern, etwa einem Pfad ohne führenden Schrägstrich.

Beispiel 8: Einen Sitemap-Index für einen Shop bauen

Ein Shop mit vielen Produkten verteilt seine URLs auf mehrere Sitemaps — der Index bündelt sie zu einer Adresse, die du in der robots.txt deklarierst.

Lade im Examples-Tab die Vorlage Shop: Sitemap Index in den Generator. Der Sitemap-Tab steht danach auf File type Sitemap index (sitemaps), die Liste heißt Sitemaps, und changefreq/priority sind ausgeblendet.
Trag bei Base URL deine Shop-Domain ein und pass die Einträge an — je einen pro Sitemap-Datei, etwa /sitemap-pages.xml, /sitemap-products-1.xml, /sitemap-products-2.xml. Liegt eine Sitemap auf einem anderen Host, trag sie als volle URL ein; das Tool übernimmt sie unverändert und weist darauf hin.
Setz lastmod je Sitemap auf das Datum ihrer letzten Änderung.
Download speichert die Datei als sitemap_index.xml. Leg sie ins Web-Root und trag sie im robots.txt-Tab unter Sitemaps ein.
Nach dem Upload prüfst du den Index im Check Sitemap-Tab wie in Beispiel 6 und arbeitest dich durch die Kind-Sitemaps.

Noch tiefer: die Übersicht zum großen Bild, das Manual für jede Option im Detail und die Tipps & Tricks für Strategie und Stolperfallen. Ausprobieren kannst du alles direkt im Tool.