robots.txt & Sitemap

Crawler-Steuerung bauen und prüfen — in einem Tool

Zwei Dateien entscheiden, wie Suchmaschinen und KI-Systeme deine Website sehen: die robots.txt (was darf ein Crawler abrufen?) und die sitemap.xml (welche Seiten sollen gefunden werden?). robots.txt & Sitemap hilft dir bei beiden — und geht einen Schritt weiter als reine Generatoren: Es baut die Dateien und prüft zusätzlich bestehende Dateien live von jeder beliebigen Domain.

Das Tool bündelt vier Funktionen in sieben Tabs: einen robots.txt-Generator, einen Sitemap-Generator sowie zwei Live-Checker, die eine robots.txt oder eine sitemap.xml von einer fremden URL holen und analysieren. Dazu kommen Tabs mit fertigen Beispielen, Best Practices und einer Format-Referenz. Grundlage ist der Robots-Standard RFC 9309 (öffnet in neuem Tab) (englisch), gelesen so, wie Google ihn auslegt: Wildcards, Gruppen und Vorrangregeln wertet das Tool genauso aus wie ein Crawler. Du brauchst weder Account noch Installation.

Gedacht ist es für alle, die an der technischen Auffindbarkeit einer Website arbeiten: Entwicklerinnen und Entwickler, die schnell eine korrekte robots.txt oder Sitemap brauchen; SEO- und Content-Leute, die prüfen wollen, ob Suchmaschinen und KI-Crawler die richtigen Seiten sehen; und Agenturen, die eine bestehende Konfiguration einer fremden Domain in Sekunden auseinandernehmen wollen.

Die vier Funktionen im Überblick

robots.txt-Generator

Ein Formular, das per Live-Vorschau eine vollständige robots.txt zusammensetzt. Du legst beliebig viele User-agent-Blöcke an — ein Block darf mehrere Bots kommagetrennt bedienen (GPTBot, ClaudeBot) —, fügst pro Block Allow- und Disallow-Regeln mit Wildcards (*, $ am Ende) hinzu, setzt optional einen Crawl-delay und trägst beliebig viele Sitemap:-Zeilen ein. Ein Eingabefeld mit Autovervollständigung schlägt 40 gängige Bot-Namen vor — von Googlebot über Bingbot bis zu KI-Crawlern wie GPTBot, ClaudeBot, OAI-SearchBot oder PerplexityBot. Unter der Vorschau prüft das Tool die Datei sofort auf Fehler, und ein Live-Test zeigt, ob ein bestimmter Pfad für einen bestimmten Bot erlaubt oder gesperrt ist — noch bevor du die Datei hochlädst. Das Ergebnis kopierst du, lädst es als Datei herunter oder liest eine vorhandene robots.txt per Load File zum Bearbeiten ein.

Sitemap-Generator

Hier baust du eine XML-Sitemap nach dem Sitemaps-Protokoll (öffnet in neuem Tab) (englisch) — oder per Umschalter einen Sitemap-Index, der mehrere Sitemaps bündelt. Du gibst eine Base-URL vor und fügst Einträge hinzu, einzeln oder als Liste mit einer Zeile pro Pfad, jeweils optional mit lastmod (W3C-Datum, auch mit Uhrzeit) sowie changefreq und priority. Das Tool kodiert und escapet die URLs korrekt und validiert die Ausgabe laufend. Eine bestehende Sitemap, einen Sitemap-Index, eine Text-Sitemap oder einen RSS-/Atom-Feed liest du per Load File ein, ohne dass Hosts, Query-Strings oder Uhrzeiten verfälscht werden.

Live-Checker: robots.txt

Gib eine Domain (z. B. example.com) oder eine volle URL ein, und das Tool holt die robots.txt und zerlegt sie: Es ordnet zuerst den HTTP-Status ein (ein 404 erlaubt alles, ein Serverfehler sperrt alles), listet Syntaxfehler und Stolperfallen mit Zeilennummer, und eine Per-Bot-Tabelle zeigt für 40 bekannte Bots, ob sie die Startseite abrufen dürfen und welche Gruppe und Regel greift. Dazu kommen alle Gruppen, die deklarierten Sitemaps und ein interaktiver Test für beliebige Pfade und Bots.

Live-Checker: Sitemap

Derselbe Ablauf für die Sitemap: Gibst du nur eine Domain ein, nimmt das Tool die Sitemaps aus der robots.txt und sonst /sitemap.xml. Es prüft, ob das XML wohlgeformt ist, validiert jede Adresse und jedes lastmod, meldet mehr als 50.000 URLs pro Datei als Fehler (die 50-MB-Grenze prüft es im Expert Mode) und versteht auch Sitemap-Indizes, Text-Sitemaps, RSS-/Atom-Feeds und gzip-komprimierte .xml.gz-Dateien. Ein Abgleich mit der robots.txt findet URLs, die die Sitemap anbietet, Googlebot aber nicht abrufen darf, und eine Stichprobe von bis zu 20 URLs zeigt, ob die gelisteten Seiten wirklich mit 200 antworten.

Generatoren lokal, Checker über einen Proxy

Wichtig fürs Verständnis und für den Datenschutz: Die beiden Generatoren arbeiten rein in deinem Browser — nichts verlässt deinen Rechner, der Zwischenstand wird nur lokal gespeichert. Auch die Auswertung (Parser, Fehlerprüfung, URL-Tests) läuft vollständig im Browser. Die beiden Checker dagegen müssen eine fremde Datei abrufen, und das geht aus dem Browser wegen CORS nicht direkt. Deshalb holt ein serverseitiger Proxy auf dem JPKCom-Server die Datei; die Analyse läuft danach wieder lokal. Die geprüfte Domain sieht also einen Request vom JPKCom-Server, nicht deine IP-Adresse. Interne und private Adressen werden serverseitig blockiert. Wie der Proxy arbeitet und welche Grenzen (Größe, Timeout, Rate-Limit) gelten, steht im Manual.

Jetzt ausprobieren

→ robots.txt & Sitemap öffnen — Datei bauen oder eine fremde Domain prüfen, direkt im Browser, ohne Account. Im Examples-Tab laden fertige Vorlagen (Standard-Website, WordPress, KI-Training blocken, alle KI-Crawler blocken, Blog, Shop mit Sitemap-Index) als Startpunkt in die Generatoren.