__usage_ai-training: ein robots.txt-Signal für KI-Training

Google, OpenAI, Microsoft und Anthropic wollen ein gemeinsames Trainings-Signal beachten. Was es regelt, was nicht, und wo die Google-Falle liegt.

von ·

In meiner robots.txt stehen 21 Einträge für KI-Bots, jeder einzeln gepflegt. Wer KI-Training ablehnen will, muss so eine Liste heute Anbieter für Anbieter führen und hoffen, dass sie vollständig ist. Genau das soll sich ändern: Am 30. Oktober 2026 haben Google, OpenAI, Microsoft und Anthropic angekündigt, ein gemeinsames Signal zu beachten, __usage_ai-training. Aufmerksam geworden bin ich durch Jon Henshaws Meldung bei Coywolf (öffnet in neuem Tab) (englisch). Danach habe ich den Entwurf und die Ankündigungen selbst gelesen.

Mein Urteil vorweg: Das ist eine gute Sache, und ich habe das Token gesetzt. Aber es ist weniger, als manche Überschrift vermuten lässt. Bis auf Weiteres ersetzt es nichts, und bei Google steckt ein Haken drin, der dich Sichtbarkeit in Gemini kosten kann.

Die Kurzfassung

Frage Antwort
Was ist es? Ein gemeinsames Token für eine normale robots.txt-Gruppe: User-Agent: __usage_ai-training
Was regelt es? Ob du Training generativer KI-Modelle mit deinen Inhalten wünschst, je Pfad
Was regelt es nicht? Laut Entwurf: Crawling, klassische Suche, KI-Antworten in Echtzeit (Ausnahme bei Google, siehe unten), bereits abgerufene Inhalte
Wirkt es schon? Kaum. Anthropic hat mit der Umsetzung begonnen, Microsoft folgt am 1. Februar 2027, Google Anfang 2027, OpenAI „in den kommenden Monaten"
Ist es ein Standard? Nein, bisher ein Internet-Draft eines Einzelautors
Erzwingbar? Nein. Es ist eine Präferenz, genau wie alles andere in der robots.txt
Was tun? Token setzen, bestehende Bot-Regeln behalten, Google-Falle prüfen, bei NoArchive/NoCache erst Bing klären

Was da eigentlich beschlossen wurde

Die Grundlage ist der Entwurf „Machine-Readable Training Preference Signal" (öffnet in neuem Tab) (englisch) von Kevin Kelley (Anthropic), datiert auf den 30. Oktober 2026, gültig bis zum 3. Mai 2027. Die Idee ist bestechend schlicht: keine neue Direktive, keine neue Syntax, sondern ein festgelegter Name in der User-Agent-Zeile. Das Beispiel aus dem Entwurf:

User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/

Das heißt: kein Training mit der ganzen Site, außer mit /press-kit/. Ein gesperrter Pfad drückt eine Präferenz gegen Training aus, ein erlaubter eine Präferenz dafür. Pfade, Wildcards und die Regel „längster Treffer gewinnt" funktionieren wie immer. Parser, die das Token nicht kennen, behandeln die Gruppe wie die jedes anderen fremden Bots, sie ignorieren sie also. Für diese Parser ändert sich dadurch nichts.

Die vier Zusagen sind unterschiedlich fest:

Anbieter Zeitplan Was wirklich gesagt wurde
Anthropic „over the coming months", kein Datum Kelleys Mail an die Arbeitsgruppe (öffnet in neuem Tab) (englisch): Umsetzung hat begonnen, die Einführung über alle Dienste brauche aber Zeit, und die Auslegung könne sich mit den Standards ändern. Eine eigene Anthropic-Seite dazu habe ich nicht gefunden
OpenAI „in den kommenden Monaten" OpenAI-Ankündigung (öffnet in neuem Tab) (englisch): freiwillig, Details folgen, bestehende Crawler-Steuerung gilt weiter, das Vorgehen kann sich mit den IETF-Gesprächen ändern. Das Token bleibt dort ungenannt
Microsoft 1. Februar 2027 Bing-Blog (öffnet in neuem Tab) (englisch): gilt ab dann beim Crawlen, wirksam erst mit dem nächsten Recrawl der Seite
Google Anfang 2027 Google-Search-Blog (öffnet in neuem Tab) (englisch): Ziel 2027, das Token bleibt dort ungenannt. Crawler-Doku (öffnet in neuem Tab) (englisch): __usage_ai-training, Anfang 2027

Coywolf schreibt, Anthropic sei das einzige Unternehmen, das das Token heute nutze. Das geht mir einen Schritt zu weit: Kelleys Mail sagt „started implementing" und erwartet Nutzbares erst „over the coming months", und die Crawler-Seite von Anthropic (öffnet in neuem Tab) (englisch) nennt das Token noch nicht. Verlass dich also noch nirgends darauf, dass es schon greift.

Von Meta, Apple, Amazon, Perplexity, Mistral, xAI, ByteDance oder Common Crawl habe ich keine Zusage gefunden. Im Danksagungsteil des Entwurfs stehen zwar Personen von Meta, Amazon Web Services und Common Crawl, aber ausdrücklich nur zur Identifikation, und das ist keine Zusage. Den aktuellen Stand führt Vanessa Fox in der Referenz zum Blockieren von LLM-Crawlern (öffnet in neuem Tab) (englisch).

Was das Token nicht tut

Hier wird es praktisch, denn an diesen fünf Punkten scheitert die naive Lesart.

Es steuert kein Crawling. Der Entwurf sagt es wörtlich: „This policy token is not a directive for crawling behavior." Ein Crawler darf die Präferenz berücksichtigen, muss deshalb aber nicht wegbleiben. Deine Server-Last sinkt also nicht zwangsläufig. Wer Abrufe begrenzen will, braucht weiter Gruppen für die einzelnen Bots oder eine Sperre auf Server- oder CDN-Ebene.

User-Agent: * zählt nicht. Die Wildcard-Gruppe darf ausdrücklich nicht auf das Token angewendet werden. Eine robots.txt mit User-Agent: * und Disallow: / drückt also für Training gar keine Präferenz im Sinne des Entwurfs aus. Ohne eigene Gruppe gibt es kein Signal.

Es wirkt nicht rückwirkend. Maßgeblich ist laut Entwurf die robots.txt, die beim Abruf des Inhalts galt. Was schon in Trainingsdaten liegt, holt das Token nicht zurück.

Es gilt nur für generatives Training. Modelle für Klassifikation, Ranking oder Scoring fallen nicht unter die Definition. Auch die Eingabe in KI-Antworten zur Laufzeit (Grounding, RAG) ist etwas anderes.

Private Abreden schlagen es. Ein Lizenzvertrag darf die Präferenz überstimmen. Das steht ebenfalls im Entwurf.

Die Google-Falle: Training und Grounding hängen zusammen

Das ist für mich der wichtigste Punkt, gerade aus GEO-Sicht. Google will ein Opt-out über das neue Token so behandeln, als hättest du Google-Extended gesperrt, sofern du Google-Extended nicht ausdrücklich nennst. Und Google-Extended regelt laut Googles Crawler-Doku (öffnet in neuem Tab) (englisch) nicht nur das Training künftiger Gemini-Modelle, sondern auch das Grounding in den Gemini Apps und bei „Grounding with Google Search" auf Vertex AI.

Die Folge: Sobald Google das umsetzt, fällst du mit diesem scheinbar reinen Trainings-Opt-out auch aus dem Grounding der Gemini Apps und von Vertex AI.

Training aus — und bei Google auch das Gemini-Grounding
User-Agent: __usage_ai-training
Disallow: /

Google nennt den Ausweg selbst: Wer Google-Extended ausdrücklich erlaubt, kann in Antworten der Gemini Apps erscheinen und über Grounding Klicks bekommen. Dann erlaubst du aber nach Googles Definition auch das Gemini-Training, denn beides hängt an Google-Extended.

Training generell aus, Google bleibt offen — für beides
User-Agent: __usage_ai-training
Disallow: /

User-Agent: Google-Extended
Allow: /

Über die robots.txt musst du dich bei Google also je Pfad entscheiden: beides oder nichts. Die Google-Suche selbst betrifft das nicht, denn Google-Extended ist laut Doku weder für die Aufnahme in den Index noch als Ranking-Signal relevant. Auch AI Overviews und AI Mode steuerst du damit nicht. Dafür gibt es seit dem 31. August 2026 weltweit einen eigenen Schalter in der Search Console (öffnet in neuem Tab), der umgekehrt laut Google keinen Einfluss auf das KI-Training hat.

Microsoft trennt sauberer. Dort sind Training und Grounding zwei unabhängige Einstellungen, und der Bing-Blog nennt ausdrücklich, dass keine der beiden die klassischen Bing-Ergebnisse berührt.

Was Microsoft zusätzlich einführt

Microsoft nutzt die Gelegenheit für ein eigenes, feineres System, das ausschließlich für Microsoft gilt. Die Trainings-Präferenz gibt es zusätzlich auf Seitenebene, und sie überschreibt dort die robots.txt. Für Grounding gibt es keine robots.txt-Regel, sondern nur die Seitenebene:

Seitenebene bei Microsoft
<meta name="Bingbot" content="ai-training:disallow">
<meta name="Bingbot" content="ai-grounding:disallow">
<meta name="Bingbot" content="ai-grounding:disallowextended">

Dasselbe geht als Header, etwa X-Robots-Tag: Bingbot: ai-training:disallow. Der Wert disallowextended erlaubt Grounding nur in Microsofts eigenen Anwendungen wie Copilot und schließt Grounding-Dienste aus, die Microsoft Dritten anbietet, etwa Web IQ und die API in Foundry. Eine Erlaubnis hebt dabei keine robots.txt-Regel auf, die Bingbot das Crawlen verbietet.

Wichtig, falls du NoArchive oder NoCache nutzt, um KI-Nutzung bei Bing zu begrenzen. Diese Tags verlieren diese Bedeutung:

Termin Was passiert
15. Dezember 2026 Temporäre Grounding-Einstellung in den Bing Webmaster Tools für Sites mit NoArchive/NoCache
1. Februar 2027 Neue Präferenzen gelten beim Crawlen. Erkennt Microsoft auf einer Site neue Präferenzen, ignoriert es dort NoArchive/NoCache
1. März 2027 Frist für neue Präferenzen und die temporäre Grounding-Einstellung. Danach zählen NoArchive und NoCache nicht mehr als Präferenz für Training oder Grounding
30. September 2027 Temporäre Grounding-Einstellungen laufen aus, spätestens hier

Die Zeile zum 1. Februar ist die Stolperstelle: Wer Grounding bisher über NoArchive begrenzt und nun das Trainings-Token setzt, könnte diese Begrenzung ab dann verlieren, denn ohne Grounding-Präferenz gilt „Allow". Ob eine reine robots.txt-Regel das schon auslöst, sagt Microsoft nicht ausdrücklich, der Wortlaut spricht aber dafür. Setz in dem Fall also zuerst ai-grounding.

Das Token und die anderen Signale

Inzwischen konkurrieren mehrere Mechanismen, die sich teils überschneiden. Eine Übersicht, damit du sie nicht verwechselst:

Mechanismus Wo Was Stand
__usage_ai-training robots.txt-Gruppe Training generativer Modelle Einzel-Entwurf, vier Zusagen
Content-Usage: train-ai=n HTTP-Header und eigene robots.txt-Direktive Kategorien der Arbeitsgruppe: train-ai, ai-use, search Entwurf der Arbeitsgruppe (öffnet in neuem Tab) (englisch), noch offen
Content-Signal: ai-train=no robots.txt und HTTP-Header ai-train, search, ai-input Von Cloudflare, siehe Content Signals & C2PA
GPTBot, ClaudeBot, Google-Extended … robots.txt-Gruppe je Anbieter Crawling bzw. Nutzung je Anbieter Gilt weiter, die Anbieter behalten ihre Steuerung
ai-training/ai-grounding bei Bing Meta-Tag, X-Robots-Tag Training und Grounding je Seite Nur Microsoft, ab Februar 2027
RSL (öffnet in neuem Tab) (englisch) Verweis License: in der robots.txt Lizenz- und Zahlungsbedingungen Andere Ebene: Lizenz statt Präferenz

Zu Content-Signal, das ich selbst setze, gehört eine ehrliche Einordnung: John Mueller schrieb laut einem Bericht von Search Engine Journal (öffnet in neuem Tab) (englisch) vom Juli 2026, soweit bekannt nutze kein Crawler und kein LLM diese Direktive. Das Token hat damit etwas, das Content-Signal nach dem, was ich finden konnte, von diesen vier Anbietern nicht hat: öffentliche Zusagen. Dafür ist Content-Signal breiter: Es erfasst auch Echtzeit-Nutzung, und ai-train ist nicht auf generative Modelle beschränkt. Ich lasse beides stehen. Die beiden widersprechen sich nicht, solange die Werte zusammenpassen.

Wie fest ist der Boden?

Das Signal steht auf zwei noch nicht fertigen Dokumenten, und das solltest du wissen, bevor du es für beschlossene Sache hältst.

Erstens ist Kelleys Text ein Einzel-Entwurf, den die Arbeitsgruppe nicht übernommen hat. Kelley selbst nennt ihn einen Beitrag zu deren Arbeit an der Anbindung von Präferenzen an Inhalte. Zweitens sagt er zwar, das Token entspreche der Definition, zu der die Arbeitsgruppe AIPREF gelangt sei. Der zugrunde liegende Vokabular-Entwurf in Version 08 (öffnet in neuem Tab) (englisch) schreibt aber in Großbuchstaben, sein Inhalt spiegele keinen Konsens der Gruppe wider, und markiert gerade den Definitionsabschnitt als noch ohne Konsens. Im Protokoll des Zwischentreffens vom 21. Oktober (öffnet in neuem Tab) (englisch) steht vom Vorsitz: „We haven't declared consensus on anything yet." Kelleys Entwurf verlangt von Implementierern nur weich, ihre Definitionen nachzuziehen („SHOULD consider"). Die Bedeutung kann sich also noch verschieben.

Auch Kritik gibt es. Nate Hake, selbst im Danksagungsteil genannt, weist laut Search Engine Roundtable (öffnet in neuem Tab) (englisch) darauf hin, dass der IETF-Prozess nicht abgeschlossen ist und es weiter erheblichen Streit gibt, und kritisiert, dass die Präferenzen nicht für Aktionen gelten, die Nutzer selbst auslösen. Nach meiner Lesart betrifft das die Kategorie „AI Use", nicht die Trainings-Definition, auf der das Token aufbaut. In dieselbe Richtung geht eine offene Frage im Vokabular: Was „directly provided by the user" genau heißt, ob also auch eine übergebene URL dazu zählt, ist ungeklärt.

Dass die großen Anbieter vor dem Abschluss vorangehen, finde ich trotzdem richtig. Ein Standard ohne Implementierung hilft dir nicht, und die Syntax ist so nah an RFC 9309, dass spätere Korrekturen wenig Schaden anrichten dürften. Nur gilt eben: Beobachten, nicht abhaken.

Und rechtlich?

Keine Rechtsberatung, aber drei Punkte gehören in deine Abwägung.

Google schreibt, der Vorschlag sei mit dem EU-Verhaltenskodex für KI-Modelle mit allgemeinem Verwendungszweck vereinbar. Das Copyright-Kapitel des Kodex (öffnet in neuem Tab) (englisch) verpflichtet Unterzeichner tatsächlich, das Robot Exclusion Protocol nach RFC 9309 zu beachten, samt späterer Versionen, deren Machbarkeit die IETF belegt. Dazu kommen weitere Protokolle, die Normungsorganisationen übernommen haben oder die dem Stand der Technik entsprechen, breit genutzt und allgemein vereinbart sind. Ob ein Token aus einem Einzel-Entwurf darunterfällt, ist damit noch nicht gesagt.

In Deutschland kommt es für den Nutzungsvorbehalt nach § 44b Abs. 3 UrhG (öffnet in neuem Tab) bei online zugänglichen Werken auf die Maschinenlesbarkeit an. Das Hanseatische Oberlandesgericht (öffnet in neuem Tab) hat am 10. Dezember 2025 (Az. 5 U 104/24) einen in natürlicher Sprache formulierten Vorbehalt auf der Website einer Bildagentur nicht gelten lassen: Der Kläger habe nicht dargelegt, dass er beim Download 2021 maschinenlesbar war. Die Nutzung stützte das Gericht zusätzlich auf die Forschungsschranke des § 60d UrhG. Im Urteil (öffnet in neuem Tab) nennt es die Form „technikoffen" und erwähnt die robots.txt nur als in der Literatur diskutierte Möglichkeit. Rechtskräftig ist das nicht: Der BGH hat am 3. September 2026 verhandelt und will am 17. Dezember 2026 verkünden (öffnet in neuem Tab) (I ZR 281/25). Was konkret genügt, ist also offen, und den 17. Dezember solltest du dir für dieses Thema merken.

Die EU-Kommission hat bis Januar 2026 zu maschinenlesbaren Opt-out-Protokollen konsultiert (öffnet in neuem Tab) (englisch), im Juni dazu einen Workshop abgehalten (öffnet in neuem Tab) (englisch) und will eine Liste allgemein vereinbarter Lösungen veröffentlichen. Eine solche Liste habe ich bis heute nicht gefunden.

Meine Konsequenz: Wer sich die Rechte wirklich vorbehalten will, stützt sich nicht auf dieses eine Token. Sinnvoll sind mehrere Wege parallel, also das Token, die anbieterspezifischen Regeln und eine juristisch formulierte Erklärung, die dir jemand vom Fach prüft.

Was ich empfehle

Du willst Training erlauben (mein Fall). Eine kleine Gruppe genügt. Technisch nötig ist sie nicht, Microsoft etwa behandelt „Allow" ohnehin als Standard. Sie macht deine Haltung aber eindeutig:

User-Agent: __usage_ai-training
Allow: /

Du willst Training ablehnen. Setz das Token mit Disallow: / und lass deine Bot-Regeln stehen. Bis zur Umsetzung sind GPTBot, ClaudeBot, Google-Extended und Co. das, was tatsächlich schon gilt, und sie sind die einzige Antwort für alle Anbieter ohne Zusage. Entscheide dabei bewusst über die Google-Falle und, falls du NoArchive nutzt, über das Grounding bei Bing.

Du willst nur Bereiche ausnehmen. Achte auf eine Feinheit: Disallow: /premium/ allein ist nicht neutral. In einer vorhandenen Gruppe gilt jeder nicht gesperrte Pfad als erlaubt, also drückst du nach meiner Lesart von Entwurf und RFC 9309 für den ganzen Rest eine Präferenz für Training aus. Wenn du das nicht willst, sperr breit und gib gezielt frei wie im press-kit-Beispiel.

Dazu vier Handgriffe:

  1. Eigene Gruppe, sauber getrennt. Aufeinanderfolgende User-Agent-Zeilen teilen sich die Regeln, und nach RFC 9309 trennt sie auch eine Leerzeile nicht. Manche Parser wie Pythons urllib.robotparser sehen das anders. Steht das Token ohne eigene Regeln direkt über User-Agent: GPTBot, gilt die GPTBot-Gruppe also auch für das Token. Gib ihm deshalb immer eigene Regeln. Absichtlich geht das auch: Der Entwurf erlaubt, Tokens und Bots in einer Gruppe zu mischen. Bei Disallow: / sperrst du dann den Bot und drückst zugleich die Präferenz aus.
  2. Jede Subdomain einzeln. Eine robots.txt gilt je Host, wie sonst auch. Eine Datei in einem Unterordner wie /blog/robots.txt wertet niemand aus.
  3. Signale angleichen. Content-Signal: ai-train=yes neben __usage_ai-training mit Disallow: / ist ein Widerspruch, den dir keine Maschine auflöst.
  4. Prüfen. Mein SEO-&-GEO-Analyzer zeigt das Token im Tab GEO Score als eigene Karte, samt Präferenz für die analysierte URL und Warnung bei einem Widerspruch zu einem seitenweiten Content-Signal. Punkte gibt es dafür keine. Auch der Tab Check robots.txt in robots.txt & Sitemap liest es aus. Für den schnellen Blick reicht curl:
curl -sL https://www.example.com/robots.txt | grep -iE -A5 '^[[:space:]]*user-agent:[[:space:]]*__usage_ai-training'

Was ich auf jpkc.com gemacht habe

Diese Wissensbasis ist ausdrücklich für den KI-Zugriff gebaut, und Content-Signal: ai-train=yes steht schon in der robots.txt und in den Headern. Deshalb steht dort jetzt zusätzlich die Gruppe mit Allow: /. Crawl-delay setze ich dort nicht, weil das Token kein Crawler ist und nichts abruft. Die Host-Zeile und alle vorhandenen Bot-Gruppen bleiben, wie sie sind, und auch Google-Extended steht bei mir bereits ausdrücklich auf Allow. Nachgetragen habe ich bei der Gelegenheit Claude-User und Claude-SearchBot, die bisher unter * liefen und jetzt wie die anderen KI-Bots eine eigene Gruppe haben.

Vor dem Einspielen habe ich alte und neue Fassung verglichen: mit dem Parser aus meinen Tools, der Gruppen nach RFC 9309 liest, und mit dem aus der Python-Standardbibliothek, der das nicht tut und hier für ältere Parser steht. Getestet habe ich die 69 schon vorher genannten User-Agents (darunter die Scherz-Einträge Bender und Gort) plus einen unbekannten gegen zehn Pfade. Abweichungen bei Erlaubt/Gesperrt und Crawl-delay: keine. Das ist erwartbar, denn das Token trägt kein Bot, und die beiden neuen Claude-Gruppen gelten nur für sich. Der Test belegt also nur, dass die neuen Gruppen ihre Nachbarn nicht verändern, aber bei einer Datei, an der die ganze Sichtbarkeit hängt, wollte ich genau das nachmessen.

FAQ

Stoppt __usage_ai-training KI-Training sofort?

Nein. Bei drei der vier Anbieter ist die Unterstützung erst angekündigt, Anthropic hat mit der Umsetzung begonnen. Dazu kommt: Es ist eine Präferenz, und Bots ohne Zusage oder mit schlechten Absichten kümmert sie nicht. Für eine harte Sperre brauchst du Regeln auf Server- oder CDN-Ebene.

Kann ich jetzt meine GPTBot- und ClaudeBot-Regeln löschen?

Nein. Google, OpenAI und Anthropic behalten ihre eigene Steuerung ausdrücklich, und die regelt teils etwas anderes: Ein Disallow für GPTBot wirkt auf den Abruf, das neue Token nicht. Außerdem deckt die Sammelregel nur die Anbieter ab, die zugesagt haben.

Schadet ein Trainings-Opt-out meinem Google-Ranking?

Nach Googles Doku nein. Google-Extended beeinflusst weder die Aufnahme in die Suche noch das Ranking. Aber sobald Google das umsetzt, verlierst du dort das Grounding in den Gemini Apps und auf Vertex AI, solange du Google-Extended nicht ausdrücklich erlaubst. Das ist der Preis, den viele übersehen dürften.

Bleibe ich in ChatGPT, Claude und Copilot sichtbar, wenn ich Training sperre?

Das Token ist laut Entwurf nur für Training definiert. OpenAI und Anthropic führen für Suche und Nutzerabrufe eigene Bots. Die Suche steuerst du dort getrennt, bei ChatGPT-User warnt OpenAI aber, dass robots.txt-Regeln bei Nutzerabrufen womöglich nicht greifen. Microsoft trennt Training und Grounding ausdrücklich. Nur bei Google schlägt das Token über Google-Extended auf das Grounding durch.

Ist das ein rechtssicherer Nutzungsvorbehalt?

Das kann dir heute niemand zusagen. Die Rechtsprechung zur Maschinenlesbarkeit ist nicht abgeschlossen, und Kelleys Entwurf äußert sich nicht zur Rechtswirkung. Für verbindliche Fragen brauchst du jemanden vom Fach.

Was bringt das Token, wenn ich Training erlaube?

Vor allem Klarheit. Ohne Gruppe hast du im Sinne des Entwurfs keine Präferenz ausgedrückt, mit Allow: / eine eindeutige. Bei einer Wissensbasis wie dieser passt das zum Zweck, und die zwei Zeilen kosten nichts.

Weiterlesen

Die ältere Schwester des Signals, samt use-Feld und Pfad-Regeln, steht in Content Signals & C2PA. Wie aus einer Bitte auf Netzwerkebene eine Sperre wird, zeigt Der 15. September 2026: Cloudflare stellt die Crawler-Defaults um. Das übrige Crawler-Management steht in Structured Data & Technical GEO, den Rahmen liefert Was ist GEO?.