User-Agent: usage_ai-training
Disallow: /
Mit diesem Eintrag könnten Webseitenbetreiber teilnehmenden Anbietern einheitlich und maschinenlesbar mitteilen, dass ihre Inhalte nicht zum Training generativer KI-Modelle verwendet werden sollen. Die Präferenz ließe sich zentral in der robots.txt hinterlegen, statt sie jedem Unternehmen gesondert mitzuteilen.
OpenAI kündigte seine Unterstützung am 30. Oktober 2026 an und stellte eine Umsetzung in den folgenden Monaten in Aussicht. Recherchequelle: OpenAI Microsoft will das Signal vom 1. Februar 2027 an beim Crawlen berücksichtigen. Recherchequelle: Microsoft Bing Blog Google plant die Unterstützung für Anfang 2027. Recherchequelle: Google Search Central
Eine technische Sperre entsteht dadurch nicht. Das Signal vereinheitlicht lediglich den Ausdruck einer Präferenz; es erzwingt weder deren Befolgung noch eine bestimmte rechtliche Wirkung.
Eine Zweckangabe innerhalb der robots.txt
Der am 30. Oktober 2026 veröffentlichte Entwurf verändert die Syntax der robots.txt nicht und führt auch keine neue Direktive ein. Stattdessen verwendet er in der User-Agent-Zeile den zweckbezogenen Policy-Token usage_ai-training. Die anschließenden Pfadregeln richten sich damit nicht an einen bestimmten Crawler, sondern kennzeichnen eine gewünschte Beschränkung der Inhaltsnutzung.
Mit Disallow: / lehnt ein Webseitenbetreiber die Nutzung sämtlicher erfasster Pfade zu Trainingszwecken ab. Die Regel kann auf einzelne Verzeichnisse oder Seiten beschränkt werden; Allow ermöglicht Ausnahmen. Welche Pfadvorgabe im Konfliktfall gilt, richtet sich laut Entwurf nach den üblichen Vorrangregeln der robots.txt.
Kennt ein Programm den Token nicht, behandelt es die Gruppe wie eine unbekannte Nutzerkennung und soll sein Verhalten deshalb nicht ändern. Fehlt ein Eintrag für usage_ai-training vollständig, ist weder Zustimmung noch Ablehnung erklärt.
Autor des Vorschlags ist Kevin Kelley, der im Dokument Anthropic zugeordnet wird. Der Text knüpft an die Arbeit der IETF-Arbeitsgruppe AI Preferences an, liegt jedoch bislang nur als individueller Internet-Draft in der Version -00 vor. Er ist weder formell von der IETF bestätigt noch als Internetstandard angenommen. Recherchequelle: IETF Datatracker
CjxkaXYgY2xhc3M9ImV4dGhvcmlhLWFtYXpvbi1hZCIgZGF0YS1leHRob3JpYS1hZC1zbG90PSIwMSIgZGF0YS1leHRob3JpYS1hZC1wcm92aWRlcj0iYW1hem9uIj48ZGl2IGNsYXNzPSJleHRob3JpYS1hbWF6b24tYWRfX21ldGEiPjxzcGFuIGNsYXNzPSJleHRob3JpYS1hbWF6b24tYWRfX2JhZGdlIj5XZXJidW5nPC9zcGFuPjxzcGFuIGNsYXNzPSJleHRob3JpYS1hbWF6b24tYWRfX3Byb3ZpZGVyIj5BbWF6b248L3NwYW4+PC9kaXY+PHN0cm9uZyBjbGFzcz0iZXh0aG9yaWEtYW1hem9uLWFkX190aXRsZSI+R3J1bmRsYWdlbiBkZXIgR2VuZXJhdGl2ZW4gS0k6IEdlbmVyYXRpdmUgTW9kZWxsZSBmdXIgVGV4dCwgQmlsZGVyIHVuZCBtdWx0aW1vZGFsZSBBbndlbmR1bmdlbiBlcnN0ZWxsZW4sIHZlcmZlaW5lcm4gdW5kIGRlcGxveWVuPC9zdHJvbmc+PGEgY2xhc3M9ImV4dGhvcmlhLWFtYXpvbi1hZF9fY3RhIiBocmVmPSJodHRwczovL2xpbmsuYW1hem9uL0IwYWRCaUVWYSIgdGFyZ2V0PSJfYmxhbmsiIHJlbD0ic3BvbnNvcmVkIG5vZm9sbG93IG5vb3BlbmVyIG5vcmVmZXJyZXIiIGRhdGEtZXh0aG9yaWEtbGluay1tYW5hZ2VyPSIxIiBkYXRhLWV4dGhvcmlhLWxpbmstdHlwZT0iZXh0ZXJuYWwiIGRhdGEtZXh0aG9yaWEtYWQtbGluaz0iYW1hem9uIj5CZWkgQW1hem9uIGFuc2VoZW4gPHNwYW4+KGJlemFobHRlciBMaW5rKTwvc3Bhbj48L2E+PHNtYWxsIGNsYXNzPSJleHRob3JpYS1hbWF6b24tYWRfX2Rpc2Nsb3N1cmUiPsOcYmVyIHVuc2VyZSBBbWF6b24tUGFydG5lcmxpbmtzIGVyaGFsdGVuIHdpciBiZWkgcXVhbGlmaXppZXJ0ZW4gVmVya8OkdWZlbiBlaW5lIFByb3Zpc2lvbi48L3NtYWxsPjwvZGl2Pgo=Crawling und Inhaltsnutzung sind getrennte Ebenen
Der neue Token entscheidet nicht unmittelbar darüber, ob eine Seite abgerufen werden darf. Ein Anbieter könnte den Trainingswiderspruch zwar umsetzen, indem er die betreffenden Inhalte nicht mehr crawlt; vorgeschrieben ist dieses Vorgehen jedoch nicht. usage_ai-training stellt selbst keine Crawleranweisung dar.
Soll ein bestimmter Bot ausgesperrt werden, ist deshalb weiterhin eine eigene robots.txt-Regel unter dessen Kennung nötig. Die Zugriffskontrolle für einen Crawler und die Präferenz für den späteren Umgang mit bereits erfassten Inhalten erfüllen unterschiedliche Aufgaben.
Auch das weiter gefasste AIPREF-Vokabular enthält keinen Mechanismus, der eine Befolgung erzwingt. Es stellt Begriffe und Ausdrucksformen bereit, sieht aber weder Sanktionen noch eine allgemeine Pflicht zur Beachtung vor. Ob eine Präferenz technisch, vertraglich oder rechtlich bindend wird, richtet sich nach anderen Regeln und Vereinbarungen. Recherchequelle: IETF AIPREF
Die allgemeine Angabe muss zudem nicht in jedem Fall Vorrang haben. Nach dem technischen Entwurf dürfen Anbieter eigene Policy-Token als speziellere Festlegungen behandeln. Individuelle Vereinbarungen zwischen einem Webseitenbetreiber und dem Empfänger können die maschinenlesbare Präferenz ebenfalls überlagern.
Training, KI-Nutzung und Suche
Der Token usage_ai-training bezieht sich auf das Training generativer KI. Darunter fällt die Verwendung digitaler Inhalte, um die erlernten Parameter eines generativen Modells zu verändern. Davon zu unterscheiden sind Suchfunktionen, die Nutzung von Webinhalten als zusätzliche Informationsgrundlage für generierte Antworten sowie Abrufe, die auf eine Anfrage des Nutzers zurückgehen.
Der Entwurf für das umfassendere AIPREF-Vokabular unterscheidet derzeit zwischen AI Training, AI Use und Search. AI Use umfasst nicht jede beliebige KI-Anwendung, sondern die Verwendung von Inhalten als Eingabe für ein generatives Modell, sofern der Nutzer diese Inhalte nicht unmittelbar selbst bereitgestellt hat. Ungeklärt ist unter anderem, wie ein Abruf einzuordnen wäre, den der Nutzer durch einen Verweis oder durch die Eingabe einer URL auslöst. Eine eigene Oberkategorie für nutzerinitiierte Webseitenabrufe enthält die derzeitige Systematik nicht.
Auch Search schließt nicht sämtliche Funktionen ein, die innerhalb einer Suchanwendung vorkommen können. Die Anwendung muss vor allem Inhalte auswählen und den Nutzer zu deren ursprünglichem Fundort führen. Auszüge dürfen dabei helfen, die Relevanz eines Ergebnisses einzuschätzen. Werden Inhalte dagegen zur Erzeugung von Zusammenfassungen verwendet, fällt dies nach dem aktuellen Entwurf nicht unter Search. Über diese Kategorien und Präferenzdefinitionen besteht in der Arbeitsgruppe noch kein abschließender Konsens.
Die begriffliche Trennung erlaubt es grundsätzlich, das Modelltraining abzulehnen, ohne zugleich jede andere Form der Auffindbarkeit auszuschließen. Welche Differenzierung einem Webseitenbetreiber tatsächlich offensteht, hängt allerdings von den Einstellungen des jeweiligen Anbieters ab.
Unternehmensspezifische Bot-Regeln bleiben vielfach notwendig
Der gemeinsame Policy-Token ersetzt nicht durchweg die bisherigen Kontrollmöglichkeiten. Bei OpenAI sollen die vorhandenen robots.txt-Regeln für die einzelnen Crawler neben dem neuen Signal gültig bleiben. Auch Google hält an einer unternehmensspezifischen Regelung fest. Microsoft will dagegen seine bisherigen NoArchive- und NoCache-Präferenzen für Training und Grounding nach einer Übergangsphase durch das neue System ablösen.
Für die differenzierte Steuerung von Zugriffen und Nutzungsarten müssen Webseitenbetreiber daher weiterhin wissen, welchem Zweck eine Crawlerkennung dient. OpenAI verwendet GPTBot, um Inhalte zu erfassen, die möglicherweise in das Training generativer Grundlagenmodelle einfließen. OAI-SearchBot erschließt Webseiten hingegen für die Suchfunktionen von ChatGPT. Beide Bots lassen sich unabhängig voneinander regeln. Eine Seite kann somit für GPTBot gesperrt und zugleich für die ChatGPT-Suche zugänglich gehalten werden, sofern die robots.txt die beiden Kennungen entsprechend behandelt. Recherchequelle: OpenAI-Crawler-Dokumentation
Anthropic unterscheidet ebenfalls mehrere Zugriffszwecke. ClaudeBot erfasst öffentlich verfügbare Webinhalte, die für das Modelltraining infrage kommen. Claude-User ist für Seitenabrufe vorgesehen, die aus einer Nutzeranfrage hervorgehen, während Claude-SearchBot dem Suchbereich zugeordnet ist. Betreiber können für diese Funktionen jeweils eigene robots.txt-Regeln festlegen. Recherchequelle: Anthropic
Der neue Token fügt diesem Geflecht eine gemeinsame Erklärung zur Trainingsnutzung hinzu. Separate Regeln für einzelne Bots und andere Verwendungszwecke bleiben erforderlich, soweit der jeweilige Anbieter entsprechende Einstellungen vorsieht.
Die angekündigten Umsetzungen unterscheiden sich
OpenAI hat bislang nicht im Einzelnen erläutert, wie das neue Signal ausgewertet werden soll; weitere Angaben dazu sollen später folgen. Auch ein genauer Einführungstermin fehlt. Festgelegt ist bisher lediglich der Zeitraum: Die technische Berücksichtigung soll in den Monaten nach der Ankündigung vom 30. Oktober 2026 beginnen.
Google will eine ausdrücklich gesetzte Regel für Google-Extended als speziellere Vorgabe behandeln. Fehlt eine solche Regel, soll ein allgemeiner Widerspruch über usage_ai-training so ausgelegt werden, als gelte für Google-Extended ebenfalls Disallow. Die Einführung ist für Anfang 2027 angekündigt.
Diese Auslegung kann über das reine Modelltraining hinausreichen. Google-Extended betrifft laut der Crawler-Dokumentation zum einen die Verwendung von Inhalten für künftige Generationen der Gemini-Modelle. Zum anderen gilt es für bestimmte Grounding-Funktionen in Gemini Apps und bei „Grounding with Google Search“ in Vertex AI. Wird der allgemeine Trainingswiderspruch auf Google-Extended übertragen, können deshalb auch diese Grounding-Nutzungen eingeschränkt werden. Recherchequelle: Google-Crawler-Dokumentation
Microsoft nennt den 1. Februar 2027 als Beginn der Berücksichtigung beim Crawlen. Neben der robots.txt sollen sich Präferenzen unmittelbar für einzelne Seiten angeben lassen. Für das jeweilige Dokument sollen diese Angaben die allgemeine robots.txt-Einstellung überschreiben.
Die klassische Bing-Suche soll grundsätzlich von den Einstellungen zu Training und Grounding getrennt bleiben, sofern eine Seite weiterhin die sonstigen Voraussetzungen für Crawling und Indexierung erfüllt. Keine der verfügbaren Einstellungen gewährleistet allerdings, dass Microsoft einen Inhalt aufnimmt. Auch Reichweite, zusätzlicher Traffic oder eine Vergütung sind damit nicht garantiert.
Training und Grounding behandelt Microsoft als getrennte Nutzungsarten. Beim Grounding dienen Webinhalte als Informationsgrundlage für eine generierte Antwort. Ein Betreiber kann daher das Modelltraining ablehnen, diese Verwendung seiner Inhalte aber weiterhin gestatten. Wird auch das Grounding beschränkt, kann nach Angaben des Unternehmens die Sichtbarkeit in Microsofts KI-Angeboten sinken.
Vom 1. März 2027 an will Microsoft NoArchive und NoCache nicht mehr als Präferenzen für Training und Grounding auswerten. Nach der Übergangsphase soll das neue System die älteren Angaben in diesem Bereich ersetzen.
Gemeinsame Ausdrucksform, aber keine gemeinsame Garantie
Mit Stand vom 31. Oktober 2026 besteht das Vorhaben aus einem frühen individuellen Internet-Draft und den angekündigten Implementierungen mehrerer Unternehmen. Da die praktische Einführung bei OpenAI, Microsoft und Google überwiegend noch bevorsteht, lassen sich bislang nur die veröffentlichten Pläne beurteilen, nicht deren spätere technische Umsetzung oder die tatsächliche Befolgung des Signals.
Internet-Drafts können verändert, ersetzt oder aufgegeben werden. Auch die zentralen Begriffe des AIPREF-Vokabulars sind in der zuständigen Arbeitsgruppe noch nicht abschließend abgestimmt.
Der Fortschritt liegt daher nicht in einer universellen Abruf- oder Nutzungssperre, sondern in einer gemeinsamen Sprache für teilnehmende Anbieter. Webseitenbetreiber könnten ihren Widerspruch gegen das Training generativer KI einmal in maschinenlesbarer Form hinterlegen. Ob und welche praktische oder rechtliche Wirkung daraus entsteht, richtet sich weiterhin danach, wie das Signal implementiert und beachtet wird, welche Verträge bestehen und welche Rechtsregeln gelten.
Weiterführende Informationen
Quellenhinweis: Einzelne Fakten, Einschätzungen und Prognosen dieses Beitrags stützen sich auf Veröffentlichungen der nachfolgend genannten Unternehmen und Institutionen. Die Links dienen zugleich der weiterführenden Information.
dasTECHNO – KI-Training-Opt-out per robots.txt: Eine Zeile für vier KI-Konzerne
Der Beitrag erklärt den individuellen IETF-Entwurf, das Policy-Token __usage_ai-training, die pfadbezogenen Regeln und die Abgrenzung von einer Crawling-Sperre.
https://dastechno.com/de/news/ki-training-opt-out-robots-txt-standard/
Unite.AI – OpenAI will ein gemeinsames Robots.txt-Signal für Präferenzen zum KI-Training berücksichtigen
Die Vertiefung erläutert die getrennten AIPREF-Kategorien für Modelltraining, generative KI-Nutzung und klassische Suche sowie den vorläufigen Stand des Vokabulars.
https://www.unite.ai/de/openai-to-honor-shared-robots-txt-signal-for-ai-training-preferences/
Dr. Web – Google, Bing und OpenAI wollen eine gemeinsame robots.txt-Regel gegen KI-Training beachten
Das Fachportal vergleicht Zeitpläne und Auslegungen von OpenAI, Google und Microsoft einschließlich Google-Extended, Grounding sowie der Ablösung von NoArchive und NoCache.
https://www.drweb.de/robots-txt-ki-training-google-bing-openai/
