Ein Artikel erscheint im Netz, ein automatisierter Besucher ruft ihn ab, und irgendwo entsteht aus seinen Informationen eine Antwort. Ob die ursprüngliche Veröffentlichung jemals einen menschlichen Leser erreicht, bleibt offen. Mit der Ausbreitung KI-gestützter Suchdienste verändert sich das Verhältnis zwischen denen, die Wissen erarbeiten, und jenen, die es verbreiten. Hinter dem unscheinbaren Zugriff auf eine Webseite steht inzwischen eine Frage von beträchtlicher Tragweite: Wer verfügt über die Informationen des Internets, wenn Maschinen zunehmend darüber entscheiden, was davon beim Publikum ankommt?
Ein Aufruf im Serverprotokoll
Wer eine Webseite betreibt, kennt das vertraute Prinzip der digitalen Öffentlichkeit: Ein Text wird veröffentlicht, Suchmaschinen entdecken ihn, interessierte Menschen gelangen über einen Link zum Original. Zumindest war das lange die Vorstellung davon, wie Informationen im Internet ihren Weg zum Leser finden.
Inzwischen kann sich zwischen Veröffentlichung und Lektüre ein weiterer Akteur schieben. Weder besitzt er ein eigenes Erkenntnisinteresse, noch benötigt er eine grafische Benutzeroberfläche. Sein Besuch erschöpft sich womöglich in wenigen technischen Anfragen. Dennoch kann das, was er dabei erfasst, später in einer Antwort auftauchen, die ein Mensch an ganz anderer Stelle erhält.
In einem Serverprotokoll würde ein solcher Vorgang zunächst wenig Aufsehen erregen. Eine Adresse wird angefordert, der Server liefert Daten zurück. Vielleicht verrät eine Programmkennung, dass ein Crawler beteiligt war. Vielleicht lässt sie auch keinen eindeutigen Schluss zu.
Der eigentliche Vorgang beginnt für den Webseitenbetreiber dort, wo seine unmittelbare Beobachtung endet. Was wird aus dem abgerufenen Text? Gelangt er in einen Suchindex? Dient er der Beantwortung einer konkreten Frage? Oder wird er für die Entwicklung eines Sprachmodells herangezogen?
Diese Möglichkeiten gehören zu unterschiedlichen technischen Verfahren. Im öffentlichen Sprachgebrauch verschwimmen sie häufig zu einer einzigen Vorstellung: Die KI liest das Internet.
Das ist nicht grundsätzlich falsch. Es erklärt allerdings erschreckend wenig.
Was der unsichtbare Besucher tatsächlich vorfindet
Ein Crawler betrachtet eine Webseite nicht zwangsläufig so, wie sie auf einem Bildschirm erscheint. Was für menschliche Besucher eine gestaltete Veröffentlichung aus Überschriften, Bildern, Text und Navigation ist, besteht technisch aus Dokumenten, Verknüpfungen und Daten, die zunächst angefordert und verarbeitet werden müssen.
Viele dieser Programme orientieren sich an bereits bekannten Internetadressen. Sie folgen Links, berücksichtigen Hinweise aus Sitemaps und erschließen auf diese Weise weitere Veröffentlichungen. Ein Server beantwortet ihre Anfragen mit den verfügbaren Inhalten, häufig zunächst mit dem HTML-Code der betreffenden Seite.
Darin können Überschriften, Absätze, Zeitangaben und andere Bestandteile strukturell ausgezeichnet sein. Strukturierte Daten liefern zusätzliche Hinweise darauf, ob das Dokument beispielsweise einen Nachrichtenartikel oder eine Produktbeschreibung enthält.
Wie viel davon tatsächlich erfasst wird, entscheidet nicht allein die Webseite. Ebenso wichtig sind die technischen Fähigkeiten des abrufenden Systems.
Wird ein wesentlicher Teil des Inhalts erst durch JavaScript nachgeladen, kann ein einfacher Abruf unvollständig bleiben. Programme, die solche Skripte ausführen und die Seite anschließend auswerten, erhalten möglicherweise ein umfassenderes Bild. Andere beschränken sich auf die unmittelbar verfügbaren Dokumente.
Die Architektur einer Webseite beeinflusst somit, welche Informationen maschinell zugänglich sind. Eine ansprechende Darstellung im Browser bedeutet noch nicht, dass automatisierte Systeme sämtliche Inhalte zuverlässig erkennen können.
Doch selbst eine vollständig erfasste Veröffentlichung muss keineswegs später in einer KI-Antwort auftauchen. Zwischen dem Abruf und der Verwendung liegt eine Auswahl, deren Kriterien je nach Anbieter und Anwendung unterschiedlich ausfallen. Wer eine Seite technisch zugänglich macht, sichert ihr damit noch keinen Platz in der neuen Informationsordnung.
Eine weitverbreitete Verwechslung
Kaum ein Ausdruck hat das Verständnis künstlicher Intelligenz so nachhaltig geprägt wie die Behauptung, sie lerne aus dem Internet.
Dahinter verbirgt sich eine Vorstellung, die an menschliche Lektüre erinnert: Ein System nimmt einen Artikel zur Kenntnis, bewahrt dessen Inhalt auf und greift später bei Bedarf darauf zurück. Für die tatsächlichen Verfahren ist dieses Bild zu schlicht.
Beim Training werden große Datenbestände verarbeitet, um die Parameter eines Modells anzupassen. Dabei entstehen keine gewöhnlichen Archivordner, in denen sich jeder verwendete Artikel als eigenständiges Dokument wiederfinden ließe. Das Modell erlernt Zusammenhänge, kann unter bestimmten Umständen aber auch konkrete Textfolgen wiedergeben. Aus einer späteren Antwort allein lässt sich deshalb weder zuverlässig auf die Herkunft einer Information noch auf die vollständige Zusammensetzung des Trainingsmaterials schließen.
Ein Suchindex verfolgt einen anderen Zweck. Er soll vorhandene Dokumente auffindbar machen. Neue Veröffentlichungen können aufgenommen, ältere Einträge aktualisiert und Ergebnisse anhand einer Suchanfrage ausgewählt werden.
Wieder anders verhält es sich, wenn ein KI-Assistent während einer Unterhaltung nach zusätzlichen Informationen sucht. Dann können aktuelle Fundstellen abgerufen und ausgewählte Inhalte in den Kontext der Antwortgenerierung aufgenommen werden.
Für dieses Zusammenspiel hat sich die Bezeichnung Retrieval-Augmented Generation etabliert. Der Begriff beschreibt Verfahren, bei denen ein generatives Modell auf ergänzende, abgerufene Informationen zurückgreift.
CjxkaXYgY2xhc3M9ImV4dGhvcmlhLWFtYXpvbi1hZCIgZGF0YS1leHRob3JpYS1hZC1zbG90PSIwMSIgZGF0YS1leHRob3JpYS1hZC1wcm92aWRlcj0iYW1hem9uIj48ZGl2IGNsYXNzPSJleHRob3JpYS1hbWF6b24tYWRfX21ldGEiPjxzcGFuIGNsYXNzPSJleHRob3JpYS1hbWF6b24tYWRfX2JhZGdlIj5XZXJidW5nPC9zcGFuPjxzcGFuIGNsYXNzPSJleHRob3JpYS1hbWF6b24tYWRfX3Byb3ZpZGVyIj5BbWF6b248L3NwYW4+PC9kaXY+PHN0cm9uZyBjbGFzcz0iZXh0aG9yaWEtYW1hem9uLWFkX190aXRsZSI+S0kgYWxzIEvDvG5zdGxlcj86IEVpbmUgVW50ZXJzdWNodW5nIHZvbiBFcnpldWduaXNzZW4gYmlsZGdlbmVyaWVyZW5kZXIgS8O8bnN0bGljaGVyIEludGVsbGlnZW56IGltIGRldXRzY2hlbiBVcmhlYmVycmVjaHQgKFNjaHJpZnRlbnJlaWhlIE1lZGllbnJlY2h0ICZhbXA7IE1lZGllbnRoZW9yaWUpPC9zdHJvbmc+PGEgY2xhc3M9ImV4dGhvcmlhLWFtYXpvbi1hZF9fY3RhIiBocmVmPSJodHRwczovL2xpbmsuYW1hem9uL0IwMU1aZngwSCIgdGFyZ2V0PSJfYmxhbmsiIHJlbD0ic3BvbnNvcmVkIG5vZm9sbG93IG5vb3BlbmVyIG5vcmVmZXJyZXIiIGRhdGEtZXh0aG9yaWEtbGluay1tYW5hZ2VyPSIxIiBkYXRhLWV4dGhvcmlhLWxpbmstdHlwZT0iZXh0ZXJuYWwiIGRhdGEtZXh0aG9yaWEtYWQtbGluaz0iYW1hem9uIj5CZWkgQW1hem9uIGFuc2VoZW4gPHNwYW4+KGJlemFobHRlciBMaW5rKTwvc3Bhbj48L2E+PHNtYWxsIGNsYXNzPSJleHRob3JpYS1hbWF6b24tYWRfX2Rpc2Nsb3N1cmUiPsOcYmVyIHVuc2VyZSBBbWF6b24tUGFydG5lcmxpbmtzIGVyaGFsdGVuIHdpciBiZWkgcXVhbGlmaXppZXJ0ZW4gVmVya8OkdWZlbiBlaW5lIFByb3Zpc2lvbi48L3NtYWxsPjwvZGl2Pgo=Die Unterscheidung hat praktische Konsequenzen. Eine Webseite kann zur Beantwortung einer aktuellen Frage herangezogen werden, ohne dass der dafür abgerufene Text automatisch zum Trainingsmaterial des Modells wird.
Ebenso wenig beweist eine Antwort, die einer vorhandenen Veröffentlichung ähnelt, für sich genommen, dass genau diese Veröffentlichung zuvor beim Training verwendet wurde.
Wer über die Nutzung fremder Inhalte sprechen möchte, muss also zunächst klären, welcher Vorgang überhaupt gemeint ist.
Wer hinter den automatisierten Besuchen steckt
Ein Blick in die technischen Dokumentationen der großen Anbieter zeigt, wie unterschiedlich die Aufgaben ihrer Programme verteilt sind.
OpenAI verwendet für die ChatGPT-Suche unter anderem OAI-SearchBot. Daneben existiert GPTBot, der Inhalte erfassen kann, die für das Training von KI-Modellen infrage kommen. Mit ChatGPT-User bezeichnet das Unternehmen außerdem Zugriffe, die bei bestimmten Aktionen von Nutzern ausgelöst werden.
Diese Trennung ist keineswegs nur eine Frage der Benennung. Webseitenbetreiber können GPTBot ausschließen, während sie OAI-SearchBot weiterhin den Zugriff erlauben. Eine solche Entscheidung kann sinnvoll sein, wenn eigene Veröffentlichungen in ChatGPT-Suchergebnissen auffindbar bleiben sollen, ohne dass der Trainings-Crawler dieselben Inhalte abrufen darf.
Anthropic unterscheidet bei Claude ebenfalls zwischen dem auf Trainingszwecke ausgerichteten ClaudeBot, dem Suchprogramm Claude-SearchBot und dem für bestimmte Nutzeraktionen eingesetzten Claude-User.
Perplexity wiederum dokumentiert mit PerplexityBot und Perplexity-User zwei eigene Zugriffswege. Perplexity zufolge werden diese Programme nicht zur Sammlung von Trainingsmaterial für KI-Basismodelle verwendet.
Google arbeitet mit einer anderen Ausgangslage. Seine KI-gestützten Suchangebote können auf eine bereits bestehende Suchinfrastruktur zurückgreifen. Zugleich gibt es mit Google-Extended einen Mechanismus, über den Betreiber bestimmte Verwendungen ihrer Inhalte für KI-Anwendungen beeinflussen können.
Aus Sicht eines Webseitenbetreibers bedeutet das: Hinter einer automatisierten Anfrage kann sich ein Programm verbergen, das die reguläre Suche unterstützt, Informationen für eine aktuelle Nutzeranfrage abruft oder Material für die Modellentwicklung erfasst.
Die Unterschiede sind technisch dokumentiert. Wie einzelne Informationen nach einem Abruf intern weiterverarbeitet werden, bleibt für Außenstehende jedoch vielfach nur begrenzt nachvollziehbar.
Wenn die Antwort wichtiger wird als ihre Herkunft
Die Veränderung erschöpft sich nicht darin, dass Maschinen fremde Texte auslesen. Ihre besondere Wirkung entsteht erst, wenn aus zahlreichen Veröffentlichungen eine einzige, scheinbar geschlossene Darstellung wird.
Ein Nutzer fragt beispielsweise nach den Möglichkeiten, eine Webseite gegen automatisierte Datenerfassung abzusichern. Ein KI-gestütztes Suchsystem könnte daraufhin technische Dokumentationen verschiedener Anbieter, einschlägige Rechtsvorschriften und Beiträge aus Fachpublikationen berücksichtigen.
Welche Fundstellen tatsächlich ausgewählt werden, hängt vom jeweiligen System ab. Die gewonnenen Informationen können anschließend verkürzt, miteinander verbunden und in einer neuen sprachlichen Darstellung zusammengeführt werden.
Für den Fragenden ist das ausgesprochen bequem. Er erhält eine Antwort, ohne selbst zwischen technischen Einzelheiten, widersprüchlichen Aussagen und verstreuten Dokumenten unterscheiden zu müssen.
Allerdings verschiebt sich damit ein Teil der Beurteilung vom Leser zum System.
Wenn eine juristische Einschränkung im ursprünglichen Dokument nur für bestimmte Fälle gilt, darf sie in der Zusammenfassung nicht plötzlich als allgemeine Regel erscheinen. Eine zeitlich überholte Information wird nicht dadurch aktuell, dass sie sprachlich überzeugend vorgetragen wird. Und eine Quellenangabe beweist noch nicht, dass der zugeschriebene Sachverhalt dort tatsächlich in dieser Form steht.
Gerade die sprachliche Geschlossenheit generativer Antworten kann solche Schwächen verdecken.
Bei einer herkömmlichen Recherche begegnen dem Leser unterschiedliche Fundstellen mit ihren jeweiligen Autoren, Veröffentlichungsdaten und Perspektiven. In einer KI-Antwort treten diese Unterschiede häufig hinter eine einheitliche Darstellung zurück.
Die Quellen bleiben unter Umständen verlinkt. Ob das Publikum ihnen noch folgt, ist eine andere Frage.
Acht Prozent – eine Zahl mit weitreichender Bedeutung
Wie sehr sich das Verhalten von Internetnutzern verändert, untersuchte das amerikanische Pew Research Center im Jahr 2025.
Die Forscher analysierten die im März 2025 aufgezeichneten Browseraktivitäten von 900 Erwachsenen in den Vereinigten Staaten. Um festzustellen, bei welchen Suchanfragen eine KI-Zusammenfassung erschien, ließen sie die identischen Google-Suchen vom 7. bis 17. April erneut erfassen. Auf dieser Grundlage werteten sie 68.879 eindeutige Suchanfragen aus. Die angezeigten Zusammenfassungen können sich zwischenzeitlich verändert haben. Veröffentlicht wurde die Untersuchung am 22. Juli.
Dabei zeigte sich ein auffälliger Unterschied: Erschien bei einer Google-Suche eine KI-generierte Zusammenfassung, klickten die Nutzer in acht Prozent der untersuchten Suchvorgänge auf ein gewöhnliches Suchergebnis. Ohne eine solche Zusammenfassung lag der Anteil bei 15 Prozent.
Noch seltener wurden die direkt innerhalb der KI-Übersichten genannten Quellen aufgerufen. Entsprechende Klicks registrierten die Forscher bei ungefähr einem Prozent dieser Suchvorgänge.
Die Ergebnisse bedürfen einer sorgfältigen Einordnung. Sie stammen aus einer begrenzten amerikanischen Untersuchung und belegen nicht, dass KI-Zusammenfassungen allein für das unterschiedliche Klickverhalten verantwortlich sind. Auch die Art einer Suchanfrage kann beeinflussen, ob Nutzer anschließend eine Webseite besuchen.
Dennoch werfen die Zahlen ein Schlaglicht auf eine Entwicklung, die für Informationsanbieter wirtschaftlich erheblich sein könnte.
CjxkaXYgY2xhc3M9ImV4dGhvcmlhLWFtYXpvbi1hZCIgZGF0YS1leHRob3JpYS1hZC1zbG90PSIwMiIgZGF0YS1leHRob3JpYS1hZC1wcm92aWRlcj0iYW1hem9uIj48ZGl2IGNsYXNzPSJleHRob3JpYS1hbWF6b24tYWRfX21ldGEiPjxzcGFuIGNsYXNzPSJleHRob3JpYS1hbWF6b24tYWRfX2JhZGdlIj5XZXJidW5nPC9zcGFuPjxzcGFuIGNsYXNzPSJleHRob3JpYS1hbWF6b24tYWRfX3Byb3ZpZGVyIj5BbWF6b248L3NwYW4+PC9kaXY+PHN0cm9uZyBjbGFzcz0iZXh0aG9yaWEtYW1hem9uLWFkX190aXRsZSI+U3VjaG1hc2NoaW5lbi1PcHRpbWllcnVuZzogRGFzIFNFTy1TdGFuZGFyZHdlcmsgaW4gbmV1ZXIgQXVmbGFnZS4gw5xiZXIgMS4wMDAgU2VpdGVuIFByYXhpc3dpc3NlbiB1bmQgUHJvZml0aXBwcyB6dSBTRU8sIEdvb2dsZSB1LiBDby48L3N0cm9uZz48YSBjbGFzcz0iZXh0aG9yaWEtYW1hem9uLWFkX19jdGEiIGhyZWY9Imh0dHBzOi8vbGluay5hbWF6b24vQjBkaXVySER0IiB0YXJnZXQ9Il9ibGFuayIgcmVsPSJzcG9uc29yZWQgbm9mb2xsb3cgbm9vcGVuZXIgbm9yZWZlcnJlciIgZGF0YS1leHRob3JpYS1saW5rLW1hbmFnZXI9IjEiIGRhdGEtZXh0aG9yaWEtbGluay10eXBlPSJleHRlcm5hbCIgZGF0YS1leHRob3JpYS1hZC1saW5rPSJhbWF6b24iPkJlaSBBbWF6b24gYW5zZWhlbiA8c3Bhbj4oYmV6YWhsdGVyIExpbmspPC9zcGFuPjwvYT48c21hbGwgY2xhc3M9ImV4dGhvcmlhLWFtYXpvbi1hZF9fZGlzY2xvc3VyZSI+w5xiZXIgdW5zZXJlIEFtYXpvbi1QYXJ0bmVybGlua3MgZXJoYWx0ZW4gd2lyIGJlaSBxdWFsaWZpemllcnRlbiBWZXJrw6R1ZmVuIGVpbmUgUHJvdmlzaW9uLjwvc21hbGw+PC9kaXY+Cg==Wer einen aufwendig recherchierten Fachartikel veröffentlicht, benötigt häufig tatsächliche Leser. Besuche schaffen Reichweite, ermöglichen Werbeeinnahmen, fördern Abonnements und können eine dauerhafte Bindung zwischen Publikum und Redaktion begründen.
Wird der Informationsbedarf bereits auf der Ergebnisseite befriedigt, verändert sich dieser Zusammenhang.
Die ursprüngliche Veröffentlichung mag weiterhin relevant sein. Ihr Betreiber erfährt davon unter Umständen wenig. Die Information erreicht ihr Publikum, doch der Besuch auf der Webseite bleibt aus.
Darin liegt ein bislang ungelöster Widerspruch der KI-gestützten Suche: Sie gewinnt ihren Nutzen aus der Verfügbarkeit fremden Wissens, während die wirtschaftlichen Voraussetzungen seiner Entstehung teilweise auf unmittelbare Aufmerksamkeit angewiesen sind.
Die kleine Datei, die Grenzen setzen soll
Was kann ein Webseitenbetreiber dagegen unternehmen?
Eine der ältesten Möglichkeiten heißt robots.txt. Diese Datei befindet sich üblicherweise im Stammverzeichnis einer Webseite und enthält Anweisungen für automatisierte Programme.
Über entsprechende Regeln lässt sich festlegen, welche Bereiche ein bestimmter Crawler abrufen soll und welche nicht. Das dafür maßgebliche Robots Exclusion Protocol wurde im September 2022 als RFC 9309 standardisiert.
Seine praktische Bedeutung ist groß, seine Schutzwirkung jedoch begrenzt.
Die Datei ist keine verschlossene Tür. Wer sich über ihre Anweisungen hinwegsetzt, kann öffentlich zugängliche Inhalte unter Umständen dennoch anfordern. Das Verfahren beruht wesentlich darauf, dass die betreffenden Programme die hinterlegten Vorgaben beachten.
Hinzu kommen Unterschiede zwischen regelmäßigen Crawler-Besuchen und Abrufen, die durch einen konkreten Nutzer veranlasst werden. Nach den Angaben einzelner Anbieter können bei solchen nutzerbezogenen Zugriffen andere Regeln gelten.
Auch die Verhinderung eines Zugriffs ist nicht dasselbe wie der Ausschluss aus einem Suchindex. Soll Google eine bestimmte Seite nicht in seine Suchergebnisse aufnehmen, kann eine noindex-Anweisung verwendet werden. Wird Googlebot gleichzeitig vollständig am Abruf gehindert, kann er die auf der Seite hinterlegte Anweisung allerdings möglicherweise nicht erkennen.
Die richtige technische Entscheidung hängt deshalb davon ab, welches Ziel verfolgt wird: Soll eine Veröffentlichung in der klassischen Suche erscheinen? Darf sie als Grundlage einer KI-Antwort dienen? Soll ihre Verwendung beim Modelltraining ausgeschlossen werden?
Diese Fragen lassen sich nicht mit einer einzigen allgemeinen Sperre beantworten.
Eine neue Wahlmöglichkeit bei Google
Im Sommer 2026 erhielten Webseitenbetreiber zusätzliche Möglichkeiten, ihre Präsenz in generativen Google-Angeboten zu beeinflussen.
Google unterscheidet dabei zwischen der klassischen Suche, generativen Suchfunktionen und der Verwendung von Inhalten für das KI-Training. Die seit dem 31. August 2026 weltweit verfügbare Search-Console-Einstellung ermöglicht es Webseitenbetreibern, die Verwendung eigener Inhalte in bestimmten generativen Suchfunktionen zuzulassen oder auszuschließen. Sie betrifft KI-Übersichten, den KI-Modus und generative Funktionen von Google Discover, lässt die übrige Google-Suche jedoch unberührt.
Für bestimmte Nutzungen beim KI-Training verweist Google auf Google-Extended. Die Search-Console-Einstellung regelt diese Verwendungen nicht unmittelbar.
Ergänzende Leistungsberichte weisen Einblendungen in generativen Suchangeboten aus und lassen diese unter anderem nach Seite, Land, Gerät und Zeitraum aufschlüsseln. Damit lässt sich zumindest besser beurteilen, ob und in welchem Umfang die eigene Webseite in diesen Funktionen präsent ist.
Was die Berichte nicht leisten, ist eine vollständige Rekonstruktion einzelner KI-Antworten. Die internen Auswahlprozesse bleiben weitgehend außerhalb des Einblicks der Webseitenbetreiber.
Immerhin zeichnet sich eine Entwicklung ab, die lange fehlte: Die Beteiligung an KI-gestützter Informationsvermittlung wird zunehmend als eigenständige Entscheidung behandelt.
Zwischen erlaubter Analyse und umstrittener Verwertung
Mit technischen Einstellungen allein ist der Konflikt freilich nicht erledigt. Er reicht bis in das Urheberrecht.
Innerhalb der Europäischen Union enthält die Richtlinie 2019/790 Bestimmungen zum Text und Data Mining. Darunter fällt die automatisierte Analyse digitaler Inhalte, bei der beispielsweise Muster oder Zusammenhänge erkannt werden sollen.
Solche Auswertungen können unter den gesetzlichen Voraussetzungen zulässig sein. Bei der allgemeinen Ausnahme nach Artikel 4 besteht für Rechteinhaber jedoch die Möglichkeit, sich bestimmte Nutzungen vorzubehalten. Nach Artikel 4 Absatz 3 muss der Rechteinhaber die Nutzung ausdrücklich und in angemessener Weise vorbehalten. Erwägungsgrund 18 sieht bei öffentlich zugänglichen Onlineinhalten hierfür grundsätzlich maschinenlesbare Mittel vor.
Hinzu kommen Verpflichtungen aus der europäischen KI-Verordnung. Artikel 53 sieht für Anbieter von KI-Modellen mit allgemeinem Verwendungszweck unter anderem vor, eine Strategie zur Einhaltung des europäischen Urheberrechts einzuführen und einschlägige Rechtevorbehalte zu berücksichtigen.
CjxkaXYgY2xhc3M9ImV4dGhvcmlhLWFtYXpvbi1hZCIgZGF0YS1leHRob3JpYS1hZC1zbG90PSIwMyIgZGF0YS1leHRob3JpYS1hZC1wcm92aWRlcj0iYW1hem9uIj48ZGl2IGNsYXNzPSJleHRob3JpYS1hbWF6b24tYWRfX21ldGEiPjxzcGFuIGNsYXNzPSJleHRob3JpYS1hbWF6b24tYWRfX2JhZGdlIj5XZXJidW5nPC9zcGFuPjxzcGFuIGNsYXNzPSJleHRob3JpYS1hbWF6b24tYWRfX3Byb3ZpZGVyIj5BbWF6b248L3NwYW4+PC9kaXY+PHN0cm9uZyBjbGFzcz0iZXh0aG9yaWEtYW1hem9uLWFkX190aXRsZSI+S0kgaW0gQWxsdGFnIOKAkyBTb2ZvcnQgbG9zbGVnZW4gZsO8ciBFaW5zdGVpZ2VyOiBFLU1haWxzIHNjaHJlaWJlbiwgUmVpc2VuIHBsYW5lbiwgQWxsdGFnIG9yZ2FuaXNpZXJlbiB1bmQgbWVociBJIEtvbmtyZXRlIEFud2VuZHVuZ2VuIGbDvHIgQ2hhdEdQVCAmYW1wOyDigKYgJmFtcDsgQ28g4oCTIEvDvG5zdGxpY2hlIEludGVsbGlnZW56PC9zdHJvbmc+PGEgY2xhc3M9ImV4dGhvcmlhLWFtYXpvbi1hZF9fY3RhIiBocmVmPSJodHRwczovL2xpbmsuYW1hem9uL0IwamRwUGpVWCIgdGFyZ2V0PSJfYmxhbmsiIHJlbD0ic3BvbnNvcmVkIG5vZm9sbG93IG5vb3BlbmVyIG5vcmVmZXJyZXIiIGRhdGEtZXh0aG9yaWEtbGluay1tYW5hZ2VyPSIxIiBkYXRhLWV4dGhvcmlhLWxpbmstdHlwZT0iZXh0ZXJuYWwiIGRhdGEtZXh0aG9yaWEtYWQtbGluaz0iYW1hem9uIj5CZWkgQW1hem9uIGFuc2VoZW4gPHNwYW4+KGJlemFobHRlciBMaW5rKTwvc3Bhbj48L2E+PHNtYWxsIGNsYXNzPSJleHRob3JpYS1hbWF6b24tYWRfX2Rpc2Nsb3N1cmUiPsOcYmVyIHVuc2VyZSBBbWF6b24tUGFydG5lcmxpbmtzIGVyaGFsdGVuIHdpciBiZWkgcXVhbGlmaXppZXJ0ZW4gVmVya8OkdWZlbiBlaW5lIFByb3Zpc2lvbi48L3NtYWxsPjwvZGl2Pgo=Damit existieren rechtliche Vorgaben, die über die freiwillige Beachtung technischer Crawler-Anweisungen hinausgehen.
Welche Folgen sie in einer konkreten Auseinandersetzung haben, hängt allerdings von zahlreichen Umständen ab. Die Frage, ob ein Programm technisch auf eine öffentlich erreichbare Webseite zugreifen kann, ist von der urheberrechtlichen Bewertung der anschließenden Nutzung zu unterscheiden.
Eine weitere Veränderung deutete sich am 30. Oktober 2026 an. Der an diesem Tag vorgestellte Vorschlag ist noch nicht umgesetzt. Google strebt seine Unterstützung ab 2027 zusammen mit weiteren Anbietern an.
Das dafür vorgesehene Signal wird in der AIPREF-Arbeitsgruppe der Internet Engineering Task Force entwickelt. Es soll Webseitenbetreibern ermöglichen, einen gemeinsamen Trainingsvorbehalt gegenüber mehreren teilnehmenden Anbietern zu erklären, statt ausschließlich unterschiedliche Regeln für jeden einzelnen Dienst zu pflegen.
Noch ist daraus keine allgemeingültige Schutzordnung entstanden. Die Ankündigung verdeutlicht jedoch, dass die bisherige Vielfalt herstellerspezifischer Vorgaben zunehmend als praktisches Problem erkannt wird.
Eine Spur ist noch kein Beweis
Wer wissen möchte, welche KI-Systeme die eigene Webseite besuchen, kann die Zugriffsprotokolle seines Servers auswerten.
Dort lassen sich, sofern die entsprechende Protokollierung eingerichtet ist, Zeitpunkte, angeforderte Adressen und weitere technische Merkmale der Anfragen nachvollziehen. Häufig enthält ein Eintrag auch den sogenannten User-Agent, mit dem sich das zugreifende Programm bezeichnet.
Solche Angaben sind nützlich, aber nicht unfehlbar. Ein User-Agent lässt sich vergleichsweise leicht fälschen. Für eine zuverlässigere Identifizierung können beispielsweise veröffentlichte IP-Adressbereiche oder die vom jeweiligen Anbieter beschriebenen DNS-Prüfverfahren herangezogen werden.
Selbst eine eindeutige Zuordnung beantwortet jedoch nur einen kleinen Teil der ursprünglichen Frage.
Angenommen, ein bestätigter KI-Crawler hat einen Artikel erfolgreich abgerufen. Daraus folgt nicht, dass der vollständige Inhalt dauerhaft gespeichert, für das Training genutzt oder später in einer Antwort verarbeitet wurde.
Ebenso wenig muss jede KI-Antwort einen neuen Besuch beim ursprünglichen Herausgeber auslösen. Sind relevante Informationen bereits in einem Suchindex vorhanden, kann ein System darauf zurückgreifen, ohne die Quelle im selben Augenblick erneut aufzurufen.
Die Protokolle zeigen, welche technischen Zugriffe stattgefunden haben. Was anschließend aus dem gewonnenen Material geworden ist, lässt sich daraus allein nicht zuverlässig ableiten.
Das ist eine wesentliche Grenze jeder Untersuchung, die ausschließlich auf den eigenen Serverdaten beruht.
Die Zukunft gehört nicht allein denen, die Antworten besitzen
Über lange Zeit war das offene Internet von einem stillschweigenden Austausch geprägt. Webseiten stellten ihre Veröffentlichungen bereit, Suchmaschinen machten sie auffindbar, Besucher gelangten zu den ursprünglichen Anbietern.
Dieses Verhältnis war weder vollkommen gerecht noch frei von wirtschaftlichen Abhängigkeiten. Dennoch blieb der Weg zur Quelle ein wesentlicher Bestandteil der Informationssuche.
Mit generativer KI verändert sich die Richtung der Aufmerksamkeit.
Ein Nutzer kann heute eine ausführliche Antwort erhalten, ohne ihre zahlreichen Ursprünge selbst erkunden zu müssen. Was zuvor auf unterschiedliche Webseiten verteilt war, erscheint in einer einzigen sprachlichen Darstellung. Für das Publikum liegt der Nutzen auf der Hand. Die Recherche wird leichter, der Zeitaufwand geringer.
Für unabhängige Informationsanbieter ist die Bilanz weniger eindeutig.
Ihre Texte können weiterhin gefunden, ausgewertet und als Grundlage neuer Antworten verwendet werden. Ob daraus auch jene Aufmerksamkeit entsteht, die eine aufwendige journalistische oder wissenschaftliche Arbeit finanziert, bleibt ungewiss.
Die entscheidende Auseinandersetzung wird deshalb nicht allein um den Zugang zu Webseiten geführt. Sie betrifft die Stellung der Quelle in einer Informationswelt, in der die Antwort zunehmend wichtiger erscheint als der Weg zu ihrer Entstehung.
Dazu gehören nachvollziehbare Nutzungsbedingungen, wirksame technische Entscheidungsmöglichkeiten und eine erkennbare Zuordnung fremder Erkenntnisse. Ebenso wichtig ist eine wirtschaftliche Perspektive für diejenigen, die Wissen nicht bloß weitergeben, sondern es durch Recherche, Erfahrung und fachliche Arbeit überhaupt erst hervorbringen.
Künstliche Intelligenz kann dieses Wissen in beeindruckender Geschwindigkeit erschließen und zugänglich machen. Sie nimmt den ursprünglichen Veröffentlichungen damit aber nicht ihre Bedeutung.
Im Gegenteil: Wo Antworten immer leichter verfügbar werden, wächst der Wert überprüfbarer Herkunft.
Am Ende entscheidet sich die Qualität einer Informationsgesellschaft nicht daran, wie mühelos sich eine Frage beantworten lässt. Maßgeblich ist, ob es auch künftig Menschen und Institutionen gibt, die mit derselben Sorgfalt nach den Tatsachen suchen, aus denen solche Antworten entstehen.
Weiterführende Informationen
Quellenhinweis: Einzelne Fakten, Einschätzungen und Prognosen dieses Beitrags stützen sich auf Veröffentlichungen der nachfolgend genannten Unternehmen und Institutionen. Die Links dienen zugleich der weiterführenden Information.
Microsoft Learn – Retrieval Augmented Generation (RAG) und Indizes
Die technische Dokumentation grenzt Modelltraining, Suchindizes und den aktuellen Abruf von Inhalten für KI-Antworten anschaulich voneinander ab.
https://learn.microsoft.com/de-de/azure/foundry/concepts/retrieval-augmented-generation?view=foundry-classic
The Decoder – Die nächste Studie zeigt, wie Googles „AI Overviews“ das WWW trockenlegen
Der Fachartikel erläutert die Pew-Untersuchung von 2025, ihre Stichprobe und die gemessenen Klickraten von acht beziehungsweise einem Prozent.
https://the-decoder.de/die-naechste-studie-zeigt-wie-googles-ai-overviews-das-www-trockenlegen/
Text+ – Warum das Training großer Sprachmodelle von den Text- und Data-Mining-Schranken gedeckt ist
Die wissenschaftliche Vertiefung erklärt den europäischen TDM-Rahmen, maschinenlesbare Rechtevorbehalte und die urheberrechtliche Strategiepflicht nach Artikel 53 der KI-Verordnung.
https://text-plus.org/themen-dokumentation/legal/llm-training/



