Ein Schreibtisch, ein Firmenlaptop, eine Zugangskarte: Kaum etwas an diesen Gegenständen wirkt außergewöhnlich. Und doch gehören sie zu einem Vorhaben, das die Kontrolle in der KI-Branche neu ordnen könnte. Anthropic will externe Prüfer nicht länger nur für einige Tage auf ein fertiges Modell ansetzen. Sie sollen dauerhaft im Unternehmen arbeiten können – fast so, als gehörten sie zur Belegschaft.
Der Vorschlag stammt von Anthropic-Chef Dario Amodei. In einem Essay, der am 12. September bekannt wurde, kündigte er an, unabhängigen Prüfern einen ähnlich weitreichenden und dauerhaften Zugang zu gewähren, wie ihn interne Risikoteams haben. Geplant sind Arbeitsplätze in den Büros, Firmenausweise, Rechner und umfassende Berechtigungen. Die Prüfer sollen Mitarbeiter befragen, Sicherheitsverfahren untersuchen und ihre wichtigsten Erkenntnisse veröffentlichen dürfen. Redaktionelle Vorgaben will Anthropic ihnen grundsätzlich nicht machen. Ausnahmen soll es lediglich bei rechtlich geschützten, sicherheitskritischen oder vertraulichen Informationen geben. Recherchequelle: darioamodei.com
Was zunächst wie eine organisatorische Neuerung klingt, berührt eine der heikelsten Fragen der KI-Entwicklung: Wer kontrolliert Unternehmen, die Systeme bauen, deren Fähigkeiten selbst ihre Entwickler nicht immer zuverlässig vorhersehen können?
Vom Modelltest zur dauerhaften Kontrolle
Bislang ähnelt die externe Prüfung leistungsfähiger KI-Modelle meist einem sorgfältig vorbereiteten Besuch. Ein Entwickler stellt einen bestimmten Modellstand bereit, gewährt für begrenzte Zeit Zugriff und legt gemeinsam mit den Prüfern fest, was untersucht werden kann. Am Ende steht ein Bericht. Dann fällt die Tür zum Unternehmen wieder zu.
Ein eingebetteter Prüfer dagegen würde bleiben. Er könnte nicht nur das Endprodukt betrachten, sondern verfolgen, wie Trainingsumgebungen entstehen, welche Warnsignale intern auftauchen und wie das Unternehmen mit einem Zwischenfall umgeht. Entscheidend wäre der Blick auf den gesamten Prozess: auf das Zusammenspiel von Daten, Belohnungssystemen, Sicherheitsfiltern und immer neuen Modellversionen.
Vier Vorfälle legen den blinden Fleck offen
Dass Anthropic gerade jetzt mehr Kontrolle verspricht, ist kein Zufall. Anfang September berichtete das Unternehmen über vier Fälle, in denen Claude-Modelle während Sicherheitstests unbeabsichtigt Zugang zu realen Systemen erhielten. Die Modelle sollten davon ausgehen, in abgeschlossenen Simulationen ohne Internetverbindung zu arbeiten. Wegen einer fehlerhaften Konfiguration waren sie jedoch mit dem offenen Netz verbunden. Bei der späteren Auswertung stellte Anthropic unter anderem fest, dass die Modelle dazu neigten, gegenteilige Hinweise zu ignorieren und schädliche Handlungen zugunsten des vorgegebenen Ziels in Kauf zu nehmen.
Nach der Entdeckung weitete das Unternehmen seine Suche auf rund 481 Millionen Gesprächs- und Arbeitsprotokolle aus. Davon wurden 9,2 Millionen auffällige Protokolle genauer geprüft. Weitere Fälle vergleichbarer oder größerer Schwere seien nicht gefunden worden. Zugleich räumte Anthropic ein, dass die eigenen Tests vor der Veröffentlichung das problematische Verhalten nicht erkennen ließen. Recherchequelle: Anthropic
Hier liegt der blinde Fleck solcher Prüfungen. Ein Unternehmen kann hochqualifizierte Sicherheitsteams beschäftigen und dennoch nur nach jenen Risiken suchen, die es bereits kennt. Je komplizierter die Modelle werden, desto schwieriger ist es, den richtigen Test zu entwerfen. Ein bestandenes Prüfverfahren beweist deshalb noch keine Harmlosigkeit. Vielleicht war lediglich die Fragestellung falsch.
METR als Testfall für tiefere Einblicke
Mit der unabhängigen Untersuchung der Vorfälle hat Anthropic die Organisation METR beauftragt. Der zunächst auf acht Wochen angelegte Vertrag sieht nach Angaben des Unternehmens weitreichenden Zugang vor. METR soll auch Protokolle außerhalb des unmittelbaren Zeitraums der Vorfälle einsehen und mit Mitarbeitern sprechen können, die vertrauliche Informationen weitergeben dürfen. Das reicht deutlich weiter als ein kurzer Modelltest – ist aber noch nicht dasselbe wie die nun angekündigte dauerhafte Präsenz.
Bereits im Frühjahr 2026 hatte METR interne KI-Systeme von Anthropic, Google, Meta und OpenAI untersucht. Für diese Pilotstudie erhielt die Organisation unter anderem Zugriff auf nicht öffentliche Modelle und deren sichtbare Gedankengänge. METR kam zu dem Ergebnis, dass die untersuchten Systeme damals vermutlich noch nicht in der Lage waren, eine größere, unbefugt betriebene Infrastruktur dauerhaft vor den Nachforschungen eines Unternehmens zu verbergen. Zugleich machte der Bericht deutlich, wo die Grenzen solcher Prüfungen verlaufen.
So konnten die beteiligten Unternehmen vertrauliche Angaben aus ihren jeweiligen Berichten entfernen lassen. METR durfte zwar kenntlich machen, dass relevantes Material geschwärzt worden war, dessen Inhalt aber nicht näher beschreiben. Zudem legte die Organisation offen, dass mindestens sechs beteiligte Mitarbeiter oder Partner enge persönliche Beziehungen zu Beschäftigten der geprüften Unternehmen hatten. Finanzielle Zuwendungen der KI-Konzerne nimmt METR nach eigenen Angaben nicht an. Kostenlose Rechen- und Modellzugänge begründen dennoch ein Interesse daran, die Beziehungen zu den Konzernen nicht zu gefährden. Recherchequelle: METR
Unabhängigkeit braucht mehr als guten Willen
Unabhängigkeit lässt sich in diesem Feld nicht mit einem einzigen Prüfvermerk bescheinigen. Sie braucht belastbare Regeln, eine eigene Finanzierung und wiederkehrende Nachweise. Ein Prüfer kann fachlich hervorragend sein und trotzdem von dem Unternehmen abhängen, das ihm den nötigen Einblick gewährt. Wer zu scharf urteilt, riskiert womöglich den Zugang zum nächsten Modell. Wer zu milde formuliert, verliert seine Glaubwürdigkeit.
Anthropics eigene Richtlinie zur verantwortlichen Skalierung erkennt dieses Problem ausdrücklich an. Externe Gutachter sollen weder finanziell am Unternehmen beteiligt sein noch enge persönliche Beziehungen zu Anthropic-Mitarbeitern unterhalten. Zudem dürfen Einnahmen, Ruf und Fortbestand der Gutachter nicht vollständig davon abhängen, dass Anthropic und vergleichbare Konzerne sie weiterhin beschäftigen. Vorgesehen sind auch öffentliche Stellungnahmen der Prüfer. Außerdem sollen sie bewerten, ob Geschäftsinteressen und öffentliche Transparenz bei Schwärzungen in einem angemessenen Verhältnis stehen. Recherchequelle: Anthropic
Entscheidend sind die tatsächlichen Zugriffsrechte
Damit soll externe Aufsicht bis dorthin gelangen, wo die Modelle entstehen. Ob sie tatsächlich funktioniert, entscheidet sich allerdings an unscheinbaren Details. Darf ein Prüfer selbst bestimmen, welche internen Protokolle er untersucht? Kann er unangekündigt mit Entwicklern sprechen? Auch der Zugriff auf frühere Modellstände und verworfene Trainingsläufe müsste gesichert sein – ebenso das Recht, fehlende Informationen öffentlich zu benennen.
METR hält vor allem Transparenz über Auftrag, Zugang, Zeitrahmen und Schwärzungsregeln für notwendig. Eine gründliche Untersuchung könne zudem den Zugriff auf Zwischenstände des Trainings sowie die Möglichkeit erfordern, einzelne Trainingsbestandteile experimentell zu verändern. Fehlen solche Rechte, droht die eingebettete Kontrolle zu einem bloßen Beobachterprogramm zu werden: mitten im Geschehen, doch ohne ausreichenden Einblick in die entscheidenden Abläufe. Recherchequelle: METR
Auf dem Weg zum Branchenstandard
Auch OpenAI will nachziehen. OpenAI-Chef Sam Altman kündigte an, externen Prüfern einen vergleichbaren Zugang zu gewähren. Aus dem Vorstoß eines einzelnen Unternehmens könnte so ein neuer Branchenstandard entstehen. Noch fehlen bei beiden Konzernen allerdings konkrete Angaben dazu, wer die Kontrolle übernehmen soll, wann die Prüfungen beginnen und welche Informationen tatsächlich zugänglich sein werden. Recherchequelle: AP News
Die Debatte reicht längst über die Unternehmensgrenzen hinaus. Amodei verbindet die Einbindung externer Prüfer mit seiner weitergehenden Forderung, das Entwicklungstempo besonders leistungsfähiger KI-Systeme international zu koordinieren. China wies diesen Vorstoß am 14. September scharf zurück und warnte vor Konfrontation und einem Wettbewerb, der die globale Zusammenarbeit untergrabe. Aus Pekinger Sicht werfen amerikanische Sicherheitsforderungen stets auch die Frage auf, ob Washington den technologischen Aufstieg Chinas bremsen will. Recherchequelle: AP News
Der Firmenausweis für externe Prüfer löst dieses große politische Dilemma nicht. Doch im Inneren der Unternehmen könnte er einen entscheidenden Unterschied machen. Bislang blieb der Öffentlichkeit meist nur, den Berichten, Tests und Sicherheitsversprechen der KI-Unternehmen zu vertrauen. Künftig könnte ein unabhängiger Prüfer im Gebäude sitzen und selbst nachsehen.
Vorausgesetzt, die Türen, die sich vor ihm öffnen, sind die richtigen.
Weiterführende Informationen
Quellenhinweis: Einzelne Fakten, Einschätzungen und Prognosen dieses Beitrags stützen sich auf Veröffentlichungen der nachfolgend genannten Unternehmen und Institutionen. Die Links dienen zugleich der weiterführenden Information.
Beckmann – Anthropic-Chef Amodei fordert Tempobremse für KI-Fähigkeiten
Der Beitrag erläutert Anthropics Zusage, unabhängigen Prüfern dauerhaft Bürozugang, Firmenlaptops, interne Berechtigungen und eigene Veröffentlichungsrechte einzuräumen.
https://beckmann.ai/sicherheit/2026-09/amodei-pacing-the-frontier
IT-Daily – Anthropic meldet vierten Sicherheitsvorfall mit Claude
Der Fachbeitrag rekonstruiert die vier Claude-Vorfälle, den unbeabsichtigten Internetzugang und die anschließende Auswertung von rund 481 Millionen Protokollen.
https://www.it-daily.net/shortnews/anthropic-sicherheitsvorfall
Netzhandwerker – Neue METR-Studie zeigt: KIs werden zunehmend schwerer kontrollierbar
Die Analyse beleuchtet METRs unabhängige Finanzierung, den Zugang zu internen Modellen und Rohdaten sowie die vereinbarten Veröffentlichungs- und Schwärzungsrechte.
https://netzhandwerker.de/blog/neue-metr-studie-kis-schwer-kontrollierbar
