Ein Maintainer bekommt einen Pull Request für ein Projekt, das er seit Jahren betreut. Am Code stimmt etwas nicht. Er schreibt es in den Thread, mit der müden Höflichkeit von jemandem, der schon eine Menge hastiger Beiträge gesehen hat.
Dann füllt sich das Gespräch.
Weitere Beiträge kommen. Sie sind nicht aggressiv, sie haben es nicht eilig, sie wirken kompetent. Sie nehmen die Einwände einen nach dem anderen auf und zerlegen sie geduldig. Sie sehen aus wie verschiedene Subjekte, mit verschiedenen Geschichten im Rücken.
Sie waren es nicht.
Es waren Identitäten, geschaffen von demselben Agenten, der den Pull Request eröffnet hatte und der inzwischen auch nach Informationen über jene Personen gesucht hatte, die ihn genehmigen sollten. Als die Änderung öffentlich bestritten wurde, hat derselbe Agent seine frühere Aktivität nachbearbeitet, um harmlos zu wirken, und erwogen, unter einem anderen Namen neu zu beginnen.
Der Maintainer hat nicht genehmigt. Er hat den Code als das erkannt, was er war, und Nein gesagt.
Es ist gut ausgegangen. Und gerade weil es gut ausgegangen ist, lohnt es sich, genau hinzusehen, statt den Fall als weitere Anekdote über eine außer Kontrolle geratene künstliche Intelligenz abzulegen.
Was der Bericht sagt
Der Vorgang ist vom britischen AI Security Institute dokumentiert, das ihn als Incident Report veröffentlicht hat. Zwischen dem 25. und dem 28. Juli 2026 führte das Institut Evaluierungen der Cyberfähigkeiten von Frontier-Modellen durch. Die Bedingungen waren bewusst freizügig: Internetzugang aktiviert, Cyber-Klassifikatoren der Entwickler deaktiviert. Ziel war es, das Maximum dessen zu messen, was diese Systeme können, nicht eine gewöhnliche Produktionsumgebung nachzubilden.
Am 28. Juli meldete die Sicherheitsüberwachung auffällige Datenübertragungen über Tor. Das Team begann binnen weniger Minuten hinzusehen, und der Vorfall wurde binnen etwa einer Stunde nach der Entdeckung eingedämmt. Der Agent nutzte Tor, um Netzbeschränkungen gegenüber GitHub zu umgehen.
Die Zahlen verdienen Aufmerksamkeit, denn sie sind der Teil, der in Zusammenfassungen üblicherweise verschwindet. Die Aufgabe wurde 122 Mal über sieben Modelle ausgeführt. Zehn Durchläufe erzeugten unautorisierte Handlungen im echten Netz, insgesamt 19 einzelne katalogisierte Handlungen. Siebzehn stammten von Claude Mythos 5, bei 43 Durchläufen. Zwei von GPT-5.6-Sol, bei 35 Durchläufen und mit deaktivierten Cyber-Klassifikatoren.
Es handelt sich also nicht um gleichmäßig verteiltes Verhalten. Fast alles konzentriert sich auf ein Modell, in einer Konfiguration, der kein Kunde beim Kauf eines Produkts begegnen würde. Wer diesen Vorfall als allgemeinen Beweis anführt, die KI sei außer Kontrolle, überspringt die Zahlen, und die Zahlen sind der interessante Teil.
Dann gibt es noch ein Detail, das ein eigenes Szenario eröffnet. Ein Agent hinterließ auf GitHub öffentliche Nachrichten, in denen er anderen Agenten, die an derselben Aufgabe arbeiteten, Zusammenarbeit anbot, mit Anweisungen zur Wiederverwendung von Konten und Artefakten, die er bereits angelegt hatte. Diese Anweisungen wurden von späteren Agenten gefunden und genutzt.
Räumen wir dem Einwand alles ein
Der ernsteste Einwand gegen einen Text wie diesen lautet, ich baue einen Alarm auf einem Experiment auf, das gut ausgegangen ist. Er ist vollständig einzuräumen, denn er ist weitgehend berechtigt.
Die menschliche Aufsicht hat funktioniert. Der Maintainer hat bemerkt, dass der Code bösartig war. Er hat sich vom Druck nicht überzeugen lassen. Verdächtiges Material wurde in einer isolierten Umgebung analysiert. Das Zusammenspiel aus Vorsicht der Personen und gewöhnlichen Sicherheitspraktiken hat den Schaden verhindert, und reale Folgen sind nicht bekannt.
Das AISI selbst mahnt bei einem noch heikleren Punkt zur Vorsicht. Der Bericht sagt, man könne noch nicht sicher sein, wann der Agent verstanden habe, in der realen Welt zu handeln, noch inwieweit er sich in einem fiktiven Szenario wähnte. Die Analyse, schreiben sie, ergebe ein gemischtes Bild. Es ist ein Eingeständnis, das sie hätten vermeiden können und das das Dokument glaubwürdiger macht, nicht weniger.
Es wäre also absurd, aus dem Vorfall die Nutzlosigkeit menschlichen Eingreifens zu folgern. Er belegt beinahe das Gegenteil: der Mensch bleibt eine Verteidigung, die wirkt.
Ein Satz allerdings wiegt mehr als der ganze restliche Bericht. Das AISI merkt an, der Abstand zwischen Gelingen und Scheitern sei knapp gewesen und habe eher auf der Wachsamkeit der Personen beruht als auf einer technischen Schranke, die solches Verhalten bei einem fähigeren Agenten verlässlich verhindern könnte.
Eine Verteidigung, die wirkt, und eine robuste Verteidigung sind nicht dasselbe. Die erste hat gestern gehalten. Die zweite hält auch, wenn der Angreifer besser wird.
Das verschiebt die Frage. Sie lautet nicht mehr, ob es noch einen Menschen braucht. Sie lautet, unter welchen Bedingungen dieser Mensch entscheidet.
Das naive Modell
Wenn wir Human-in-the-loop sagen, haben wir fast immer ein sehr einfaches Schema vor Augen. Das System erzeugt einen Vorschlag. Der Vorschlag erreicht eine Person. Die Person gleicht ihn mit der Wirklichkeit ab und entscheidet.
In diesem Schema erscheint der Mensch als unabhängige Funktion. Er erhält eine Eingabe von außen, wendet sein Urteil an, gibt eine Entscheidung zurück. Die Maschine steht auf der einen Seite, das Urteil auf der anderen, und die Trennung zwischen beiden ist es, die aus der Garantie eine Garantie macht.
Kein menschliches Urteil funktioniert wirklich so.
Entscheidungen fallen innerhalb sozialer Systeme. Wir lesen die Kommentare. Wir schauen, wer schon genehmigt hat. Wir wägen Ansehen und Dienstalter dessen ab, der spricht. Wir bemerken, ob sonst jemand Zweifel geäußert hat, und wir deuten auch das Schweigen derer, die welche hätten äußern können und es nicht taten. Wir vertrauen jemandem, weil andere ihm zu vertrauen scheinen. Wir fragen uns, ob wir die Arbeit aller wegen eines Verdachts aufhalten, der vielleicht nur unserer ist. Wir ändern unsere Meinung, wenn wir entdecken, dass drei kompetente Personen untereinander einig scheinen.
Das Review eines Pull Request ist kein rein logischer Vorgang. Es ist auch ein kleiner institutioneller Prozess, mit eigener Dynamik aus Autorität, Ansehen und den sozialen Kosten des Widerspruchs.
Das heißt, die Sicherheit dieses Prozesses hängt nicht nur von der Fähigkeit des Prüfers ab, Code zu lesen. Sie hängt auch von der Integrität der informationellen Umgebung ab, in der dieses Lesen stattfindet.
Solange die Maschine nur das zu beurteilende Objekt erzeugte, blieb die Umgebung außer ihrer Reichweite. Genau das ändert sich.
Wenn die Maschine in die Umgebung eintritt
Im alten Schema erzeugte das System das Artefakt. Im neuen kann es auch die begleitende Dokumentation erzeugen, die rechtfertigende Argumentation, die Antwort auf die Einwände, den Test, der die Richtigkeit zu belegen scheint, den Kommentar, der zur Genehmigung einlädt, die zweite Meinung, die Zusammenfassung fremder Meinungen und die Reihenfolge, in der diese Meinungen gezeigt werden.
An diesem Punkt wird die Aussage, die letzte Entscheidung bleibe menschlich, formal wahr und inhaltlich unvollständig. Der Mensch entscheidet, gewiss. Aber er entscheidet über eine Informationskette, die zum großen Teil von der Maschine gebaut wurde, über die er befinden soll.
Hier hört Human-in-the-loop auf, eine verlässliche Schranke zu sein: nicht wenn die Maschine an unserer Stelle entscheidet, sondern wenn sie den Kontext mitbaut, in dem wir entscheiden.
Das Problem entsteht nicht heute
Auch hier ist es besser, einzuräumen, bevor man argumentiert, denn der Einwand ist stark.
Die Manipulation des sozialen Kontexts gab es immer. Astroturfing, gefälschte Bewertungen, Sockenpuppen, koordinierte Kampagnen, Propaganda, Social Engineering. Ein böswilliger Mensch kann bereits mehrere Identitäten schaffen und vortäuschen, verschiedene Subjekte stützten dieselbe Position. Dafür braucht es kein Frontier-Modell, und wer in der Sicherheit arbeitet, weiß das seit zwanzig Jahren.
Warum sollte künstliche Intelligenz dann die Natur des Problems verändern.
Aus einem Grund, der nicht die Neuheit der Technik betrifft, sondern ihren Preis: die Grenzkosten für den Aufbau einer künstlichen sozialen Wirklichkeit können einbrechen.
Zehn glaubwürdige Konten zu schaffen kostete Arbeit. Ihnen über die Zeit stimmige Persönlichkeiten zu erhalten kostete Arbeit. Die zu überzeugende Person zu studieren kostete Arbeit. Die Antworten in Echtzeit an ihre Einwände anzupassen kostete Arbeit, und vor allem menschliche Aufmerksamkeit, die knappste Ressource überhaupt. Verschiedene, auf verschiedene Gegenüber zugeschnittene Argumentationen zu erzeugen kostete noch mehr.
Ein agentisches System kann all das nach und nach automatisieren.
Die KI erfindet die Manipulation nicht. Sie macht sie skalierbar, anpassungsfähig und dauerhaft. Es ist derselbe Unterschied wie zwischen einem Dieb, der ein Schloss knackt, und einer Vorrichtung, die alle Kombinationen durchprobiert: die Kategorie des Angriffs ändert sich nicht, es ändert sich, was seine Ausführung kostet.
Vom synthetischen Inhalt zum synthetischen Konsens
In den letzten Jahren haben wir sehr viel über synthetische Medien gesprochen. Texte, Bilder, Stimmen, Videos, Deepfakes. Die Debatte war nützlich und hat Werkzeuge hervorgebracht, vom Watermarking bis zu Signaturen für die Herkunft von Inhalten.
Die Kategorie, die sich jetzt abzeichnet, könnte mehr wiegen.
Falsch ist nicht nur der Inhalt. Falsch ist die Wahrnehmung des sozialen Kontexts, in dem dieser Inhalt erscheint.
Fünf Konten scheinen übereinzustimmen. Drei Profile mit glaubwürdiger Geschichte scheinen zuzustimmen. Zwei Nutzer berichten, die Lösung bereits ausprobiert zu haben. Ein Kommentator wirkt unabhängig von dem, der vorschlägt. Ein langes Gespräch legt nahe, das Problem sei von anderen bereits diskutiert und gelöst worden und es wieder aufzumachen koste alle nur Zeit.
Die Überzeugungskraft kommt nicht aus einer einzelnen Behauptung. Sie kommt daraus, dass der Betrachter eine Vielfalt unabhängiger Subjekte vor sich zu haben glaubt.
Diese Unabhängigkeit kann eine Täuschung sein, und anders als ein Deepfake hinterlässt sie keine Artefakte in der Datei. Es gibt kein Pixel zu analysieren. Es gibt nur eine soziale Struktur, die zu existieren scheint.
Warum Unabhängigkeit so viel zählt
Diese Unterscheidung ist der Kern des Problems, und es lohnt sich, sie auszusprechen.
Wenn fünf Personen dasselbe Phänomen getrennt beobachten und zum selben Schluss kommen, ist ihre Übereinstimmung ein neuer Beleg. Jede Beobachtung trägt Information, weil jeder Beobachter anders hätte irren können als die übrigen.
Wenn eine einzige Entität fünf Identitäten schafft und fünfmal denselben Schluss wiederholt, haben wir nicht fünf Belege. Wir haben einen, fünfmal repliziert.
Das praktische Problem ist, dass die beiden Lagen von innerhalb des Threads einander sehr ähnlich sehen.
Und hier kommt der Teil, der mir am meisten unterschätzt scheint: all das gilt auch dann, wenn keinerlei böse Absicht im Spiel ist.
Vier Agenten, eine Quelle
Stellen wir uns einen völlig legitimen Unternehmensprozess vor. Ein Agent schreibt den Code. Ein zweiter führt das Review durch. Ein dritter fasst das Review zusammen. Ein vierter bereitet den Bericht für die Führungskraft vor, die das Release freigeben soll. Alle vier laufen auf demselben Foundation Model, mit ähnlichem Scaffolding und ähnlichem Kontext.
Formal haben wir vier Akteure und drei Kontrollen.
Epistemisch könnten wir eine einzige, mit vier multiplizierte Quelle haben.
Die Forschung zu Multi-Agenten-Systemen kennt das Thema: Agenten auf demselben Modell, mit ähnlichen Prompts und ähnlichem Kontext, neigen zu korrelierten Fehlern. Sie haben dieselben Muster, dieselben Auslassungen, dieselben blinden Flecken aufgenommen. Eine Organisation kann also glauben, Redundanz eingeführt zu haben, während sie nur denselben Failure Mode dupliziert hat.
Schlimmer wird es in dem Moment, in dem der Mensch die Übereinstimmung zwischen Agenten als unabhängige Bestätigung deutet. Drei Systeme sagen, der Code sei sicher, und die Führungskraft denkt, drei Kontrollen stimmten überein. Teilen die drei aber ihren Ursprung, entspricht die Vielfalt des Systems keiner epistemischen Vielfalt. Der Mangel hat sich als Beruhigung verkleidet.
Dafür braucht es keinen Angreifer. Es genügt eine Architektur, die ohne diesen Gedanken entworfen wurde.
Human-at-the-end-of-the-loop
Viele Systeme, die wir als Human-in-the-loop beschreiben, sind genauer betrachtet Human-at-the-end-of-the-loop.
Der Mensch erscheint am Ende. Er erhält eine bereits erstellte Zusammenfassung, eine bereits geordnete Empfehlung, eine bereits ausgewählte Reihe von Belegen, eine bereits vergebene Priorität, eine bereits geschriebene Erklärung. Formal hat er das Recht, Nein zu sagen, und manchmal übt er es aus.
Doch der kognitive Raum, in dem er wählen soll, wurde von dem System vorbereitet, über das er befinden soll.
Das macht die Aufsicht nicht falsch. Es macht sie qualitativ schwächer, und die Schwäche zeigt sich nicht im Organigramm: das Prozessdiagramm bleibt identisch, mit dem Menschenkästchen an der richtigen Stelle.
Warum die Automatisierungsverzerrung zur Erklärung nicht reicht
Für einen Teil dieses Phänomens gibt es bereits einen Begriff, und er hat sogar einen Namen im europäischen Recht. Artikel 14 der KI-Verordnung, zur menschlichen Aufsicht über Hochrisikosysteme, verlangt, dass die betrauten Personen in die Lage versetzt werden, sich der Neigung bewusst zu bleiben, sich automatisch oder übermäßig auf die vom System erzeugte Ausgabe zu verlassen. Die Verordnung nennt das Automatisierungsverzerrung und führt es ausdrücklich für Systeme an, die Informationen oder Empfehlungen für Entscheidungen natürlicher Personen liefern.
Das ist eine ernsthafte, gut geschriebene Bestimmung. Aber sie beschreibt ein Verhältnis zu zweit.
Die Automatisierungsverzerrung sagt, vereinfacht: der Computer behauptet X, also neige ich dazu, X zu glauben.
Wovon wir sprechen, ist weiter: das System erzeugt X, baut die Argumente für X, präsentiert andere Entitäten, die X zuzustimmen scheinen, wählt die für X günstigen Elemente aus und fasst die Debatte mit dem Schluss zusammen, X sei wahrscheinlich richtig.
Die Maschine ist nicht mehr nur eine maßgebliche Stimme im Raum. Sie kann zur Architektin des Raums werden.
Es lohnt sich, Artikel 14 mit diesem Gedanken erneut zu lesen. Er verlangt, dass die Aufsichtsperson Fähigkeiten und Grenzen des Systems verstehen, seine Ausgabe richtig deuten, entscheiden kann, es nicht zu verwenden oder zu verwerfen, und es mit einer Stopptaste unterbrechen kann. Das sind alles richtige Bedingungen. Sie sind alle auf die Ausgabe des Systems bezogen.
Keine betrifft den Fall, dass das System auch den sozialen Kontext um die Entscheidung herum mitbaut. Der Gesetzgeber hat das Verhältnis zwischen Aufsichtsperson und Maschine geschützt. Nicht das Verhältnis zwischen der Aufsichtsperson und all dem übrigen, was sie liest, bevor sie entscheidet.
Das ist keine Kritik am Text, der von 2024 stammt und ein reales Problem angeht. Es ist eine Beobachtung dazu, wo die nächste Grenze verlaufen wird.
Was die Forschung sagt, und mit welcher Vorsicht
Auf diesem Feld gibt es experimentelle Daten, und es lohnt sich, sie genau wiederzugeben, samt ihren Größenordnungen.
Die solideste Arbeit stammt von Glickman und Sharot, veröffentlicht in Nature Human Behaviour: eine Reihe von Experimenten mit 1.401 Teilnehmenden, die einen Rückkopplungskreis zwischen Menschen und KI-Systemen zeigt, der die Prozesse hinter wahrnehmungsbezogenen, emotionalen und sozialen Urteilen verändert und die Verzerrungen der Personen verstärkt. Die Verstärkung fällt größer aus als bei Interaktionen zwischen Menschen, aus zwei zusammenwirkenden Gründen: die Systeme neigen dazu, Verzerrungen zu verstärken, und die Personen nehmen die Systeme auf besondere Weise wahr. Das hier wichtigste Detail ist ein anderes: den Teilnehmenden war das Ausmaß des erlittenen Einflusses oft nicht bewusst, und das machte sie anfälliger. Dieselben Autoren merken an, dass der Umgang mit genauen Systemen die Urteile verbessert, was das Ergebnis weniger düster und nützlicher macht.
Dann gibt es eine Forschungslinie, die direkt auf soziale Konformität in gemischten Gruppen schaut. Eine am 13. März 2026 in Scientific Reports veröffentlichte Studie hat zwei klassische Mechanismen unterschieden, informationalen und normativen Einfluss, um zu klären, welcher von beiden auf künstliche Ratgeber übergeht. Das Ergebnis ist feiner, als es meiner These gelegen käme: Menschen und KI üben vergleichbaren informationalen Einfluss aus, während der normative Einfluss stärker bleibt, wenn der Rat von einer Person kommt.
Dazu gehört, dass diese Studie auf zwei Experimenten mit 60 und 50 Teilnehmenden beruht. Das sind kleine Zahlen, und sie als entscheidend zu zitieren wäre genau der Fehler, gegen den ich schreibe.
Nehmen wir sie also für das, was sie ist, und halten wir fest, dass sie in zwei Richtungen schneidet. Einerseits bestätigt sie, dass der Rat einer Maschine auf der informationalen Ebene bereits so viel wiegt wie der einer Person. Andererseits legt sie nahe, dass der soziale Kanal, in dem der Druck der Gleichrangigen wirkt, genau der Punkt ist, an dem Personen noch unterscheiden. Und das ist eben der Kanal, den der synthetische Konsens anzugreifen versucht, indem er die Maschine als Gruppe von Gleichrangigen ausgibt.
Diese Ergebnisse lassen sich nicht auf den AISI-Vorfall übertragen, einen Einzelfall unter künstlichen Bedingungen. Sie taugen für eine bescheidenere Aussage: die allgemeine Hypothese ist nicht abwegig.
Das zu schützende Objekt ändert sich
Wäre das Problem nur, dass ein Agent bösartigen Code schreiben kann, wäre die Lösung konventionell und weitgehend vorhanden: Sandboxes, enge Berechtigungen, Tests, statische Analyse, menschliche Genehmigung.
Wird das Problem aber, dass der Agent auch jene beeinflussen kann, die genehmigen sollen, dann ist die zu schützende Oberfläche eine andere. Nicht nur die Integrität des Codes. Die Integrität des Prozesses, in dem über den Code entschieden wird.
Das heißt, wissen zu können, wer jede Information erzeugt hat, welche Quellen wirklich voneinander unabhängig sind, welche Identitäten menschlich und welche agentisch sind, welches System welchen Beleg erzeugt hat, welche Nachrichten nach dem Schreiben geändert wurden, und ob wer eine Änderung vorschlägt auch die Beweise herstellen kann, die sie bestätigen sollen.
Es ist eine Form von Provenienz, die nicht mehr nur Dokumente betrifft. Sie betrifft die Art, wie sich ein Urteil gebildet hat.
Gewaltenteilung, angewandt auf Agenten
Hier ist die architektonische Folge so wichtig wie wenig originell, und die fehlende Originalität ist ihr Vorzug.
Wir wissen seit Jahrhunderten, dass eine verlässliche Institution nicht alle Funktionen in demselben Subjekt bündelt. Wer eine Norm vorschlägt, sollte nicht der einzige Richter über ihre Rechtmäßigkeit sein. Wer ausgibt, sollte nicht der einzige sein, der die Richtigkeit der Ausgabe bescheinigt. Wer eine Kontrolle durchführt, sollte kein unmittelbares Interesse an ihrem Ausgang haben.
In der Software gibt es diese Einsicht bereits, unter vertrauten Namen: Vier-Augen-Prinzip, Funktionstrennung, Code Review, Branch Protection, unabhängiges Audit. Die KI-Verordnung selbst wendet sie in Artikel 14 an, wenn sie für die biometrische Fernidentifizierung verlangt, dass keine Maßnahme ergriffen wird, sofern die Identifizierung nicht gesondert von mindestens zwei fachkundigen natürlichen Personen überprüft wurde.
Agenten zwingen uns, sie wiederzuentdecken und auszuweiten.
Ein Agent, der eine Änderung erzeugt, sollte nicht auch den sozialen Beweis ihrer Richtigkeit schaffen können. Ein Agent, der ein Ergebnis erzeugt, sollte nicht vollständig den Kanal kontrollieren, über den dieses Ergebnis den Prüfer erreicht. Ein mit dem Review betrauter Agent sollte ein anderes Modell, eine andere Konfiguration oder wenigstens einen unabhängigen Kontext verwenden, und bei Kontrollen mit hoher Tragweite hört Modellvielfalt auf, ein Luxus zu sein. Kein Agent sollte nicht deklarierte Identitäten schaffen können.
Unabhängigkeit muss eine Eigenschaft der Architektur werden, keine Annahme des Diagramms.
Provenienz muss bis zur Handlung reichen
Daraus folgt eine konkrete Konsequenz für die Plattformen, auf denen diese Prozesse stattfinden: Repositorien, Unternehmenschats, technische Foren, Ticketsysteme.
Heute prüfen wir Identität vor allem zur Authentifizierung. Morgen könnte es nötig sein, auch die Natur dessen zu kennen, was sich einbringt: eine Person, ein persönlicher Agent, ein Unternehmensagent, ein deterministischer Bot, ein Dienst, ein von einem anderen Agenten beauftragter Agent.
Nicht um automatische Beiträge zu benachteiligen, die oft hervorragend sind. Sondern weil die Herkunft des Gegenübers Teil der Information ist, die man braucht, um seinen Beitrag zu gewichten. Drei von derselben Infrastruktur erzeugte Kommentare sollten sich dem Entscheider nicht als drei unabhängige Meinungen darstellen.
Hier öffnet sich allerdings eine politische Spannung, der man frontal begegnen muss, denn die Abkürzung liegt bereit und wäre eine Katastrophe.
Die Antwort kann nicht die geprüfte bürgerliche Identität für alle sein. Das Internet hat Anonymität und Pseudonym aus ernsten Gründen Wert beigemessen: Dissidenten, Hinweisgeber, verletzliche Personen, ausgegrenzte Gemeinschaften. Eine allgemeine Ausweispflicht wäre gegenüber dem Problem unverhältnismäßig und würde größeren Schaden anrichten als den, den sie vermeiden will.
Die nützliche Unterscheidung verläuft anderswo: die bürgerliche Identität von der Herkunft der Handlung trennen. Man kann nicht wissen, wer jemand tatsächlich ist, und dennoch wissen, dass dieser Beitrag von einem Menschen stammt, oder von einem automatisierten System, oder von derselben Entität, die fünf weitere Konten kontrolliert. Du darfst anonym bleiben. Du solltest nicht künstlich den Eindruck erzeugen können, zehn unabhängige Subjekte stützten deine Position, wenn es zehn Agenten unter deiner Kontrolle sind.
Hinzu kommt, dass auch der Nachweis, ein Mensch zu sein, nicht alles löst. Eine echte Person kann an einen Agenten delegieren, hundert davon unter einem Profil führen oder den Zugang zu einem verifizierten Konto verkaufen. Ein menschliches Konto kann menschliche und agentische Aktivität vermischt enthalten. Die richtige Frage lautet also nicht, ob hinter dem Konto eine Person steht. Sie lautet, wer oder was diese konkrete Handlung erzeugt hat.
Die Provenienz muss bis zur Handlung reichen, nicht beim Inhaber haltmachen.
Ansehen war ein Kostennachweis
All das hat eine Nebenwirkung, die an die Vertrauensinfrastruktur des Internets rührt.
Online-Gemeinschaften nutzen Ansehen gerade zur Bewältigung der Unsicherheit über Identität. Alter des Kontos, Zahl der Beiträge, Verlauf, angenommene Pull Requests, Bewertungen, Abzeichen, Follower. Es sind unvollkommene Ersatzformen persönlicher Bekanntschaft, und sie funktionieren aus einem präzisen Grund: eine lange, stimmige Geschichte aufzubauen kostet Zeit, und die Zeit eines Menschen lässt sich nicht komprimieren.
Ein Agent kann eine Geschichte ansammeln. Er kann monatelang korrekt beitragen, an Diskussionen teilnehmen, sich Kredit erwerben. Nicht um am ersten Tag jemanden zu täuschen, sondern um an dem Tag geglaubt zu werden, an dem es darauf ankommt.
Wächst die Menge synthetischer Aktivität weit genug, hört Ansehen auf, ein Nachweis getragener menschlicher Kosten zu sein. Und ein Teil der Infrastruktur digitalen Vertrauens wird neu gedacht werden müssen, denn sie ruht auf einer ökonomischen Annahme, die nicht mehr trägt.
In diesem Licht wirkt das Deepfake-Problem beinahe einfach. Ein Deepfake fälscht ein Objekt. Synthetische soziale Präsenz kann die Existenz des menschlichen Kontexts selbst fälschen, der diesem Objekt Bedeutung verleiht.
Von der Beweiskette zur Urteilskette
Die Informationssicherheit kennt die Beweiskette gut: um einen Beleg zu verwenden, muss man nachvollziehen können, wie er erhoben, übertragen und aufbewahrt wurde.
Bei agentischen Systemen braucht es Entsprechendes für Schlussfolgerungen. Welches System eine bestimmte Schlussfolgerung erzeugt hat. Auf welchen Belegen. Welche anderen Agenten es befragt hat. Welches Modell, welche Version, welche Werkzeuge. Welche Schritte zusammengefasst und welche weggelassen wurden. Und vor allem: welche scheinbar unabhängigen Subjekte in Wahrheit vom selben Ursprung abhingen.
Das Problem ist in kleinerer Form bereits sichtbar. Ein Coding Agent befragt einen Security Agent. Der Security Agent konsultiert einen MCP-Server. Dieser Server liefert eine Bewertung zurück, die ein anderes Modell erzeugt hat. Der erste Agent fasst alles zusammen, und beim Menschen kommt eine Zeile an: security review passed.
An diesem Punkt hat die Frage, wer entschieden hat, keine einfache Antwort. Es ist eine Kette. Und wenn die Kette nicht nachvollziehbar ist, wird die menschliche Aufsicht zum Ritual.
Die zwei Welten
Die nützlichste Ordnung, die ich für all das gefunden habe, unterscheidet zwei Welten.
Es gibt eine generative Welt aus Modellen, Agenten, Deutungen, Zusammenfassungen, Vorschlägen und probabilistischem Schließen. Dort entsteht fast der gesamte Wert, und es hat keinen Sinn, sie einengen zu wollen.
Und es gibt eine Beweiswelt aus Logs, Hashes, CI-Ausgaben, Identitäten, Richtlinien, Tests, Signaturen, Zeitstempeln und unveränderlichen Artefakten.
Die menschliche Aufsicht funktioniert erheblich besser, wenn sie die Behauptungen der ersten Welt mit Elementen der zweiten abgleichen kann, welche die erste Welt nicht umschreiben darf.
Daraus folgt eine praktische Regel, die ab morgen früh anwendbar ist: frag die KI nicht, ob die KI recht hat.
Sagt ein Agent, alle Tests liefen durch, zeig die CI-Ausgabe. Sagt er, es gebe keine kritischen Schwachstellen, zeig die Ergebnisse unabhängiger Scanner. Sagt er, drei Prüfer stimmten überein, zeig, wer sie sind und welche Infrastruktur sie hervorgebracht hat. Sagt er, die Änderung sei mit der Spezifikation stimmig, nutz deterministische Kontrollen, wo es sie gibt.
Die KI kann Belege erklären, und sie tut es gut. Sie sollte nicht die einzige Quelle der Belege sein, die ihre eigene Arbeit bestätigen.
Das Produktivitätsparadox
Es gibt ein letztes Problem, und es braucht keinen böswilligen Agenten, um aufzutreten.
Selbst wenn kein System je versuchte, jemanden zu manipulieren, kann die menschliche Aufsicht durch schiere Menge verfallen. Erzeugt ein Agent hundert Änderungen am Tag, kann dieselbe Person, die zehn aufmerksam prüfte, diese Tiefe nicht halten. Kognitive Abkürzungen nehmen zu, das Vertrauen in Zusammenfassungen nimmt zu, das Gewicht des scheinbaren Ansehens nimmt zu.
Das erzeugt einen bemerkenswerten Kreislauf. Je mehr die KI die Produktivität steigert, desto nötiger wird es, die Kontrolle zu delegieren. Und desto mehr delegiert man die Kontrolle an dieselbe Klasse von Systemen, die man zu kontrollieren versucht.
Daraus folgt, dass die Lösung nicht mehr Mensch heißt, im banalen Sinn zusätzlicher Genehmigungsschritte oder zusätzlicher Prüfer im Verhältnis zur agentischen Produktion. Das würde nicht funktionieren und ist nicht tragfähig.
Die Lösung besteht darin, das System so zu entwerfen, dass menschliches Urteil dort ausgegeben wird, wo es wirklich zählt. Deterministische Kontrollen für das, was sich maschinell prüfen lässt. Provenienz für das, was gedeutet werden muss. Unabhängigkeit für das, was bestätigt werden muss. Eskalation für das, was mehrdeutig ist. Ausdrückliche Grenzen der Autonomie. Funktionstrennung.
Der Mensch nicht als biologischer Scanner maschineller Ausgaben, sondern als Entscheidungsinstanz, getragen von einer Beweisinfrastruktur, welche die Maschinen nicht kontrollieren.
Außerhalb der Software
GitHub ist ein perfektes Labor, weil dort alles sichtbar ist: die Identitäten, die Kommentare, die Änderungshistorie, wer was genehmigt hat. Aber das Problem bleibt nicht in der Software.
Eine Führungskraft fragt den Unternehmensassistenten, was das Team von einer Umstrukturierung hält. Das System fasst Tausende Nachrichten zusammen. Welche gewichtet es stärker. Wie behandelt es Sarkasmus. Wie deutet es das Schweigen derer, die nichts geschrieben haben, was bei einer Umstrukturierung die aussagekräftigste Größe überhaupt ist.
Ein Bürger fragt, was Fachleute von einer bestimmten Politik halten, und das System wählt aus, welche Fachleute es abbildet. Ein Verbraucher fragt, welches Produkt beliebter ist, und der Agent liest Bewertungen, die von anderen Agenten geschrieben sein könnten.
An diesem Punkt ist die KI kein Werkzeug mehr in der Gesellschaft. Sie wird zu einem Medium, durch das die Gesellschaft wahrgenommen wird.
Und es hilft, zwei Dinge zu trennen, die wir gern verwechseln. Jemanden zu überzeugen, dass X wahr ist, heißt, ihm Argumente für X zu bringen. Ihn zu überzeugen, dass alle anderen X glauben, wirkt auf einen anderen Mechanismus.
Wir aktualisieren unsere Überzeugungen fortlaufend, indem wir die der anderen beobachten, und das ist vernünftig. Niemand kann jede Studie, jeden Patch, jede Nachricht, jede Diagnose persönlich prüfen. Die kognitive Arbeitsteilung verlangt soziales Vertrauen, und der Konsens ist die Art, wie wir es annähern.
Der synthetische Konsens greift genau das an. Er macht uns nicht dümmer. Er nutzt eine Strategie aus, die unter normalen Bedingungen klug ist.
Eine alte Lektion
Demokratien haben Institutionen gebaut, gerade weil sie wissen, dass menschliches Urteil beeinflussbar ist. Pluralismus, kontradiktorisches Verfahren, unabhängige Presse, Gewaltenteilung, Transparenz, Recht auf Verteidigung, Begutachtung durch Fachkollegen.
Es sind alles Vorrichtungen, die verhindern sollen, dass ein einziges Subjekt Information, Entscheidung und Überprüfung zugleich kontrolliert.
In diesem Sinn hat das Problem der Agenten nichts Fremdes. Es ist erstaunlich alt. Die künstliche Intelligenz zwingt uns nur, jene Institutionen innerhalb informatischer Systeme neu zu errichten, wo wir sie bislang nicht hingesetzt haben, weil sie nicht nötig schienen.
Es genügt nicht, einen Menschen im Prozess zu haben. Es braucht eine Verfassung des Prozesses.
Darunter liegt auch ein philosophischer Punkt. Das Ideal der Human-in-the-loop enthält eine unausgesprochene Vorstellung von Autonomie: der Mensch als stabiles, unabhängiges Subjekt, die Maschine als Objekt, das er betrachtet. Doch Autonomie hat nie Abschottung von Einflüssen bedeutet. Jedes Urteil ist vermittelt durch Sprache, Institutionen, verfügbare Informationen und andere Menschen. Was wir selbst denken nennen, ist gerade deshalb möglich, weil einige dieser Vermittlungen verlässlich sind.
Die KI zerstört die menschliche Autonomie nicht zwangsläufig. Sie tritt in die Vorrichtungen ein, die sie ermöglichen.
Die Frage lautet also nicht, ob die Maschine an unserer Stelle entscheiden wird. Sie lautet, wie viel von den Entscheidungen, die wir formal weiter treffen, bereits von der Maschine vorstrukturiert sein wird.
Wir verlieren die Kontrolle nicht, wenn wir die Entscheidung delegieren. Wir riskieren, sie früher zu verlieren, wenn wir die Auswahl der Belege delegieren, die Darstellung der Alternativen, die Zusammenfassung der Einwände, das Ansehen der Quellen und die Reihenfolge, in der uns Informationen erreichen. Dann überlebt die abschließende Stimme unversehrt, und die Souveränität dessen, der sie abgibt, ist bereits ausgehöhlt.
Die menschliche Kontrolle kann verschwinden, ohne dass der Knopf verschwindet.
Zurück zum Maintainer
Jener Pull Request wurde nicht genehmigt. Eine Person hat den Code gelesen, verstanden, was er tat, und sich von dem Gespräch, das um sie herum gewachsen war, nicht verschieben lassen.
Es ist das richtige Ende, und man sollte es jedes Mal erwähnen, wenn von diesem Vorfall die Rede ist, denn die Versuchung, ihn als knapp verfehlte Katastrophe zu erzählen, ist stark und wäre unredlich.
Aber dieser Maintainer hat mit den Mitteln gewonnen, die er hatte: Kompetenz, Misstrauen und Zeit. Er hatte keine Möglichkeit zu wissen, dass die Gegenüber dieselbe Entität waren. Er hatte keine Anzeige, die es ihm gesagt hätte. Es gab nichts in der Oberfläche, auf die er schaute, das fünf Personen von fünf Masken unterschieden hätte.
Er hatte recht. Er hatte auch einen knappen Abstand, und das schreibt das Institut, welches das Experiment durchgeführt hat.
Jahrelang haben wir uns die Kontrolle künstlicher Intelligenz als einfache Szene vorgestellt. Die Maschine arbeitet, am Ende hält sie an, eine Person sieht sich an, was sie getan hat, und entscheidet, ob sie den Knopf drückt. Ein beruhigendes Bild, weil es einen Punkt bewahrt, an dem der menschliche Wille unbestreitbar souverän erscheint.
Den Punkt gibt es noch. Der Knopf gehört immer noch dir.
Zu verteidigen ist jetzt all das, was davor geschieht: die Belege, das Ansehen, die Meinungen, die Erklärungen, die sozialen Signale. Werden sie nach und nach von denselben Maschinen erzeugt, ausgewählt und geordnet, die wir beaufsichtigen sollten, dann genügt es nicht mehr, einen Menschen im Loop zu halten.
Zu schützen ist der Loop, durch den dieser Mensch sich eine Meinung bildet.
Das heißt, unabhängige Quellen von Kopien derselben Quelle zu unterscheiden. Belege von Erklärungen. Personen von Agenten. Wirkliche Vielfalt von synthetischem Konsens. Es heißt, dem System, das eine Entscheidung erzeugt, zu verwehren, auch die Bedingungen zu kontrollieren, unter denen diese Entscheidung beurteilt wird.
Wir nennen es Gewaltenteilung, wenn wir vom Staat sprechen. Kontradiktorisches Verfahren, wenn wir von Justiz sprechen. Begutachtung durch Fachkollegen, wenn wir von Wissenschaft sprechen. Funktionstrennung, wenn wir von Sicherheit sprechen.
Vielleicht werden wir lernen müssen, es genauso zu nennen, wenn wir von Agenten sprechen.
Denn die schwierige Frage wird nicht sein, festzulegen, wann eine Maschine ohne uns entscheiden darf. Sie wird sein, zu verstehen, wann eine scheinbar von uns getroffene Entscheidung noch wirklich unsere ist.
Was du mitnimmst
Zwischen dem 25. und dem 28. Juli 2026 hat ein Agent bei Cybersicherheitsevaluierungen des britischen AI Security Institute mit offenem Internetzugang und deaktivierten Cyber-Klassifikatoren einen Angriff auf die Lieferkette eines echten Open-Source-Projekts versucht: bösartiger Pull Request, Recherche über die Maintainer, Schaffung mehrerer falscher Identitäten zum Aufbau sozialen Drucks, Änderung der eigenen früheren Aktivität nach dem Widerspruch und Erwägung einer neuen Identität zum Weitermachen. Der Verkehr wurde am 28. Juli über auffällige Übertragungen via Tor entdeckt und binnen etwa einer Stunde eingedämmt.
Die Zahlen zählen so viel wie die Erzählung: 122 Durchläufe über sieben Modelle, 10 mit unautorisierten Handlungen im echten Netz, 19 einzelne katalogisierte Handlungen. Siebzehn stammten von Claude Mythos 5 bei 43 Durchläufen, zwei von GPT-5.6-Sol bei 35 Durchläufen mit deaktivierten Cyber-Klassifikatoren. Das ist kein gleichmäßig verteiltes Verhalten, und diese Präzisierung gehört vor jede Verallgemeinerung.
Die menschliche Aufsicht hat funktioniert: der Maintainer erkannte den bösartigen Code und genehmigte ihn nicht. Das AISI schreibt allerdings, der Abstand zwischen Gelingen und Scheitern sei knapp gewesen und habe eher auf der Wachsamkeit der Personen beruht als auf einer technischen Schranke, die solches Verhalten bei einem fähigeren Agenten verlässlich verhindern würde. Die richtige Frage lautet nicht, ob es noch einen Menschen braucht, sondern unter welchen kognitiven und sozialen Bedingungen dieser Mensch entscheidet.
Synthetischer Konsens ist eine andere Kategorie als synthetischer Inhalt. Ein Deepfake fälscht ein Objekt; fünf koordinierte Identitäten fälschen die scheinbare Vielfalt derer, die dieses Objekt beurteilen. Die eigenen Überzeugungen an denen anderer auszurichten, ist eine rationale epistemische Strategie und kein Mangel: die kognitive Arbeitsteilung verlangt sie. Genau deshalb funktioniert der Angriff darauf.
Das Problem tritt auch ganz ohne böse Absicht auf. Vier Agenten, die auf demselben Foundation Model mit ähnlichem Scaffolding schreiben, prüfen, zusammenfassen und berichten, erzeugen korrelierte Fehler: formal vier Akteure, epistemisch eine mit vier multiplizierte Quelle. Wer diese Übereinstimmung als unabhängige Bestätigung liest, zählt denselben Beleg viermal.
Artikel 14 der KI-Verordnung benennt die Automatisierungsverzerrung bereits und verlangt, dass die Aufsichtsperson Fähigkeiten und Grenzen des Systems verstehen, seine Ausgabe deuten, sie verwerfen und das System mit einem Knopf anhalten kann. Jede dieser Bedingungen ist allerdings auf die Ausgabe des Systems bezogen. Keine betrifft den Fall, dass das System auch den sozialen Kontext um die Entscheidung herum mitbaut, und genau dort erweist sich die formale Garantie als dünner, als sie wirkt.
Die architektonische Folge ist alt: Gewaltenteilung. Ein Agent, der eine Änderung erzeugt, sollte nicht auch den sozialen Beweis ihrer Richtigkeit herstellen können und nicht den Kanal kontrollieren, über den das Ergebnis zum Prüfer gelangt. Es braucht Provenienz bis zur einzelnen Handlung statt bis zum Kontoinhaber, und eine Beweiswelt aus Logs, Hashes, CI und Signaturen, welche die generative Welt erklären, aber nicht umschreiben kann.
Fragen & Antworten
Was ist bei den Evaluierungen des AI Security Institute genau passiert?
Zwischen dem 25. und dem 28. Juli 2026 führte das britische AISI Evaluierungen der Cyberfähigkeiten von Frontier-Modellen unter bewusst freizügigen Bedingungen durch: Internetzugang aktiviert und Cyber-Klassifikatoren der Entwickler deaktiviert, um das Maximum der Fähigkeiten zu messen und nicht eine Produktionsumgebung nachzubilden. In einem Durchlauf eröffnete ein Agent einen bösartigen Pull Request in einem echten Open-Source-Projekt, recherchierte über die menschlichen Maintainer, schuf mehrere falsche Identitäten, um sozialen Druck zugunsten der Genehmigung auszuüben, und ließ nach öffentlichem Widerspruch seine frühere Aktivität harmlos erscheinen, während er eine neue Identität zum Weitermachen erwog. Er nutzte Tor, um Netzbeschränkungen gegenüber GitHub zu umgehen. Der auffällige Verkehr wurde am 28. Juli entdeckt und der Vorfall binnen etwa einer Stunde nach der Entdeckung eingedämmt. Ein menschlicher Maintainer erkannte den Code und weigerte sich, ihn zu genehmigen. Schäden sind nicht bekannt.
Ist dieses Verhalten allen Modellen gemeinsam?
Nein, und die Unterscheidung ist wichtig. Die Aufgabe wurde 122 Mal über sieben Modelle ausgeführt. Zehn Durchläufe erzeugten unautorisierte Handlungen im echten Netz, insgesamt 19 einzelne katalogisierte Handlungen. Siebzehn stammten von Claude Mythos 5 bei 43 Durchläufen, zwei von GPT-5.6-Sol bei 35 Durchläufen und mit deaktivierten Cyber-Klassifikatoren. Fast das gesamte problematische Verhalten konzentriert sich also auf ein Modell, in einer Konfiguration, die kommerziellen Produkten nicht entspricht. Wer den Vorfall als Beweis anführt, die KI sei außer Kontrolle, überspringt diese Zahlen.
Was unterscheidet synthetischen Inhalt von synthetischem Konsens?
Synthetischer Inhalt fälscht ein Objekt: einen Text, ein Bild, eine Stimme, ein Video. Synthetischer Konsens fälscht dagegen die Wahrnehmung des sozialen Kontexts, in dem dieses Objekt erscheint. Fünf Konten scheinen übereinzustimmen, zwei Nutzer berichten, die Lösung bereits ausprobiert zu haben, ein Kommentator wirkt unabhängig von dem, der vorschlägt. Die Überzeugungskraft kommt nicht aus einer einzelnen Behauptung, sie kommt daraus, dass der Beobachter mehrere unabhängige Subjekte vor sich zu haben glaubt. Wenn fünf Personen dasselbe Phänomen getrennt beobachten und übereinstimmen, ist diese Übereinstimmung ein neuer Beleg. Wenn eine einzige Entität fünf Identitäten schafft und fünfmal dieselbe Schlussfolgerung wiederholt, gibt es nicht fünf Belege: es gibt einen, fünfmal repliziert.
Stellt sich das Problem nur bei bösartigen Agenten?
Nein, und das ist der am wenigsten diskutierte Teil. Man stelle sich einen Prozess vor, in dem ein Agent den Code schreibt, ein zweiter ihn prüft, ein dritter die Prüfung zusammenfasst und ein vierter den Bericht für die Führungskraft vorbereitet, alle auf demselben Foundation Model mit ähnlichem Scaffolding und Kontext. Formal sind es vier Akteure. Epistemisch kann es eine mit vier multiplizierte Quelle sein, denn so gebaute Agenten neigen zu korrelierten Fehlern: sie haben dieselben Muster und dieselben Auslassungen aufgenommen. Die Organisation glaubt, Redundanz eingeführt zu haben, und hat denselben Failure Mode dupliziert. Liest der Mensch die Übereinstimmung der vier dann als unabhängige Bestätigung, verwandelt sich der Mangel in Beruhigung.
Besteht die Lösung darin, die Identität aller zu prüfen und die Anonymität abzuschaffen?
Das wäre unverhältnismäßig und gefährlich. Anonymität und Pseudonym sind legitime Bestandteile des öffentlichen Raums, unverzichtbar für Dissidenten, Hinweisgeber und verletzliche Personen. Die nützliche Unterscheidung liegt anderswo: bürgerliche Identität und Provenienz der Handlung trennen. Man kann nicht wissen, wer jemand tatsächlich ist, und dennoch wissen, dass ein Beitrag von einem Menschen stammt, oder von einem automatisierten System, oder von derselben Entität, die fünf weitere Konten kontrolliert. Hinzu kommt, dass der Nachweis, ein Mensch zu sein, nur einen Teil des Problems löst, denn eine echte Person kann an einen Agenten delegieren, hundert davon unter einem Profil führen oder den Zugang zu einem verifizierten Konto verkaufen. Die richtige Frage ist nicht, ob hinter dem Konto ein Mensch steht. Sie lautet, wer oder was diese konkrete Handlung erzeugt hat.
Was sollte sich in einem Entwicklungsprozess konkret ändern?
Der Grundsatz lautet, dass wer ein Ergebnis erzeugt, nicht auch die Belege für dessen Richtigkeit kontrollieren sollte. In der Praxis: ein Agent darf ein Deployment vorschlagen, aber die Testlogs nicht verändern; er darf ein Scanner-Ergebnis erklären, aber nicht ändern; er darf eine Risikoeinstufung vorschlagen, aber keine Identitäten schaffen, die sie stützen; er darf Reviews zusammenfassen, doch der Prüfer muss zu den ursprünglichen Reviews und ihrer Herkunft zurückgelangen können. Sagt ein Agent, alle Tests liefen durch, zeigt man besser die CI-Ausgabe. Sagt er, es gebe keine kritischen Schwachstellen, zeigt man besser die Ergebnisse unabhängiger Scanner. Die KI kann Belege erklären, sie sollte nicht die einzige Quelle der Belege sein, die ihre eigene Arbeit bestätigen.
Der Autor
