Wo das Urteil entsteht

Ein Angestellter öffnet um 23.40 Uhr den internen Assistenten seines Unternehmens und schreibt eine Frage, die er einem Kollegen nicht stellen würde. Es geht um eine Freistellung und um die Sorge, dass sein Vorgesetzter erfährt, warum er sie beantragt. Um sie gut zu formulieren, muss er ein paar Einzelheiten geben: dass er seit sechs Monaten vier Stunden pro Nacht schläft, dass er keinen Grund mehr findet aufzustehen, dass er morgens immer später kommt.

Dieser Assistent läuft auf einem API-Vertrag mit Zero Data Retention. Das heißt, das Gespräch wird nach der Verarbeitung nicht gespeichert, niemand beim Anbieter wird es lesen können, es landet in keinem Trainingsdatensatz. Eine halbe Sekunde später existiert nichts mehr davon. Aus Sicht der Speicherung sind wir dem Idealzustand sehr nahe: das Datum ist durchgelaufen und hat keine Rückstände hinterlassen.

Und doch hat das System, während es durchlief, etwas über ihn geschlossen.

Ich sage noch nicht, was, denn genau darum geht es. Die Frage, die wir in dreißig Jahren Datenschutz zu stellen gelernt haben, lautet: wer darf dieses Gespräch sehen? Die Antwort ist hier niemand. Das ist eine ausgezeichnete Antwort, und sie reicht nicht.

Am 19. August, gestern, hat OpenAI etwas angekündigt, das dieses Nichtausreichen konkret statt philosophisch macht.

Was gestern angekündigt wurde

Am 19. August hat OpenAI zwei verschiedene Dinge mitgeteilt, und man hält sie besser auseinander, denn das erste ist eine geschäftliche Bestätigung und das zweite eine architektonische Idee.

Erstens: Zero Data Retention wird geeigneten API-Kunden auch auf Frontier-Modellen weiter angeboten. Unter ZDR werden nach der Definition des Unternehmens Prompts und Antworten nach Bearbeitung der Anfrage nicht gespeichert, Kundeninhalte stehen dem Personal nicht zur Durchsicht zur Verfügung, und Daten von Enterprise-Kunden werden ohne ausdrückliches Opt-in nicht zum Training verwendet. Es ist ein Versprechen an Unternehmen, nicht an Verbraucher, und der Unterschied zählt: wer einem öffentlichen Chatbot schreibt, kauft diese Garantie nicht.

Zweitens: die Vorschau auf Private Safety Processing. Sie entspringt einem realen Problem, das die Frontier-Unternehmen nicht fürs Marketing erfunden haben. Je längere und autonomere Arbeiten Modelle übernehmen, desto mehr müssen Sicherheitssysteme Risiken erkennen, die in einer einzelnen Anfrage unsichtbar sind, in der Gestalt einer Sequenz aber sichtbar werden. Eine isolierte Frage ist fast immer harmlos. Dreißig Fragen in zwei Tagen, zusammengenommen, müssen es nicht sein. Nur muss man eine Sequenz speichern, um sie anzusehen, und das Speichern ist genau das, was ZDR zu unterlassen verspricht.

Private Safety Processing versucht, beides zu trennen. In ZDR-Konfigurationen bleibt der Inhalt auf der vom Kunden kontrollierten Infrastruktur oder liegt verschlüsselt auf OpenAI-Servern, mit Schlüsseln, die der Kunde hält und von denen der Anbieter keine Kopie hat. Die Musteranalyse findet dort drinnen statt. Schlägt etwas an, verlässt die Grenze ein eng begrenztes Signal, das Art und Schwere der Aktivität angibt, ohne die zugrunde liegenden Prompts und Antworten offenzulegen. Den Alarm untersucht der Kunde auf den eigenen Systemen; er kann danach entscheiden, freiwillig Material herauszugeben, um eine Entscheidung zu bestreiten oder an einer Missbrauchsuntersuchung mitzuwirken.

Der Rollout ist für September angekündigt, zusammen mit einem technischen White Paper. Solange dieses Dokument fehlt, wäre es unredlich, starke Schlüsse zu ziehen: wir wissen nicht genau, wo der Klassifikator läuft, wie fein das Signal ist, was mit falsch positiven Treffern geschieht. Wer Anbieter bewertet, hat gelernt, eine Architektur von einer Pressemitteilung zu unterscheiden, und dies steht vorerst dazwischen.

Auch so ist das Interessante bereits lesbar. Der Anbieter kann wissen: diese Sequenz gehört wahrscheinlich zur Kategorie X. Ohne zu wissen: hier sind die Sätze, die der Nutzer geschrieben hat. Die beiden Kenntnisse sind nicht dasselbe, und es ist die zweite, die das Datenschutzrecht gut zu regeln gelernt hat.

Bemerkenswert ist, dass sich die Branche in diesem Punkt teilt. Anthropic speichert Prompts und Ausgaben der eigenen Covered Models dreißig Tage lang, der Kategorie also, auf die es die strengsten Richtlinien anwendet, erklärtermaßen zur Unterstützung der eigenen Sicherheitsarbeit, und zwar auf allen Plattformen, auf denen diese Modelle angeboten werden. Zwei verschiedene Antworten auf dieselbe Spannung, und keine davon ist selbstverständlich.

Räumen wir dem Einwand alles ein

Bevor man behauptet, es geschehe etwas Neues, muss man eine sehr verbreitete Übertreibung vermeiden: als heutige Entdeckung zu erzählen, was das Recht längst kennt.

Die Inferenz entsteht nicht mit den Sprachmodellen. Verhaltensbasierte Werbung leitet seit zwanzig Jahren Interessen ab. Credit Scoring leitet wirtschaftliche Zuverlässigkeit ab. Betrugsalgorithmen leiten die Wahrscheinlichkeit unrechtmäßigen Verhaltens ab. Profiling ist per Definition die Erzeugung persönlicher Merkmale aus Verhalten, das nicht diese Merkmale ist.

Die DSGVO wurde weit genug geschrieben, um all das zu erfassen. Artikel 4 Nummer 4 definiert Profiling als jede Art automatisierter Verarbeitung zur Bewertung persönlicher Aspekte, und europäische Leitlinien unterscheiden seit Jahren zwischen von der betroffenen Person bereitgestellten, beobachteten und abgeleiteten oder erschlossenen Daten, also solchen, die der Verantwortliche durch Analyse anderer Daten erzeugt.

Doch die stärkste Verteidigung des geltenden Rechts liegt nicht in den Definitionen. Sie liegt in drei Urteilen des Gerichtshofs, und sie sind radikaler, als sie üblicherweise zusammengefasst werden.

Am 4. Juli 2023 hat der Gerichtshof in Meta gegen Bundeskartellamt entschieden, dass das Verbot sensibler Daten keine ausdrückliche Erklärung verlangt. Erhebt ein Betreiber die Besuche eines Nutzers auf Seiten und in Anwendungen, die mit besonderen Datenkategorien verbunden sind, und verknüpft sie mit dessen Konto, verarbeitet er sensible Daten, unabhängig davon, ob diese Angaben je erklärt wurden. Offenbaren umfasst für den Gerichtshof das Ableiten. Genau dieses Prinzip braucht die Welt der Inferenz, und es wurde vor drei Jahren geschrieben.

Am 7. Dezember 2023, in der Sache SCHUFA, ist der Gerichtshof noch tiefer gegangen. Die automatisierte Berechnung einer Wahrscheinlichkeitsrate zur Fähigkeit einer Person, künftigen Zahlungsverpflichtungen nachzukommen, ist selbst eine automatisierte Entscheidung im Sinne von Artikel 22, wenn von dieser Rate der Abschluss, die Durchführung oder die Beendigung eines Vertragsverhältnisses durch den Dritten, dem sie übermittelt wird, maßgeblich abhängt. Nicht der Beschluss der Bank: der Score. Das europäische Recht hat bereits anerkannt, dass die Inferenz der eigentliche entscheidende Akt sein kann und dass, wer sie erzeugt, sich nicht hinter dem verstecken darf, der sie nutzt.

Am 4. Oktober 2024, in Schrems gegen Meta, hat der Gerichtshof entschieden, dass der Grundsatz der Datenminimierung es verwehrt, die auf und außerhalb der Plattform erhobenen Daten ohne zeitliche Begrenzung und ohne Unterscheidung nach Art zu Werbezwecken zusammenzuführen, zu analysieren und zu verarbeiten. Und er hat ergänzt, dass die einmalige öffentliche Äußerung zur eigenen sexuellen Orientierung nicht dazu berechtigt, weitere Daten zu dieser Orientierung zu verarbeiten.

Schließlich gibt es die Stellungnahme 28/2024 des EDSA, angenommen am 17. Dezember 2024, die eine ähnliche Einsicht auf Modelle anwendet. Damit ein auf personenbezogenen Daten trainiertes Modell als anonym gelten kann, sagt der Ausschuss, müssen sowohl die Wahrscheinlichkeit, personenbezogene Daten unmittelbar daraus zu ziehen, unter Berücksichtigung von Angriffen wie Membership Inference und Modellinversion, als auch die Wahrscheinlichkeit, dass Abfragen identifizierbare personenbezogene Daten zurückgeben, auch unbeabsichtigt, unerheblich sein.

Es wäre daher falsch zu schreiben, wir hätten plötzlich eine dem Recht unbekannte Kategorie entdeckt. Das europäische Recht hat die begrifflichen Werkzeuge und hat sie bereits benutzt. Wer das Gegenteil behauptet, hat die Urteile meist nicht gelesen.

Die Veränderung liegt anderswo, und sie ist unbequemer, weil sie sich nicht durch Gesetzgebung lösen lässt.

Was sich wirklich ändert

Drei Dinge ändern sich zusammen: der Maßstab, die Kosten und die Zeitlichkeit.

Der Maßstab. Ein Credit-Scoring-System leitet eine Sache ab. Ein Werbesystem leitet einige Dutzend Merkmale aus einem vorab festgelegten Katalog ab. Ein Foundation Model hat keinen Katalog. Ein einziges Gespräch kann gleichzeitig Bildungsstand, Gefühlslage, Beruf, wirtschaftliche Leistungsfähigkeit, wahrscheinliche Region, politische Neigung, Gesundheitszustand, Familiensituation und künftige Absichten nahelegen, und das nicht, weil jemand neun Klassifikatoren gebaut hätte. Die Fähigkeit, diese Kategorien zu erzeugen, steckt in demselben Modell, das gerade eine Frage zum Urlaub beantwortet. Sie muss nicht eingeschaltet werden: sie müsste allenfalls verhindert werden.

Die Kosten. Jahrelang konnte sich der Datenschutz auf eine stillschweigende und vernünftige Annahme stützen: Wissen kostet. Man musste Beobachtungen sammeln, ein Profil bauen, es aktuell halten, und jeder Schritt hinterließ Spuren, die sich regeln ließen. Bei sehr fähigen Modellen wird diese Beziehung schwächer. Zehn schwache Signale können eine starke Inferenz erzeugen. Eine Fotografie verrät mehr, als sie zeigt. Ein zeitliches Muster verrät eine Routine. Ein Satz erlaubt, weit mehr zu schätzen als seinen ausdrücklichen semantischen Gehalt.

Die Zeitlichkeit, das wirklich Neue. Klassisches Profiling erzeugte ein Profil, also einen Zustand: irgendwo einen Datensatz mit dem Inhalt, diese Person gehöre zu Segment 47. Dieser Zustand ließ sich einsehen, bestreiten, löschen. Ein generalistisches Modell speichert den Satz, diese Person gehöre zur Kategorie X, womöglich nie. Es kann ihn identisch rekonstruieren, sooft man danach fragt.

Diese Formulierung lohnt es festzuhalten, denn sie ist die Mitte des ganzen Gedankengangs: Wissen hört auf, ein dauerhafter Zustand zu sein, und wird zu einer dauerhaften Fähigkeit, einen Zustand zu erzeugen.

Das ist keine philosophische Feinheit. Es hat unmittelbare praktische Folgen für Löschung, Berichtigung und Speicherung.

Das Paradox des leeren Raums

Stellen wir uns eine ideale Maschine vor, gebaut von jemandem in bester Absicht.

Sie erhält das Tagebuch einer Person. Sie verarbeitet es. Kein Mensch kann es lesen. Es wird nicht auf Platte geschrieben. Es dient nicht dazu, irgendetwas zu trainieren. Unmittelbar danach wird es unwiderruflich gelöscht, und die Löschung ist überprüfbar.

Vor dem Löschen erzeugt die Maschine allerdings eine Zeile: Wahrscheinlichkeit 92 %, dass diese Person zur Kategorie A gehört. Und sie behält nur diese.

Haben wir das Datum geschützt? Technisch ja, und nicht kosmetisch: fast alle Risikometriken, die wir heute verwenden, würden ein positives Ergebnis liefern. Haben wir die Person geschützt? Das hängt vollständig davon ab, was A ist und was danach geschieht.

Ein System kann den Besitz des Datums hervorragend minimieren und zugleich das daraus gewonnene Wissen maximieren. Das sind zwei verschiedene Minimierungen, und wir haben sie wie eine behandelt, weil sie es in der Welt der Datenbanken fast immer waren.

Angenommen, ein Versicherer erhält nie eine Krankenakte. Er erhält nur einen Gesundheitsscore, lokal auf dem Telefon der Person berechnet, mit einer Architektur, an der kein Kryptograf etwas auszusetzen fände. Der Versicherer besitzt keine klinischen Daten. Er besitzt die einzige Information, an der ihm wirklich lag, und in der bequemsten Form.

Und hier wird die Inferenz in manchen Fällen gefährlicher als das Datum. Eine Kaufhistorie verlangt Deutung, und Deutung kostet, kann irren, lässt sich bestreiten. Das Etikett „wahrscheinliche finanzielle Schwierigkeiten” ist bereits gebrauchsfertig, für jeden, ohne Fachkenntnis und ohne Reibung. Eine Menge von Nachrichten ist mehrdeutig. Ein Score für „Neigung, den Arbeitsplatz aufzugeben” verwandelt diese Mehrdeutigkeit in eine Entscheidung und liefert sie in einer Form, die der Empfänger nicht in Frage zu stellen braucht.

Eine Inferenz ist sehr oft ein bereits in operative Macht verwandeltes Datum.

Eine falsche Inferenz lässt sich nicht berichtigen

Es gibt ein zweites Problem: Inferenzen müssen nicht einmal zutreffen, um Wirkungen zu entfalten.

Enthält eine Datenbank eine falsche Anschrift, hat das Recht eine einfache und funktionierende Antwort: man korrigiert die Anschrift. Das Recht auf Berichtigung setzt eine erfasste, auffindbare, ersetzbare Tatsache voraus.

Wenn ein System aus Tausenden Variablen schließt, eine Person habe eine hohe Ausfallwahrscheinlichkeit, was wird dann berichtigt? Welches Feld? Welches Gewicht? Welche Korrelation? Welche latente Repräsentation? Es gibt kein falsches Kästchen. Es gibt ein erzeugtes Urteil, und ein erzeugtes Urteil hat nicht die grammatische Struktur eines Sachfehlers.

Das europäische Recht hat es bemerkt und schlägt einen anderen Weg ein, der eher über die Bestreitbarkeit als über die Korrektur führt. Am 27. Februar 2025 hat der Gerichtshof in der Sache Dun & Bradstreet entschieden, dass Artikel 15 Absatz 1 Buchstabe h der DSGVO den Verantwortlichen verpflichtet, knapp, transparent und verständlich das Verfahren und die Grundsätze zu erklären, die tatsächlich angewandt wurden, um aus den personenbezogenen Daten dieser Person ein bestimmtes Ergebnis zu gewinnen. Nicht die Formel, nicht den Quellcode: das wirklich befolgte Vorgehen. Und er hat ergänzt, dass das Geschäftsgeheimnis kein absoluter Einwand ist, weil diese Information dazu dient, der Person zu ermöglichen, ein Eingreifen von Menschen zu erwirken, den eigenen Standpunkt darzulegen und die Entscheidung anzufechten.

Das ist eine ernsthafte Antwort, und sie bleibt bei einem generalistischen Modell weit schwerer anzuwenden als bei einem Scoring-System. Ein Scoring-System hat Variablen, Gewichte und eine Schwelle. Man kann mühsam erklären, was gewogen hat. Ein Modell, das eine Klassifikation als Nebenwirkung seines Sprachverstehens erzeugt, hat in diesem Sinn kein Verfahren, und die Versuchung, mit einer allgemeinen Beschreibung der Architektur zu antworten, wird sehr groß sein.

Ich füge etwas hinzu, das die Sache weiter verkompliziert. Das Recht auf Löschung beruht auf der Vorstellung, es gebe etwas zu löschen. Hat das System den Satz über mich nie gespeichert, kann ihn aber auf Anfrage reproduzieren, gibt es nichts zu entfernen und auch nichts, was geblieben wäre. Einen Zustand zu löschen ist möglich. Eine Fähigkeit zu löschen nicht.

Apple hatte die Grenze bereits verschoben

Wer Private Cloud Compute bei der Vorstellung angesehen hat, sah dieselbe Grenze aus einer anderen Richtung kommen.

Apple hat fünf Anforderungen an PCC gestellt, und man liest sie besser als Dokument politischer Ingenieurskunst denn als Sicherheitspapier. Personenbezogene Daten dürfen ausschließlich zur Erfüllung der Anfrage verwendet werden und niemandem außer der Nutzerin zur Verfügung stehen, auch nicht dem Personal von Apple, und sie dürfen nicht aufbewahrt werden, auch nicht über Logging oder Debugging. Die Garantien müssen technisch durchsetzbar sein, was heißt, dass alle Komponenten eingegrenzt und analysiert werden können müssen. Es darf keine privilegierten Schnittstellen geben, über die Betriebspersonal die Garantien umgehen kann. Ein Angreifer darf keine bestimmte Person treffen können, ohne zu versuchen, das gesamte System zu kompromittieren. Und Sicherheitsforschende müssen prüfen können, dass die Garantien den öffentlichen Versprechen entsprechen.

Die aussagekräftigste technische Folge ist die, die üblicherweise nebenbei erwähnt wird: PCC-Knoten enthalten weder Remote-Shells noch interaktive Debugging-Mechanismen, und das System enthält nicht einmal einen General-Purpose-Logging-Mechanismus. Den Knoten verlassen dürfen nur vordefinierte, strukturierte und geprüfte Logs und Metriken.

Halten wir bei diesem Satz kurz inne, denn er enthält die ganze Neuerung. Apple hat nicht versprochen, nicht hinzusehen. Apple hat die Werkzeuge entfernt, mit denen man üblicherweise hinsieht, und die Menge dessen, was den Knoten verlassen darf, zu einer geschlossenen, vorab festgelegten und überprüfbaren Liste gemacht.

Die Vertrauensgrenze hat sich verschoben. Früher musste ich dem Systemadministrator vertrauen, der versprach, nicht zu lesen. Jetzt vertraue ich einer Architektur, die festlegt, welche Berechnungen zulässig sind und welche Informationen den Perimeter überschreiten dürfen. Das ist ein weit stärkeres Versprechen als jede Datenschutzerklärung, weil es widerlegbar ist.

OpenAI erkundet mit anderer Architektur und für ein anderes Problem dieselbe begriffliche Grenze: innerhalb der Grenze wird gerechnet, außerhalb tritt eine geschlossene Liste von Signalen aus.

Der Datenschutz hört in dieser Form auf, ein Versprechen zu sein, und wird zu einer Eigenschaft des Systems. Und wird er zu einer Eigenschaft des Systems, wird er auch überprüfbar, verhandelbar, zertifizierbar. Für alle, die an Compliance als Architektur arbeiten, ist das eine gewaltige Nachricht, und ausnahmsweise eine gute.

Mit einer Folge, die noch niemand gut angegangen ist: die Liste dessen, was die Enklave verlassen darf, ist das eigentliche Governance-Dokument der gesamten Architektur, und sie ist der Teil, über den wir am wenigsten sprechen.

Von der Vertraulichkeit zur Berechenbarkeit

Die Informationssicherheit sprach immer von Vertraulichkeit: ein unbefugtes Subjekt darf das Datum nicht lesen können. Das ist eine klare Eigenschaft, definiert an einem Objekt.

Bei Systemen, die innerhalb einer geschlossenen Grenze rechnen, braucht es eine feinere Eigenschaft, definiert nicht am Objekt, sondern an den Operationen: ein unbefugtes Subjekt darf bestimmte Berechnungen auf dem Datum nicht erlangen können.

Eine Krankenakte zu besitzen und ein Orakel zu besitzen, dem ich Fragen zur Krankenakte stellen kann, ist nicht dasselbe. Aber die Ergebnisse können einander weit ähnlicher sein, als uns lieb ist.

Wenn ich die Gehaltstabelle des Unternehmens nicht herunterladen kann, aber ein System fragen darf, ob eine bestimmte Person mehr als 80.000 Euro verdient, dann mehr als 90.000, dann mehr als 95.000, habe ich nach einigen Fragen einen erheblichen Teil der Information rekonstruiert, ohne je einen einzigen Datensatz erhalten zu haben. Es ist das alte Problem der statistischen Offenlegungskontrolle, aus dem die Differential Privacy hervorging, und Sprachmodelle verschärfen es enorm: weil die Abfrage nicht mehr numerisch sein muss, weil man das Schema der Datenbank nicht kennen muss und weil die Zahl sinnvoller Fragen nicht mehr vorab aufzählbar ist.

Die zu regelnde Eigenschaft ist dann nicht nur der Zugriff. Es ist die Berechenbarkeit: welche Funktionen auf diesen Daten berechnet werden können, mit welcher Genauigkeit, wie oft, mit welchen Ausgaben, in wessen Auftrag.

Das ist eine Frage, die heute fast keine Compliance-Checkliste stellt und die jede Systemarchitektin sofort als die richtige erkennt.

Der Zweck, angewandt auf das Wissbare

Hier wird die DSGVO überraschend gegenwärtig, denn der Grundsatz, der dem Aufprall am besten standhält, ist zugleich einer der ältesten: die Zweckbindung.

Daten werden für einen Zweck erhoben. Das Problem ist, dass ein Foundation Model gerade eine Maschine ist, die denselben Input für eine enorme Zahl verschiedener Zwecke wiederverwenden kann, und das, ohne dass jemand es dafür programmiert hätte.

Ein für den Kundendienst geliefertes Gespräch kann technisch dazu dienen, Stimmung abzuleiten. Stimmung kann zur Abwanderungsneigung werden. Die Neigung kann zur geschäftlichen Priorität werden. Dasselbe Gespräch kann wirtschaftliche Verletzlichkeit nahelegen, und wirtschaftliche Verletzlichkeit ist die Art Information, auf der unterschiedliche Preise für unterschiedliche Personen gebaut werden. Keiner dieser Schritte verlangt eine neue Erhebung, und die technische Fähigkeit besteht auch dann, wenn die Organisation keinerlei Absicht hat, sie zu nutzen.

Daraus folgt, dass Privacy by Design ihren Gegenstand verschieben muss. Nicht mehr nur verhindern, dass Daten im falschen System landen, sondern verhindern, dass unbefugte Berechnungen innerhalb des richtigen Systems ausgeführt werden.

Nennen wir es vorsichtig Minimierung der Inferenzen. Es ist keine eigenständige Kategorie der DSGVO, und man muss sie auch nicht als solche erfinden. Es ist eine architektonische Anforderung, die sich aus der Verbindung bestehender Grundsätze ergibt, und sie hat den Vorzug, eine Frage zu sein, die man beim Entwurf stellen kann: welche Inferenzen sind zwingend nötig?

Ein Assistent für medizinische Terminbuchungen braucht das gewünschte Fachgebiet, die Verfügbarkeit und die zur Buchung nötige Identität. Aus dem Gespräch kann er den Angstzustand der Person ableiten, ihre wirtschaftliche Lage, die empfundene Schwere des Problems, die Wahrscheinlichkeit einer Absage. Er sollte es nicht tun, und der praktische Unterschied liegt genau hier: es genügt nicht, diese Inferenzen nicht zu nutzen. Bestimmte Klassifikatoren, Ausgaben, Persistenzschichten und Werkzeuge sollten für die Anwendungsfunktion unzugänglich sein, nicht bloß durch eine Richtlinie abgeschaltet, die jemand an einem Nachmittag ändern kann.

Wer das für eine regulatorische Phantasie hält, sollte Artikel 5 der KI-Verordnung erneut lesen, anwendbar seit dem 2. Februar 2025. Er verbietet Systeme, die die Emotionen einer Person am Arbeitsplatz und in Bildungseinrichtungen aus biometrischen Daten ableiten, vorbehaltlich enger medizinischer und sicherheitsbezogener Ausnahmen. Und er verbietet die biometrische Kategorisierung, die Rasse, politische Meinungen, Gewerkschaftszugehörigkeit, religiöse oder weltanschauliche Überzeugungen, Sexualleben oder sexuelle Orientierung ableitet.

Das sind zwei Verbote, die nicht die Erhebung betreffen. Sie betreffen, was abzuleiten zulässig ist, und sie gelten unabhängig davon, wie die Daten dorthin gelangten und wie lange sie bleiben. Der europäische Gesetzgeber hat bereits, in einem einzigen Artikel, die erste Norm geschrieben, die bestimmte Inferenzen beim Namen verbietet. Zu demselben Schluss war der Gerichtshof auf dem Auslegungsweg gelangt; hier ist es Text. Er hat den engstmöglichen Umfang gewählt, und das zu Recht, denn ein allgemeines Verbot der Inferenz machte einen Gutteil der künstlichen Intelligenz unbrauchbar. Aber der begriffliche Präzedenzfall besteht.

Die richtige Frage lautet dann nicht, ob eine Inferenz verboten ist. Sie lautet: war diese Inferenz notwendig, vorhersehbar und legitim mit Blick auf den Zweck, für den das Datum bereitgestellt wurde? Es ist die Zweckbindung, angewandt auf den Raum des erzeugbaren Wissens.

Nicht erkannt werden, klassifiziert werden

Man könnte meinen, das Problem löse sich auf, wenn man die Identität entfernt. Das ist eine bequeme Täuschung, und sie gehört zerlegt.

Ein System kann nicht wissen, wer ich bin, und genug wissen, um mich anders zu behandeln. Ein Werbealgorithmus braucht meinen Namen nicht, wenn er eine pseudonyme Kennung besitzt, die an ein hinreichend genaues Profil geknüpft ist. Ein Agent kann meine bürgerliche Identität nicht kennen und dennoch schließen, ich gehöre zu einer Risikokategorie, und den Dienst entsprechend ändern: vorsichtigere Antworten, ein niedrigeres Limit, eine zusätzliche Prüfung, ein anderer Preis.

Die Anonymität beantwortet die Frage: wissen sie, wer ich bin? Die inferenzielle Privatheit beantwortet eine andere: was können sie entscheiden, dass ich bin?

Es bleibt eine letzte zeitliche Asymmetrie, die die Speicherdauer zu einer unzureichenden Kennzahl macht. Das Datum kann zweihundert Millisekunden leben. Die Folge kann Jahre dauern.

Das Gespräch wird nicht gespeichert. Während der Verarbeitung erzeugt es einen Score. Der Score verändert eine Entscheidung. Die Entscheidung landet im CRM, im Ticketsystem, in der Akte, in der Geschichte der Beziehung. Der Prompt ist zu dem Zeitpunkt verschwunden, den der Vertrag vorsah. Seine Folge ist institutionelle Geschichte geworden, und niemand wird mehr nachvollziehen können, wie sie dorthin kam.

Zeichnen wir diese Kette, dann ist das sensibelste Element des ganzen Vorgangs nicht das erste. Es ist das zweite.

Safety und Datenschutz ziehen in entgegengesetzte Richtungen

Zurück zu OpenAI, denn der Konflikt, den das Unternehmen zu lösen versucht, ist echt und darf ihm nicht als Schuld angerechnet werden.

Je fähiger die Modelle werden, desto mehr müssen ihre Erbauer bemerken, wenn jemand sie für Schaden einzusetzen versucht. Um das zu bemerken, müssen sie Verhalten beobachten. Doch je mehr sie beobachten, desto mehr Information über Personen sammeln sie an. Sicherheit drängt zur Überwachung, Datenschutz zur Minimierung, und diese Spannung lösen die guten Absichten keiner der beiden Seiten auf.

Die interessante Antwort ist nicht, zwischen Datenschutz und Safety zu wählen. Sie besteht darin, die Wahl in ein architektonisches Problem zu verwandeln: einen Teil der Überwachung innerhalb einer Grenze auszuführen, in der der Anbieter den Inhalt nicht erhält, und aus dieser Grenze nur das austreten zu lassen, was die Sicherheitsfunktion braucht. Es ist dieselbe Logik wie bei Secure Enclaves, Confidential Computing, Private Information Retrieval und Privacy-Enhancing Technologies überhaupt. Sie beseitigen den Zielkonflikt nicht: sie ändern seine Form, und eine andere Form ist manchmal alles, was es braucht.

Ein Detail der Ankündigung verdient mehr Aufmerksamkeit, als es bekommt, und es betrifft, wer den Alarm erhält. In OpenAIs Entwurf erreicht das eng begrenzte Signal das Unternehmen, der Kunde untersucht auf den eigenen Systemen und entscheidet allenfalls, Material zu teilen. Das ist nicht nur eine Datenschutzentscheidung. Es ist eine Neuverteilung der Verantwortung: der Anbieter behält die Klassifikation, der Kunde behält das Enforcement. Wer solche Dienste kauft, täte gut daran, das vor der Unterschrift zu bemerken, denn es bedeutet, dass ein Teil der Sicherheitsarbeit, die er gekauft zu haben glaubte, bei ihm bleibt.

Nicht sehen heißt nicht, nicht zu entscheiden

Jetzt das Gegengewicht, ohne das alles bisher Geschriebene zum Verkaufsargument wird.

Es ist überaus leicht, diese Architekturen in eine neue Generation von Privacy Washing zu verwandeln, und auch wer sie in gutem Glauben gebaut hat, wird versucht sein, denn der Satz ist zu schön, um ihn nicht zu benutzen: wir sehen Ihre Daten nie.

Das kann buchstäblich wahr sein. Und es kann für das, was der Person geschieht, ohne Belang sein. Wenn das System aufgrund des Abgeleiteten klassifizieren, filtern, verweigern, begrenzen, melden oder einen Dienst ändern kann, übt das Unternehmen weiter erhebliche Macht über diese Person aus. Dass kein Mensch den Satz gelesen hat, mindert die Wirkung der daraus entstandenen Kategorie um kein Gramm.

Die Frage kann daher nicht bei der Vertraulichkeit haltmachen. Sie muss dorthin gelangen: welche Wirkungen kann die Inferenz erzeugen?

Ein datenschutzfreundliches System, das diskriminiert, bleibt diskriminierend. Ein kryptografisch tadelloses System, das irrig eine sensible Verfassung ableitet, bleibt ein Problem, und für die betroffene Person ist es genau dasselbe Problem wie zuvor. Eine Secure Enclave schützt das Datum vor den Administratoren. Sie schützt die Person nicht vor der Funktion, die in der Enklave läuft.

Es ist die Unterscheidung, welche die beiden Hälften des Problems zusammenhält: die Sicherheit der Verarbeitung fällt nicht mit ihrer Rechtmäßigkeit zusammen.

Stellen wir uns die perfekte Maschine vor. Niemand kann ihre Eingaben beobachten, niemand ihren Code verändern, niemand ihre Daten herausziehen. Und die Maschine trifft ungerechte Entscheidungen. Ihre kryptografische Vollkommenheit löst nichts und erschwert die Anfechtung sogar, denn jede Bitte, hineinzusehen, trifft auf eine technisch tadellose Antwort: hineinzusehen ist genau das, was das System verhindern soll.

Der Datenschutz der kommenden Jahre wird daher zwei Eigenschaften zusammenhalten müssen, die wir getrennt behandeln, weil sie in entgegengesetzte Richtungen ziehen. Vertraulichkeit der Eingaben, die Undurchsichtigkeit verlangt. Verantwortung für die Inferenzen, die Transparenz verlangt. Wir müssen Unbefugte daran hindern, das Datum zu sehen, und zugleich wissen, welche Inferenzen erzeugt werden, zu welchem Zweck und mit welchen Folgen. Das ist eine gewaltige Spannung, und ich kenne niemanden, der sie gelöst hätte.

Das gilt auch für die Vertrauensverlagerung, die diese Architekturen mit sich bringen, und das gehört ehrlich gesagt. Früher musste ich dem Administrator vertrauen. Jetzt muss ich der Hardware vertrauen, der Attestierung, dem Code, der Lieferkette, der ausgeführten Funktion, der Richtigkeit der Ausgabe und der Richtlinie, die festlegt, was hinaus darf. Das Vertrauen ist nicht verschwunden. Es hat sich auf eine breitere Fläche verteilt und, das ist der gute Teil, auf eine Fläche, die sich prüfen lässt.

Vom Datendiagramm zum Inferenzdiagramm

Von hier kommt der Teil, der für die Praxis nützlich ist, und es ist eine Änderung der Form, bevor es eine des Inhalts ist.

Ich habe im April geschrieben, dass die DSFA eine Gattung ist, kein Formular, also eine Schreibform mit erkennbarer Struktur und kein auszufüllender Vordruck. Ist es eine Gattung, dann kann sie sich entwickeln, und für KI-Systeme muss sie es.

Eine DSFA für ein System künstlicher Intelligenz kann nicht dabei stehen bleiben, Datenkategorien, Rechtsgrundlage, Empfänger, Speicherfristen, Auftragsverarbeiter und internationale Übermittlungen zu beschreiben. Das alles ist nötig, und das alles ist um die Vorstellung gebaut, das Risiko wohne in einem Archiv.

Sie muss beginnen, den Fluss der Inferenzen zu modellieren. Zur Eingabe: wer sie lesen darf, wo sie entschlüsselt wird, wie lange sie überlebt. Zu den Repräsentationen: ob Embeddings entstehen, ob sie bestehen bleiben, ob sie einer Person zuordenbar sind, was alles andere als selbstverständlich ist, da ein Embedding weder Rohdatum noch erklärte Inferenz ist. Zur Inferenz: welche Klassifikationen erzeugt werden, welche für den erklärten Zweck nötig sind, welche personenbezogene Daten darstellen und welche besondere Kategorien berühren. Zur Handlung: ob die Inferenz das Verhalten des Systems ändert, ob sie eine Entscheidung erzeugt, ob sie einem Menschen gezeigt wird. Und schließlich zur Speicherung, am Ende und nicht am Anfang: welcher Teil der Kette die Anfrage überdauert.

Vom Datenflussdiagramm zum Inferenzflussdiagramm. Das ist keine akademische Übung: es ist der einzige Weg zu bemerken, dass das Risiko eines Systems vollständig in einem Element stecken kann, das keine heute kursierende DSFA-Vorlage zu beschreiben verlangt.

Daraus folgt auch eine andere Lieferantenbewertung, und das ist der unmittelbar verwertbare Teil für alle, die Software kaufen. Die klassische Frage, ob unsere Daten das Modell trainieren, bleibt nötig und reicht nicht mehr.

Mindestens drei Fragenfamilien kommen hinzu. Wo die Inferenz ausgeführt wird und wer während der Verarbeitung auf die Eingabe zugreifen kann, was eine Frage nach der Architektur ist und nicht nach den Absichten. Welche Daten protokolliert werden, welche abgeleiteten Repräsentationen wie lange bestehen bleiben und ob sie einer Identität zuordenbar sind. Und schließlich welche automatischen Klassifikationen erzeugt werden, welche Signale die Verarbeitungsgrenze verlassen dürfen, ob sie Entscheidungen oder Enforcement speisen und mit welchem Mechanismus eine Person eine falsche Inferenz bestreiten kann.

Die letzte ist jene, die heute fast kein Vertrag vorsieht, und jene, um die gestritten werden wird, wenn die Urteile der letzten drei Jahre eine Richtung anzeigen.

Pauschal zu sagen, man speichere keine Daten, wird mehrdeutig, wenn nicht definiert ist, was als Datum gilt. Rohe Eingabe, abgeleitete Repräsentationen, Inferenzen, Sicherheitsklassifikationen, Telemetrie, für Menschen lesbare Logs, Ausgabe, dauerhafter Zustand: das sind acht verschiedene Dinge, sie können acht verschiedene Schicksale haben, und in fast allen Verträgen, die ich gelesen habe, werden zwei davon benannt.

Das zweite Territorium

Es gibt einen letzten Ort, an dem diese Unterscheidung das Bild verändert, und das ist die digitale Souveränität.

Wir sprechen fortwährend von Souveränität über das Datum: wo es gespeichert ist, in welcher Rechtsordnung, auf welcher Cloud, betrieben von welcher Gesellschaft. Das sind unverzichtbare Fragen, und ich habe Monate damit verbracht zu schreiben, dass sie nicht genügen, denn die Souveränität wohnt nicht im Rechenzentrum.

Machen wir das Experiment. Alle Daten eines europäischen Krankenhauses bleiben physisch in Europa, in einer Confidential-Computing-Umgebung, betrieben von einem europäischen Anbieter. Ein amerikanisches Modell läuft darin. Die Eingaben verlassen das Gebiet nie, der Modellanbieter kann sie nicht lesen, die Attestierung ist überprüfbar und das Register der zugelassenen Berechnungen ist öffentlich.

Haben wir Souveränität erreicht? Über das Datum, plausibel ja. Über die Logik, die dieses Datum in eine klinische Kategorie und diese Kategorie in eine Wartelistenpriorität verwandelt, nicht unbedingt.

Denn fünf Fragen bleiben offen, die keine Lokalisierung löst: wer das Modell kontrolliert, wer die Kategorien festlegt, die das Modell erzeugen darf, wer die Funktion mit welcher Vorlaufzeit aktualisieren kann, wer prüft, dass die Inferenzen an einer europäischen Bevölkerung stimmen, und wer entscheidet, was die Grenze verlassen darf.

Nennen wir es Souveränität über die Inferenzen und stellen wir sie neben die über die Daten statt an deren Stelle. In den letzten Jahren haben wir eine ganze europäische Technologiepolitik um Lokalisierung, Kontrolle und Verfügbarkeit des Datums gebaut, und das war nicht falsch. Die künstliche Intelligenz fügt ein zweites Territorium hinzu, nämlich das der Erzeugung des Urteils.

Ein Modell empfängt Tatsachen und erzeugt Deutungen. Es empfängt Signale und erzeugt Kategorien. Es empfängt Geschichte und erzeugt Vorhersage. Dort wird ein wachsender Teil digitaler Macht ausgeübt werden, und diese Macht kann bestehen, auch wenn nie ein Mensch das ursprüngliche Datum gesehen hat.

Es zählt nicht nur, wo das Datum lebt. Es zählt, wo das Urteil entsteht.

Was wir ihr nie gesagt haben

Wer bis hierher gelesen hat, könnte einwenden, ich baue ein zu abstraktes Problem auf und all das sei bloß die bestehende DSGVO, genauer angewandt.

Zum guten Teil hätte er recht, und man räumt es besser ganz ein, denn es ist die solideste Position von allen. Es braucht kein neues Recht auf Datenschutz. Es braucht keine DSGVO für Inferenzen. Zweckbindung, Minimierung, Richtigkeit, Transparenz, Erforderlichkeit, die Regeln zu Profiling und automatisierten Entscheidungen, Privacy by Design: die Werkzeuge sind da, und die Urteile, die ich angeführt habe, zeigen, dass sie besser wirken als gedacht. Wer ein neues Gesetz fordert, verlangt meist, ohne es zu wissen, eine Diskussion von vorn zu beginnen, die Europa bereits gewonnen hat.

Die Lücke ist wahrscheinlich keine normative. Sie ist architektonisch.

Wir entwerfen Compliance und Informationssysteme weiter rund um Datenbanken, während der Informationswert in Berechnungen gewandert ist, die zweihundert Millisekunden dauern und nichts hinterlassen. Wir fragen weiter, wo die Daten liegen, bei Systemen, deren Hauptrisiko darin besteht, was sie abzuleiten vermögen. Das Problem ist nicht, ein neues Gesetz zu schreiben. Es ist, zu aktualisieren, was wir als Verarbeitungsfläche verstehen.

Zurück zum Angestellten um 23.40 Uhr.

Jahrelang haben wir den Datenschutz mit der Metapher der Tür gedacht. Unsere Daten liegen in einem Raum, und die Frage ist, wer den Schlüssel hat. Die Kryptografie hat die Tür widerstandsfähiger gemacht. Die Minimierung hat versucht, weniger in den Raum zu stellen. Die DSGVO hat festgelegt, wer eintreten darf, wie lange und aus welchem Grund. Das sind echte Errungenschaften, und sie sind nicht der Mode wegen zu verramschen.

Die künstliche Intelligenz stellt eine Maschine in den Raum. Wir können die Tür perfekt schließen und niemanden hereinlassen. Wir können alles, was darin war, Millisekunden später vernichten, und wir können es beweisen. Aber bevor wir das tun, können wir die Maschine darin fragen, was sie verstanden hat.

Und was herauskommt, kann wichtiger sein als alles, was wir zu schützen versucht haben.

Das macht die Errungenschaften des klassischen Datenschutzes nicht nutzlos. Es macht sie unzureichend, wenn wir sie rein stofflich deuten, als bestünde das Risiko aus Dateien.

Der Datenschutz der Datenbankwelt schützte vor allem, was wir preisgegeben hatten. Der Datenschutz der künstlichen Intelligenz wird auch schützen müssen, was eine Maschine ableiten kann, ohne dass wir es ihr je gesagt haben. Es ist ein Übergang vom Besitz des Datums zur Regierung des Wissens, und er ändert, wer wofür einzustehen hat.

Der Angestellte hat gefragt, wie eine Freistellung funktioniert. Das System hat in der halben Sekunde, in der sein Satz existierte, eine Wahrscheinlichkeit über eine Verfassung festgestellt, die er nicht erklärt hatte, und niemand wurde gefragt, ob diese Wahrscheinlichkeit irgendwozu nütze war.

Gelesen hat sie niemand. Gespeichert wurde sie nicht. Trainieren wird sie nichts.

Und jetzt ist sie das Einzige, was von jenem Gespräch bleibt.

Der Autor

Andrea MargiovanniKI

Ich verfolge das Verhältnis zwischen KI und europäischer Regulierung als politisches Faktum, nicht als technisches Spektakel. Ich arbeite mit Teams, die KI mit AI Act, CRA, NIS2 vereinbar machen müssen, ohne Compliance auf eine Checkliste zu reduzieren.

Zum Weg →