Das Vertrauensdefizit

Eine Zahl, die jeden Sponsor eines KI-Programms beunruhigen sollte: McKinseys aktuelle State-of-AI-Umfrage zeigt, dass Ungenauigkeit weiterhin als oberstes Risiko bei der Einführung generativer KI genannt wird – häufiger als jede andere Sorge, vor Kosten, vor Datenschutz, vor den Folgen für die Belegschaft.

Nicht die Genauigkeit ist das Problem. Sondern das Vertrauen in diese Genauigkeit.

Die Modelle sind gut genug. GPT-4o besteht das Anwaltsexamen. Claude schreibt Produktionscode. Gemini schlussfolgert über Kontexte mit Millionen Tokens. Trotzdem sperren die meisten Unternehmen ihre Agenten weiterhin in Sandbox-Demos und eng beaufsichtigte Pilotprojekte. Der Engpass ist nicht die Leistungsfähigkeit. Es ist das Zutrauen. Genauer gesagt: das Zutrauen der Menschen, die freigeben müssen, dass ein Agent im Produktivbetrieb läuft – echte Schadensfälle bearbeitet, echtes Geld bewegt, mit echten Kunden spricht.

Ich höre denselben Satz immer wieder von CDOs und CIOs: „Die Technik funktioniert. Ich bekomme nur das Business nicht dazu, ihr zu vertrauen.“ Dieser Satz enthält das ganze Problem.

Diagnose: Warum Vertrauen immer wieder verloren geht

Vertrauen geht auf vorhersehbare Weise verloren. Die Fehlermuster sind über Branchen hinweg bemerkenswert konsistent.

Governance-Lücken. Ein Agent trifft eine Entscheidung. Wer hat die Richtlinie freigegeben, die ihm das erlaubt? Wer trägt die Verantwortung, wenn er sich irrt? In den meisten Organisationen ist die Antwort ein Achselzucken. Es gibt keine Matrix der Entscheidungsbefugnisse für KI. Niemand hat festgelegt, welche Aktionen menschliche Freigabe erfordern und welche nicht. Der Agent operiert in einem Verantwortungsvakuum, und beim ersten unerwarteten Verhalten zieht die Führungsebene den Stecker. Nicht weil die Aktion katastrophal war – sondern weil niemand erklären konnte, wer dafür verantwortlich ist.

Intransparenz. Der Agent hat über Nacht 400 Versicherungsfälle bearbeitet. Drei wurden von einem nachgelagerten Team als Anomalien markiert. Wenn die Operations-Leitung fragt: „Warum hat der Agent diese genehmigt?“, folgt Schweigen. Kein Entscheidungsprotokoll. Keine nachvollziehbare Begründung. Kein Audit-Trail. Der Agent ist eine Black Box mit Produktionszugriff, und das beunruhigt jeden Compliance Officer, mit dem ich gesprochen habe.

Inkonsistenz. Der Agent bearbeitet denselben Schadenstyp am Dienstag anders als am Montag, weil sich der Prompt geändert hat, das Kontextfenster verschoben wurde oder der Retrieval-Schritt andere Dokumente gezogen hat. Nichtdeterminismus ist ein Feature von LLMs und ein No-Go für den Unternehmensbetrieb. Abweichungen bei Menschen tolerieren wir – wir erwarten sie sogar. Von Systemen, die uns als verlässlich verkauft wurden, tolerieren wir sie nicht.

Diese drei Fehlermuster – Governance, Transparenz, Verlässlichkeit – summieren sich zu einem Vertrauensdefizit, das mit jedem Vorfall wächst. Jeder Vorfall untergräbt das Vertrauen. Jeder Vertrauensverlust verschärft die Auflagen für das nächste Pilotprojekt. Am Ende lautet das Fazit der Organisation „KI funktioniert bei uns nicht“, obwohl es eigentlich heißen müsste: „Wir haben nie die Infrastruktur für Vertrauen gebaut.“

%%{init: {'theme': 'base', 'themeVariables': {'primaryColor': '#1a2540', 'primaryTextColor': '#ffffff', 'primaryBorderColor': '#ffffff', 'lineColor': '#ffffff', 'background': '#0a0f1e', 'mainBkg': '#1a2540', 'nodeBorder': '#ffffff', 'edgeLabelBackground': '#1a2540'}}}%%
graph TD
    INCIDENT["Agenten-Vorfall
(unerwartete Ausgabe)"]
    INCIDENT --> Q1{"Können Sie erklären,
wer das freigegeben hat?"}
    Q1 -->|"Nein"| GOV["Governance-Lücke"]
    Q1 -->|"Ja"| Q2{"Können Sie erklären,
warum so entschieden wurde?"}
    Q2 -->|"Nein"| TRANS["Transparenz-Lücke"]
    Q2 -->|"Ja"| Q3{"Verhält er sich morgen
genauso?"}
    Q3 -->|"Nein"| REL["Verlässlichkeits-Lücke"]
    Q3 -->|"Ja"| TRUST["Vertrauen erhalten"]
    GOV --> ERODE["Vertrauen geht verloren"]
    TRANS --> ERODE
    REL --> ERODE
    ERODE --> RESTRICT["Strengere Auflagen
für nächstes Deployment"]
    RESTRICT --> STALL["KI-Programm stockt"]
    style GOV fill:#2a1a1a,stroke:#ff6b6b,color:#ff6b6b
    style TRANS fill:#2a1a1a,stroke:#ff6b6b,color:#ff6b6b
    style REL fill:#2a1a1a,stroke:#ff6b6b,color:#ff6b6b
    style ERODE fill:#2a1a1a,stroke:#ffb347,color:#ffb347
    style STALL fill:#2a1a1a,stroke:#ff6b6b,color:#ff6b6b
    style TRUST fill:#0a2a1e,stroke:#00ff88,color:#00ff88,stroke-width:2px
    style INCIDENT fill:#1a2540,stroke:#ffffff,color:#00d4ff,stroke-width:2px
    style RESTRICT fill:#1a2540,stroke:#ffb347,color:#ffb347

Umdenken: Was die Luftfahrt längst verstanden hat

Die kommerzielle Luftfahrt ist nicht zur sichersten Form des Transports geworden, weil sie bessere Flugzeuge gebaut hat. Sie ist sicher geworden, weil sie Vertrauenssysteme rund um unvollkommene Maschinen gebaut hat.

Schauen Sie sich an, was die Branche tatsächlich getan hat. Checklisten – standardisierte Vorflugverfahren, die Unterschiede in der Startvorbereitung reduziert haben. Black Boxes – Flugdatenschreiber und Cockpit Voice Recorder, die jeden Vorfall nachvollziehbar und jedes Versagen analysierbar machen. Crew Resource Management (CRM) – ein strukturiertes Protokoll dafür, wie Menschen und automatisierte Systeme im Cockpit Autorität teilen. Und entscheidend: sanktionsfreie Vorfallmeldesysteme wie das Aviation Safety Reporting System der NASA, in dem Piloten Beinahe-Unfälle ohne Karrierefolgen melden – ein Lernkreislauf, der den nächsten Unfall verhindert.

Keine dieser Innovationen verbesserte das Triebwerk selbst. Sie verbesserten das Vertrauenssystem darum herum.

KI braucht dieselbe Infrastruktur. Nicht bessere Modelle – bessere Black Boxes. Nicht klügere Agenten – klarere Checklisten dafür, was sie tun dürfen und was nicht. Nicht leistungsfähigere Copiloten – strukturierte Protokolle dafür, wie Menschen und Agenten Entscheidungsbefugnisse teilen.

Der NIST-CAISI-Request for Information zu „AI Agent Systems“ vom Januar 2026 weist in genau diese Richtung und fordert ausdrücklich Standards für Verantwortlichkeit von Agenten, Durchsetzung von Grenzen und Auditierbarkeit. OWASPs Top 10 for Large Language Model Applications kartiert die Angriffsfläche. Die Bausteine für Vertrauensstandards sind da. Die meisten Unternehmen haben sie nicht zusammengesetzt.

Framework: Die drei Säulen des Vertrauens in Agenten

Vertrauen ist kein Gefühl. Es ist ein Engineering-Ergebnis. Bauen Sie diese drei Systeme, und Vertrauen stellt sich ein.

1. Governance: wer entscheidet was.

Definieren Sie eine Matrix der Entscheidungsbefugnisse für jeden Agenten. Welche Aktionen darf der Agent autonom ausführen? Welche brauchen eine human-in-the-loop-Freigabe? Welche sind komplett verboten? Das ist kein Policy-Dokument, das in SharePoint vor sich hin altert. Es ist eine durchsetzbare Konfiguration – in die Orchestrierungsebene des Agenten codiert, auditierbar, versioniert.

Tools wie NemoClaw setzen kontrollierte Kontextgrenzen durch – sie stellen sicher, dass Agenten ausschließlich über den Semantic Layer auf freigegebene Daten zugreifen, nicht auf Rohtabellen. Der Agent kann sein Mandat nicht überschreiten, weil das Mandat architektonisch durchgesetzt wird und nicht nur dokumentiert ist.

2. Transparenz: was passiert ist und warum.

Jede Agentenaktion muss ein Entscheidungsprotokoll erzeugen: welcher Input ankam, welche Begründungsschritte der Agent genutzt hat, welche Tools aufgerufen wurden, welcher Output entstand und welches Konfidenzniveau zugewiesen wurde. Das ist das KI-Äquivalent zur Black Box. Wenn etwas schiefgeht – und es wird schiefgehen – brauchen Sie die vollständige Spur. Keine Logdatei, die irgendwo in CloudWatch begraben liegt. Ein strukturiertes, abfragbares Entscheidungsprotokoll, das ein Compliance-Team prüfen und ein Fachexperte verstehen kann.

3. Verlässlichkeit: vorhersagbares Verhalten unter bekannten Bedingungen.

Nichtdeterminismus ist bei kreativen Aufgaben akzeptabel. Bei der Schadenbearbeitung, beim Zahlungsrouting oder beim regulatorischen Reporting ist er inakzeptabel. Reliability Engineering für Agenten heißt: fixierte Modellversionen, deterministische Retrieval-Konfigurationen, Regressionstestsuiten, die vor jedem Deployment laufen, und Verhaltenskontrakte, die erwartete Ausgabebereiche für bekannte Eingabeklassen definieren. Der Agent soll sich am Dienstag bei denselben Eingaben genauso verhalten wie am Montag.

%%{init: {'theme': 'base', 'themeVariables': {'primaryColor': '#1a2540', 'primaryTextColor': '#ffffff', 'primaryBorderColor': '#ffffff', 'lineColor': '#ffffff', 'background': '#0a0f1e', 'mainBkg': '#1a2540', 'nodeBorder': '#ffffff', 'edgeLabelBackground': '#1a2540'}}}%%
graph LR
    G["GOVERNANCE
Matrix der Entscheidungsbefugnisse
Durchgesetzte Grenzen
Verantwortungsketten"]
    T["TRANSPARENZ
Entscheidungsprotokolle
Nachvollziehbare
Begründungen
Abfragbare Audit-Logs"]
    R["VERLÄSSLICHKEIT
Fixierte Modellversionen
Regressionstests
Verhaltenskontrakte"]
    G --> TRUST["VERTRAUEN IN
AGENTEN"]
    T --> TRUST
    R --> TRUST
    TRUST --> PROD["Produktiv-
Deployment"]
    PROD --> VALUE["Geschäftswert"]
    style G fill:#1a2540,stroke:#00d4ff,color:#00d4ff,stroke-width:2px
    style T fill:#1a2540,stroke:#ffb347,color:#ffb347,stroke-width:2px
    style R fill:#1a2540,stroke:#00ff88,color:#00ff88,stroke-width:2px
    style TRUST fill:#1a2540,stroke:#ffffff,color:#ffffff,stroke-width:3px
    style PROD fill:#0a2a1e,stroke:#00ff88,color:#00ff88,stroke-width:2px
    style VALUE fill:#0a2a1e,stroke:#00ff88,color:#00ff88,stroke-width:2px

Anwendung: Klarna und Lemonade – zwei Beispiele für Vertrauensinfrastruktur

Zwei öffentliche Fälle zeigen, dass Vertrauensinfrastruktur der entscheidende Faktor ist.

Klarna: was ohne sie passiert. Klarna hat 700 Kundenservice-Mitarbeiter durch KI ersetzt, öffentlich verkündet, dieselbe Arbeit zu einem Bruchteil der Kosten zu erledigen, und sich öffentlich gefeiert. Dann brach die Kundenzufriedenheit ein. CEO Sebastian Siemiatkowski räumte ein, das Unternehmen habe sich „zu sehr auf Effizienz konzentriert“. Sie begannen wieder, Menschen einzustellen. Die KI war fähig. Aber die Vertrauensinfrastruktur – Eskalationspfade, Qualitäts-Feedbackschleifen, Governance darüber, wann KI an einen Menschen übergeben muss – war nicht da. Ohne diese Systeme reichte Leistungsfähigkeit allein nicht aus, um den Produktivbetrieb zu tragen.

Lemonade: was mit Vertrauensinfrastruktur möglich wird. Lemonades AI Jim bearbeitet 55 % der Schadensfälle vollständig autonom in einem regulierten Versicherungsmarkt. Das Vertrauens-Framework ist in der Architektur sichtbar.

Governance: Eine Matrix der Entscheidungsbefugnisse definiert klare Stufen. Einfache Schäden innerhalb definierter Parameter – der Agent entscheidet autonom. Komplexe Schäden oder solche mit hohem Schadenswert gehen an menschliche Sachbearbeiter. Diese Stufen sind architektonisch durchgesetzt, nicht nur dokumentiert.

Transparenz: Jede Schadenentscheidung erzeugt ein strukturiertes Entscheidungsprotokoll. Wenn etwas schiefgeht, ist die vollständige Spur verfügbar – welche Daten der Agent gesehen hat, welche Regeln er angewandt hat, warum er so entschieden hat, wie er entschieden hat. Aufsichtsbehörden können jede Entscheidung prüfen.

Verlässlichkeit: Das System bearbeitet 96 % der ersten Schadensmeldungen konsistent. Der Zwei-Sekunden-Rekord bei der Schadensregulierung ist keine einmalige Demo – er steht für einen wiederholbaren Prozess innerhalb definierter Parameter.

Lemonades Operations-Verantwortliche können Aufsichtsbehörden erklären, was das System tut. Klarnas konnten nicht erklären, warum die Kundenzufriedenheit fiel. Der Unterschied liegt nicht in der Modellqualität. Er liegt in der Vertrauensinfrastruktur.

Implikation: Vertrauen ist das Produkt

Die Unternehmen, die aus agentenbasierter KI Geschäftswert ziehen werden, sind nicht die mit den besten Modellen. Es sind die, die Vertrauensinfrastruktur zuerst bauen – Governance, Transparenz, Verlässlichkeit – so bewusst, wie sie Datenpipelines bauen. Die Luftfahrt hat nicht auf das perfekte Flugzeug gewartet, um Passagiere zu befördern. Sie hat die Systeme gebaut, die unvollkommene Flugzeuge vertrauenswürdig gemacht haben. Dieselbe Disziplin auf KI-Agenten angewandt trennt das erfolgreiche Produktiv-Deployment vom nächsten abgesagten Pilotprojekt. Vertrauen ist kein weiches Problem. Es ist ein Systems-Engineering-Problem. Behandeln Sie es so.

Quellen

  • McKinsey, „The State of AI“ – mckinsey.com
  • NIST CAISI, „Request for Information Regarding AI Agent Systems“ (Januar 2026) – nist.gov
  • OWASP, „Top 10 for Large Language Model Applications“ – owasp.org
  • Fortune, „Klarna reverses AI-first customer service strategy“ – fortune.com
  • Lemonade Insurance, „AI Jim sets new world record“ – lemonade.com

Daniel Piatkowski — Data & Analytics-Veteran, der AI-native Unternehmen prägt.