Autonome KI-Agenten sind eine tickende Zeitbombe ohne angemessene Leitplanken

Die meisten von uns fragen sich, ob 2025 das Jahr sein wird, in dem Künstliche Intelligenz (KI) endlich aufhört, nur Musiktitel für Playlists vorzuschlagen, und anfängt, die Welt zu regieren. Und nicht weit dahinter wird der autonome KI-Agent stehen – im Grunde eine KI, die nicht nur eigenständig denkt, sondern vielleicht auch nach einer Gehaltserhöhung fragt.

Doch angesichts existenzieller Risiken (wer möchte schon seine Autonomie aufgeben?) stellt sich die Frage: Gibt es eine Leitplanken-Strategie, um sichere KI zu gewährleisten? Lassen Sie uns die größten Risiken betrachten und erörtern, wie Sie Kontrollen am richtigen Ort, mit den passenden Nachweisen und der adäquaten menschlichen Aufsicht einsetzen können. 

Die weite Welt der Risiken durch KI-Agenten 

Die Ältesten von uns sind mit der Skepsis gegenüber dystopischen Szenarien aus 2001: Odyssee im Weltraum oder Blade Runner aufgewachsen, während die Jüngsten sich an WALL-E und die Vorteile erinnern, die KI für die Menschheit bringen könnte.

Heute setzen sich Technologieverantwortliche mit einer Vielzahl unmittelbarer, aber kritischer Risiken auseinander (immer noch eines Hollywood-Films würdig), die den betrieblichen Fortschritt behindern. Die zurzeit am häufigsten in Vorstandsetagen diskutierten Risiken beinhalten: 

• Verlust einer effektiven menschlichen Aufsicht, insbesondere bei vielen kleinen, sich aufaddierenden Entscheidungen (das sprichwörtliche "Wurstherstellen" beobachten);
• Psychologische Auswirkungen auf Einzelpersonen, einschließlich ungesunder oder schädlicher Bindungen von Nutzern;
• Unbefugte oder böswillige Handlungen;
• Materielle Auswirkungen auf Gesundheit, Sicherheit oder das finanzielle Wohlergehen infolge fehlerhafter oder voreingenommener Entscheidungsfindung; und
• Manipulation oder aktive Beeinflussung führen dazu, dass Menschen Entscheidungen treffen, die sie sonst nicht getroffen hätten.

Weitere Risiken umfassen Datenschutz, Datenproblematiken und gesellschaftliche Auswirkungen. Wenn Sie Geschichten über KI-Bot-Farmen gelesen haben, die Desinformation zu politischen Zwecken verbreiten, sind Ihnen die Folgen bereits bekannt.

Wenn KI befähigt wird, Entscheidungen in alltäglichen Aufgaben zu skalieren (wo wir fahren, was wir essen, was wir anschauen) – und das ohne Menschen im Kreislauf – wie wirkt sich das auf Individuen, die Gesellschaft und unseren gemeinsamen Kurs aus? 

Ein weiteres Risiko, das wir hervorheben müssen, das mit vielen der genannten Aspekte zusammenhängt und vielleicht das existenziellste ist, ist die Unfähigkeit von KI-Agenten, den Umfang und die Auswirkungen ihrer Handlungen abzuschätzen.

Man muss wissen: Ein KI-Agent wird stets die Vorgaben seiner Entwickler perfekt ausführen. Doch es fehlt ihm die menschliche Fähigkeit, ein Gleichgewicht zwischen Prozess, Ethik, Effizienz, Transparenz, Geschwindigkeit, Verständnis, gesellschaftlichen Auswirkungen usw. herzustellen.

Ein KI-Agent ist nicht in der Lage, all diese echten und menschlichen Faktoren zu balancieren, um einen „ausreichend guten“ oder ausgeglichenen Zustand zu erreichen. Er konzentriert sich ausschließlich darauf, ein einzelnes Ziel maximal zu erfüllen.

Der weltweit anerkannte KI-Experte Professor Yoshua Bengio und andere betonen, dass die Risiken durch KI-Agenten die bedenklichsten unter allen generativen KI-Risiken sind, und dass diese Modelle möglicherweise auf Ziele optimieren, die für Menschen unbekannt und unverständlich sind (selbst wenn sie von Menschen definiert wurden). Das könnte katastrophale Folgen haben. 

A WEEKLY 5 MINUTE READ

Upgrade your inbox with more tech leadership wisdom for delivering better software and systems.

Comments

This field is for validation purposes and should be left unchanged.

Your email*

By submitting you agree to receive occasional emails and acknowledge our Privacy Policy. You can unsubscribe at anytime.

Regulierungsbehörden verlangen Nachweise für Kontrollen

Vor dem Hintergrund dieser Risiken schaffen internationale Regulierungsbehörden derzeit die Rahmenbedingungen dafür, dass Technologieverantwortliche effektive Kontrollen gegenüber diesen Risiken einführen (wenn auch vorsichtig), und sie machen Organisationen klar, was derzeit in unseren Gesellschaften akzeptabel ist – und was nicht.

In den USA haben Verbraucherauskunfteien und die Hypothekenbranche versucht, Entscheidungsfindung mittels Automatisierung auf Kreditentscheidungen und die Vergabe von Hypotheken anzuwenden. Das „Consumer Financial Protection Bureau“ (CFPB) hat hierzu rasch Richtlinien veröffentlicht, mit denen es diese Nutzung einschränkt, und erklärt: „Für Künstliche Intelligenz gibt es keine Sonderausnahmen“, da die für Entscheidungen herangezogenen Datensätze nicht immer relevant für die finanziellen Verhältnisse der Einzelpersonen sind. 

Auf der anderen Seite des Atlantiks hat der EU AI Act eine Reihe von verbotenen Praktiken aufgeführt, die ab Februar 2025 in Kraft treten. Zu den verbotenen Praktiken zählt u.a. der Einsatz von KI zum sozialen Scoring, also die Bewertung oder das Klassifizieren von Personen auf Basis ihres Sozialverhaltens oder ihrer Eigenschaften. Ähnlich wie die Bedenken des CFPB konzentriert sich die EU auf unrechtmäßige und voreingenommene Entscheidungsfindung (oder Kategorisierung) von Personen und hat diese Arten von Verhalten für KI-Systeme ausdrücklich verboten. 

Die Grundlage schaffen 

Glücklicherweise hat diese erste Welle von generativer KI Gesellschaft, Vorstandsetagen und Führungskräfte dazu gebracht, sich mit den schwierigen Themen wie Voreingenommenheit, Halluzinationen und materiellen Auswirkungen infolge des Fortschritts unserer Modelle auseinanderzusetzen.

Und Führungskräfte sind zu zwei zentralen Prinzipien gelangt, wenn sie sich mit den Risiken und Chancen von KI-Agenten auseinandersetzen. 

1. Jede Organisation, die KI-Agenten einsetzen möchte, muss einen unabhängigen und umfassenden Prozess zur Risikobewertung für Anwendungsfälle haben. Ein formeller Prozess zur Risikobewertung von Anwendungsfällen bestimmt, wie das unternehmenseigene Risiko gesteuert wird und wie der KI-Agent eingesetzt wird. Um diesen Prozess einzurichten, müssen Sie sicherstellen, dass Ihre Organisation ein funktionsübergreifendes Team aufgestellt hat (entscheidend für eine breite Abdeckung aller Arten von Risiken im Zusammenhang mit KI-Agenten), das sich darauf konzentriert, die Risiken eines KI-Agenten umfassend zu bewerten, einschließlich:
   • Identifikation und Erfassung relevanter Risikofaktoren für verschiedene Risikotypen wie operative, reputationsbezogene, rechtliche, Compliance-, ethische, technologische und Informationssicherheitsrisiken
   • Abbildung von Kontroll- und Überwachungserwartungen anhand aufkommender Best Practices im Bereich Risikomanagement für KI, einschließlich jener der International Standard of Organization (ISO) und des National Institute of Standards and Technology (NIST) sowie neuer branchenüblicher Kontrollen (sowohl automatisiert als auch mit menschlicher Überwachung) und
   • Identifizierung von Restrisiken innerhalb von KI-Agenten-Anwendungsfällen.
2. Wir können uns nicht darauf verlassen, dass Modellentwickler die nötigen Sicherheitswerkzeuge bereitstellen. Organisationen müssen Schutzmechanismen und Compliance-Tools unabhängig von den Modellentwicklern selbst entwickeln, um ausreichende Kontrolle über die eigenen generativen KI-Systeme zu bewahren.
   • Sicherheit im Modell darf nicht allein den Modellentwicklern überlassen werden. Das GPT-4o-Modell von OpenAI schneidet (um 21 % schlechter) im Vergleich zu eigenen Modellen bei der Umsetzung von Sicherheitsmechanismen und sonstigen Compliance-Aufgaben ab. Modellentwickler haben möglicherweise eng gefasste Definitionen von Sicherheit oder unpassende Schutzmechanismen für Größe, Komplexität, Risikobereitschaft oder ethische Anforderungen Ihrer Organisation.
   • Was bedeutet es, die Kontrolle über die Sicherheit jemand anderem als der eigenen Organisation zu überlassen? Organisationen müssen die Risiken berücksichtigen, ungewollten (Systemausfälle, implizite Voreingenommenheit) oder beabsichtigten (mangelnde Transparenz, mit der Zeit fehlangepasste Modelle) Sicherheitsrisiken des Modellentwicklers ausgeliefert zu sein. 

Modulare Schutzmechanismen für KI-Agenten 

Wie also sollten Sie als Technologieverantwortliche die eingesetzten Schutzmechanismen (also Kontrollen) betrachten, um die oben genannten Risiken einzudämmen?

Glücklicherweise gibt es in diesem Bereich viele effektive Theorien, weshalb wir auf führende KI-Akademiker und -Praktiker achten sollten, darunter Professor Yoshua Bengio, sowie weitere angesehene Experten wie den Nobelpreisträger Professor Geoffrey Hinton, den MIT-Professor Max Tegmark und viele andere. Ihr Rat? Zweigeteilt…

1. Agentische KI in modulare Aufgaben und Arbeitsabläufe unterteilen 
2. Für jeden einzelnen Schritt eigene Schutzmechanismen und Kontrollen einrichten

Die Aufteilung des Entwicklungsprozesses eines agentischen KI-Modells in kleinere, modulare Aufgaben senkt das Risiko automatisierter Ausführungen, unterstützt die Ursachenanalyse und erleichtert menschliches Eingreifen sowie Überwachung.

Beispielsweise sollte man einen agentischen KI-Agenten nicht einfach auffordern, „einen Q4-Geschäftsbericht zur Analyse der Cashflows zu schreiben“, sondern ihn dazu einsetzen, die Aufgabe stufenweise zu erledigen, etwa so:

1) Erstellung einer Pivot-Tabelle in einem Excel-Blatt zum Ordnen der Cashflows nach Monat und Unternehmen,

2) Vergleich mit den Vorquartalen, und

3) Zusammenfassung der wichtigsten Tendenzen im Bericht!

Sobald dieser Rahmen steht, sollten für jeden Schritt Schutzmechanismen eingerichtet werden. Wenn Sie agentische Systeme als Werkzeuge und nicht als vollständig autonome End-to-End-Systeme betrachten, können Sie katastrophale Folgen verhindern, zum Beispiel das betrügerische Verändern von Zahlen durch Agentic-AI-Systeme (was bei OpenAIs neuestem Modell, o1, Berichten zufolge in 19 % der Fälle auftritt).

Indem zu jedem Schritt des Prozesses ein Kontrollmechanismus eingerichtet wird, erhalten Organisationen wirksame, detaillierte und streng geregelte Möglichkeiten zur Steuerung und Überwachung darüber, welche Daten Agenten nutzen dürfen, wie diese verwendet werden und welche Schlussfolgerungen sie ziehen dürfen.

Daraus ergibt sich, dass es auf die Belege (und die Überwachung) ankommt, die Sie etablieren. Fortlaufende Compliance-Berichte, Schulungen, Aufbewahrung von Unterlagen, Prüfprotokolle, unabhängige Prüfungen sowie Steuerungs- und Eskalationsprotokolle liefern wichtige Einblicke in das weit verzweigte Ökosystem von Interessengruppen, das ein KI-Agent haben kann. 

Need expert help selecting the right tool?

With one-on-one help, we guide you to your top software options. Narrow down your software search & make a confident choice.

Get free tool advice

Kritische Fragen, die Sie stellen sollten

Letztlich müssen sich alle technischen Führungskräfte einige kritische Fragen stellen und beantworten, bevor sie den Weg zum KI-Agenten in ihrer Branche einschlagen:

• Fühlen wir uns mit den vorhandenen Kontrollmechanismen wohl, um die durch unseren Anwendungsfall identifizierten inhärenten Risiken zu mindern?
  • Wenn wir ein Kontrollrahmenwerk haben, sind wir uns sicher, dass wir die Überwachung dieser Kontrollen angemessen steuern können?
  • Wenn wir die Kontrollen nicht eingerichtet haben, sollten wir dennoch weitermachen?
  • Haben wir einen Rahmen zur kontinuierlichen Überwachung neuer Risiken, die durch Fortschritte in agentischer KI entstehen könnten?
• Haben wir unsere Drittanbieter-Modelle unabhängig bewertet?
  • Haben wir Benchmarks, mit denen wir die Leistung im Vergleich zu den von uns erwarteten Werten und eingebetteten Schutzmechanismen bewerten können?
  • Glauben wir, dass die Sicherheitskontrollen unseren Standards entsprechen und dass wir die Kontrolle darüber haben? 
• Welche Rolle wird die menschliche Überwachung in unserer Implementierung übernehmen?
  • Verfügt unsere Organisation über die richtigen Personen, Prozesse und Technologien, um aktiv die Überwachung unserer KI-Agenten zu übernehmen?
  • Fühlen wir uns wohl dabei, wenn die Aufgaben unseres Anwendungsfalls auf autonome Weise abgeschlossen werden?  

Sie werden die Antworten vielleicht nicht mögen oder sie führen womöglich nicht zu einer Risikobereitschaft, die Ihr Unternehmen vertreten will, aber wie man so schön sagt, die Wahrheit ändert sich nicht, nur weil wir sie nicht sehen wollen! 

Abonnieren Sie den Newsletter des CTO Clubs für weitere Einblicke zu KI.