Technischer Leiter warnt Ingenieure: Gehen Sie nicht davon aus, dass KI sicher ist

Pedro Thomaz ist der Gründer und CTO von Amplified Creations sowie der Produkte in dessen Portfolio.

Wir haben uns mit ihm zusammengesetzt, um über die Chancen der KI sowie ihre kritischen Sicherheitsbedrohungen zu sprechen. Das hat er uns erzählt.

Als KI „Klick“ machte

Ich bin Pedro, CTO, Entwickler und erhole mich gerade von meiner „einfach ausliefern“-Mentalität.

Ich habe wie die meisten in der Technologiebranche angefangen: Code schreiben, Projekte ausliefern und Kunden zufriedenstellen. Jahrelang leitete ich Amplified Creations, ein Kreativ- und Technologiestudio, das ich 2007 mitgegründet habe und in dem wir maßgeschneiderte Software, virtuelle Rundgänge und digitale Erlebnisse für Unternehmen in Portugal und darüber hinaus entwickelten. Gute Arbeit. Solide Arbeit. Aber größtenteils im Ausführungsmodus.

Dann kam die KI. Nicht die Hype-Welle, sondern der tatsächlich nützliche Teil. Bei der Arbeit an RVer, einem VR-Gesundheitssystem, das wir intern entwickeln, machte es Ende 2023 bei mir „Klick“.

Wir entwickelten immersive Umgebungen, um die Angst von Patienten in klinischen Einrichtungen zu reduzieren: Krankenhäuser, Pflegeheime usw. Als wir KI in das System integrierten, änderte sich etwas. Ärzte, medizinisches Fachpersonal und Therapeuten – die Menschen, die in einem wirklich komplexen Umfeld mit hohen Risiken arbeiten – wurden messbar effizienter.

Da hörte ich auf, über KI als Funktion nachzudenken, und begann, sie als Grundlage zu entwickeln.

Heute arbeite ich über Amplified Creations mit Unternehmen aus verschiedenen Branchen zusammen, um sie dabei zu unterstützen, KI dort einzusetzen, wo sie einen spürbaren Unterschied macht: im Betrieb, bei Inhalten, in der Automatisierung und bei der Auslieferung.

Ein Bedarf an technischen und betrieblichen Grenzen

Amplified Creations ist eine einzigartige Kombination aus Kreativstudio, Technologiehaus und KI-Beratung.

Wir sind ein schlankes, aber erfahrenes Team. Je nach Projektphase koordinieren wir mehr als 25 Personen – eine Mischung aus internen Mitarbeitern und spezialisierten Auftragnehmern. Unsere Organisation legt Wert auf Flexibilität, nicht auf Mitarbeiterzahlen.

Unser Produktportfolio ist vielfältig. Am einen Ende steht RVer – unsere hauseigene VR-Plattform für das Gesundheitswesen –, die auf einer privaten, vom Netzwerk getrennten Infrastruktur läuft. Gesundheitsdaten gelangen nicht in die Cloud. Punkt. Am anderen Ende steht unsere Arbeit an KI-Automatisierung für Kunden – portugiesische KMU aus Einzelhandel, Industrie und Dienstleistungssektor –, die in der Regel cloudnativ ist, schnell bereitgestellt wird und sich in deren bestehende Systeme integriert.

Architektonisch sind wir pragmatisch. Wir verfolgen keine bestimmte Technologie-Philosophie. Wir wählen, was zum Sicherheitsmodell, zum Reifegrad des Kunden und zum Zeitplan für die Umsetzung passt. Das bedeutet in der Regel die Cloud, aber wenn es die Domäne erfordert, entwickeln wir stattdessen für eine private, sichere Bereitstellung vor Ort.

Der Wechsel zwischen all diesen Bereichen schafft Komplexität. Ein Team zu leiten, das im selben Sprint sowohl ein stark reguliertes VR-Gesundheitssystem als auch eine KI-Automatisierung für den Einzelhandel ausliefert, erfordert sehr klare Grenzen – sowohl technisch als auch betrieblich.

Pedro berichtet

Ein Team zu leiten, das im selben Sprint sowohl ein stark reguliertes VR-Gesundheitssystem als auch eine KI-Automatisierung für den Einzelhandel ausliefert, erfordert sehr klare Grenzen – sowohl technisch als auch betrieblich.

Wie KI die Entwicklung und Steuerung von Produkten durch CTOs verändert

KI berührt alles, aber das letzte Wort hat immer der Mensch. Besonders im Gesundheitswesen.

Sie beeinflusst, wie wir entwickeln, was wir bereitstellen und wie wir es steuern.

KI beeinflusst jede Ebene: Architekturentscheidungen, Codeprüfungen, Tests, die Priorisierung des Backlogs, die Reaktion auf Vorfälle und Sicherheitsprüfungen. Außerdem setzen wir spezielle Agenten für Entwicklung, Codeprüfung, Bereitstellung und Rückkopplungsschleifen mit Kunden ein.

Wenn ein Kunde beispielsweise ein Usability-Problem meldet, fließt dies direkt in einen Agenten ein, der uns dabei hilft, die Lösung zu identifizieren und schneller umzusetzen. Das Produkt wird komplexer, aber paradoxerweise arbeitet das Team schneller, weil die Agenten den zusätzlichen Aufwand auffangen.

KI agiert jedoch als äußerst leistungsfähige Maschine für Entwürfe, nicht als Entscheidungsträger. Ein Mensch prüft, genehmigt oder passt an und erteilt die endgültige Freigabe. Jedes Mal.

Im Fall von RVer ist das nicht nur eine Philosophie. Es ist eine regulatorische Realität. Infarmed – Portugals Behörde für Gesundheitsprodukte – legt einen Maßstab an, bei dem uns ein falsch gesetztes Komma in der Dokumentation die Lizenz kosten kann. Falsche Informationen, die durch einen Codeausschnitt sichtbar werden, und eine langsame Reaktion auf einen Vorfall haben beide Konsequenzen, für die kein KI-Agent zur Verantwortung gezogen werden kann. Deshalb behalten wir Menschen im Prozess – nicht nur für die Qualität, sondern auch für die Verantwortlichkeit. Jemand trägt immer die Verantwortung für das Ergebnis.

Dennoch ist die Grenze nicht immer eindeutig.

So funktioniert ein KI-gestützter Entwicklungs-Workflow

So funktioniert unser KI-gestützter Entwicklungs-Workflow.

Er beginnt mit einer Idee. Manchmal kommt sie vom Team, manchmal aus dem Feedback von Kunden und zunehmend auch von der KI, die auf Grundlage erkannter Muster Verbesserungen vorschlägt. Jede Idee geht zuerst an unser medizinisches Team. Wenn sie auf dem Papier klinisch keinen Sinn ergibt, wird sie dort verworfen. Wir schreiben keinen Code.

Wenn sie diesen Filter besteht, erstellen wir schnell einen Prototyp. Die KI kann in einer Handvoll Sitzungen ein funktionierendes MVP erstellen, deshalb diskutieren wir Ideen nicht lange. Die Prototypen bilden die Grundlage für die Diskussion.

Wir entwickeln sie, testen sie intern mit medizinischen und technischen Mitarbeitern und lassen die Ergebnisse entscheiden. Wenn der Prototyp vielversprechend ist, gehen wir in die Produktion.

Produktion bedeutet, dass das Team und die KI gemeinsam programmieren — wir integrieren von Anfang an eine Fehlerprotokollierung, die unser Backoffice in Echtzeit versorgt. Wenn eine neue Funktion veröffentlicht wird, beobachten wir sie live. Das Team prüft und genehmigt sie, und nichts wird veröffentlicht, bevor es fehlerfrei ist.

Warum Claude Code für die KI-Entwicklung entscheidend ist

Claude Code ist das wichtigste Werkzeug in unserem Entwicklungs-Stack.

Es ist nicht nur ein Programmierassistent, sondern kommt einem erfahrenen Entwickler, der rund um die Uhr verfügbar ist, am nächsten. Es schreibt und überprüft Code, macht Vorschläge, findet Fehler und integriert sich über sein Plugin-Ökosystem in alles.

Die meisten KI-Entwicklungstools beherrschen eine Sache gut. Claude Code deckt den gesamten Ablauf ab — von „Hier ist die Idee für eine neue Funktion“ bis zu „Hier ist der Code, hier sind die potenziellen Probleme und darauf würde ich in der Produktion achten“. Das ist kein Werkzeug. Das ist ein Workflow.

Wenn ich alles mit einem einzigen Werkzeug an meiner Seite von Grund auf neu aufbauen müsste, wäre es dieses.

Wie KI Sicherheitsrisiken schafft

KI beschleunigt alles, auch die Menschen, die versuchen, in Ihre Systeme einzudringen.

Das haben wir vor Kurzem gelernt, als die Infrastruktur eines Drittanbieter-Servers eines Kunden kompromittiert wurde. Wir verwalteten dessen Sicherheit nicht, aber seine API-Schlüssel befanden sich in einem von uns entwickelten KI-System. Die Schlüssel wurden offengelegt. Wir halfen dem Kunden, die Zugangsdaten sofort zu erneuern, berieten sein Serverteam dazu, welche Bereiche abgesichert werden sollten, und bauten anschließend die Sicherheitsschicht unseres eigenen Systems von Grund auf neu auf. Selbst wenn seine Infrastruktur erneut angegriffen wird, sind die Schlüssel in unserem System jetzt deutlich schwerer zugänglich.

Das hat mir gezeigt, dass ich mich nicht auf Sicherheitsmaßnahmen verlassen sollte, die wir nicht kontrollieren. Übernehmen Sie die Verantwortung für jede Ebene, die Sie können, unabhängig davon, wer die nachgelagerten Bereiche verwaltet.

KI hat das Entwicklungstempo auf 11 hochgedreht. Das Angriffstempo hat sie ebenfalls auf 11 hochgedreht. Es ist dasselbe Rennen wie zuvor, nur deutlich schneller.

Warum technische Führungskräfte verstehen müssen, dass Sicherheit bei KI nicht standardmäßig gewährleistet ist

Das obige Beispiel hätte sich möglicherweise anders entwickelt, wenn es sich um ein vollständig von Menschen entwickeltes System gehandelt hätte. Vielleicht. Wir werden es nie erfahren. Aber bei Projekten, die per Gefühl programmiert wurden, sehe ich das ständig. Und das bestätigt etwas Wichtiges: KI beschleunigt die Produktion, und wenn die Menschen, die sie überwachen, nicht sorgfältig arbeiten, werden die Lücken größer statt kleiner.

Anders ausgedrückt: Die KI hat diese Probleme nicht verursacht. Verursacht wurden sie durch das Fehlen eines echten Ingenieurs hinter der KI.

Denn derzeit muss jeder CTO wissen, dass Sicherheit bei KI nicht standardmäßig gewährleistet ist.

Wenn die KI sich weigert, Ihnen beim Hacken einer Regierungswebsite zu helfen, ist das eine im Modell verankerte Werteentscheidung. Sie wird es nicht tun. Punkt. Dasselbe Modell generiert jedoch bereitwillig Code, der API-Schlüssel offenlegt, MFA in einem Anmeldeformular überspringt oder eine .env-Datei in ein öffentliches Repository überträgt, weil ihm niemand gesagt hat, dass es das nicht tun soll.

Ehrlich gesagt stört mich diese Asymmetrie. Wenn die KI über die Architektur verfügt, ethische Leitplanken durchzusetzen, verfügt sie auch über die Architektur, grundlegende Sicherheitspraktiken durchzusetzen. Ein Entwickler, der zum ersten Mal eine Anwendung erstellt und eine KI darum bittet, sollte nicht bereits wissen müssen, was er über Sicherheit nicht weiß. Das Modell sollte die grundlegenden Maßnahmen automatisch handhaben: niemals Geheimnisse committen, bei der Authentifizierung immer MFA implementieren, niemals sensible Konfigurationen in kompilierten Ausgaben offenlegen usw.

Dieselbe Logik, die die KI davon abhält, externen Schaden anzurichten, sollte sie auch davon abhalten, intern Schaden zu verursachen. So weit sind wir noch nicht. Und bis dahin ist ein Junior-Entwickler mit einem KI-Assistenten immer noch ein Junior-Entwickler — er veröffentlicht nur schneller und macht auch schneller kostspielige Fehler!

Wie KI Entwicklungszeitpläne verändert

Die Ergebnisse der KI waren bedeutend. Aber ebenso bedeutend sind die daraus gewonnenen Erkenntnisse.

Positiv betrachtet sprechen die Zahlen für sich. Bei der Arbeit für Kunden konnten wir den Zeitaufwand für administrative Aufgaben in einigen Fällen um bis zu 85 % reduzieren, und manche Aufgaben sind inzwischen vollständig automatisiert. Dadurch wirkt die Frage „Wie viel Zeit haben wir gespart?“ beinahe philosophisch. Entwicklungszyklen, die früher sechs Monate gedauert hätten, werden nun in drei bis vier Monaten abgeschlossen.

Intern ist unser Entwicklungsoutput ungefähr fünfmal so hoch wie vor der KI – gemessen an Codezeilen pro Sitzung, Git-Commits pro Tag und pro Sprint ausgelieferten Funktionen. Dieses Tempo lässt sich jemandem, der es nicht selbst erlebt hat, nur schwer erklären.

Und niemand wurde entlassen. Wir sind nicht groß genug, um über Entlassungen zu sprechen, aber noch wichtiger ist: Das war nie das Ziel. Verändert hat sich die Tätigkeit der Menschen. Das Team, das früher den Großteil seiner Zeit mit dem Schreiben von Code verbracht hat, verbringt sie nun mit Prüfen, Entscheiden und Verbessern. Das ist eine bessere Nutzung der Zeit erfahrener Mitarbeiter.

Wie KI den Fokus bei Einstellungen auf Erfahrung auf leitender Ebene verlagert

Früher lautete die Frage bei Einstellungen: „Welche Programmiersprachen beherrschen Sie?“ Das ist inzwischen nahezu irrelevant. KI übernimmt die Syntax. Worauf wir heute bei Einstellungen achten, ist Urteilsvermögen.

Erkennen Sie eine Sicherheitslücke in von KI generiertem Code? Was tun Sie, wenn Ihr KI-System versehentlich eine .env-Datei offenlegt? Verstehen Sie, warum das wichtig ist? Wie prüfen Sie eine Ausgabe, die Sie nicht Zeile für Zeile selbst geschrieben haben?

In der Praxis stellen wir keine Junior-Entwickler mehr ein. Nicht, weil wir Menschen am Anfang ihrer Karriere nicht schätzen, sondern weil die KI die Aufgaben übernommen hat, die früher Junior-Entwickler erledigten. Die KI schreibt den Code. Wir brauchen jemanden mit genügend Erfahrung, um zu erkennen, wann er fehlerhaft ist.

Wir bewerten inzwischen jeden Entwickler, den wir einstellen, nach den Maßstäben einer Einstellung auf leitender Ebene. Sicherheitsbewusstsein, kritische Prüfung und professionelles Urteilsvermögen. Die Messlatte ist gestiegen, weil KI das Ausgangsniveau angehoben hat.

Wie KI den Schutzwall der Komplexität beseitigt

Führungskräfte unterschätzen , wie schnell KI andere in die Lage versetzt, etwas zu reproduzieren, dessen Aufbau Jahre gedauert hat.

Betrachten wir SaaS-CRMs als Fallbeispiel. Jahrelang bestand der Schutzwall in der Komplexität. Der Zeitaufwand, die Kosten und das erforderliche Fachwissen für die Entwicklung einer vergleichbaren Lösung führten dazu, dass die meisten Unternehmen einfach das Abonnement bezahlten und weitermachten. Diese Rechnung hat sich verändert. Ich habe Unternehmen dabei geholfen, ihr eigenes CRM von Grund auf aufzubauen, exakt auf ihre Bedürfnisse zugeschnitten und zu einem Bruchteil der langfristigen Kosten. Kein unnötiger Ballast. Keine Funktionen, die sie nie verwenden werden. Keine monatliche Rechnung, die jedes Jahr wächst.

SaaS-Unternehmen, die ihr Geschäft auf dem Versprechen aufgebaut haben: „Die Reproduktion würde Jahre dauern“, stellen fest, dass dies nicht mehr stimmt. Die Aktienkurse spiegeln das wider.

Das ist das Risiko, das CTOs regelmäßig unterschätzen. Es geht nicht darum, dass KI ihre Branche von außen auf den Kopf stellen wird, sondern darum, dass sie Wettbewerbern, Kunden und sogar den eigenen Endkunden still und leise die Werkzeuge an die Hand gibt, um Lösungen an ihnen vorbei aufzubauen.

Wenn Ihre Verteidigungsfähigkeit auf Komplexität und der Entwicklungsdauer beruht, hat KI gerade Ihren Schutzwall beseitigt. Die Frage ist, ob Sie das bemerkt haben, bevor es jemand anderes getan hat.

Warum die KI-Arbeitsplatzapokalypse Unsinn ist

Pedro teilt seine Gedanken

KI ist ein Werkzeug, kein Mitarbeiter. Selbst wenn sie sich durch Agenten, Automatisierung oder autonome Pipelines wie ein Mitarbeiter verhält, ist jemand für ihre Handlungen verantwortlich.

Hier sind vier Ratschläge. Und ich meine alle vier.

Erstens: KI ist ein Werkzeug, kein Mitarbeiter. Selbst wenn sie durch Agenten, Automatisierung oder autonome Pipelines wie ein solcher agiert, ist jemand für das verantwortlich, was sie tut. Ein Mensch muss eingebunden sein. Nicht nur aus Haftungsgründen, sondern weil das Ergebnis tatsächlich besser ist, wenn eine denkende Person die Richtung vorgibt. Das darf man nie vergessen.

Zweitens: Menschen haben KI entwickelt, also weist sie Fehler auf, wie sie für Menschen typisch sind. Sie halluziniert. Sie nimmt es mit der Sicherheit nicht immer genau. Sie macht selbstbewusste Fehler. Behandle sie wie ein brillantes, aber noch unerfahrenes Teammitglied: unglaubliche Ergebnisse, aber Überwachung erforderlich. In dem Moment, in dem du aufhörst, ihre Arbeit zu überprüfen, ist der Moment gekommen, in dem sie stillschweigend etwas ausliefert, das du bereuen wirst – oder deine gesamte Datenbank löscht!

Drittens: Richtig konfiguriert ist KI ein absolutes Monster – im bestmöglichen Sinne. Mit den richtigen Parametern, dem richtigen Kontext und den richtigen Leitplanken kann sie deinen Kalender verwalten, Anrufe beantworten, deine internen Geschäftsabläufe automatisieren, deine Familienfotos korrigieren, deine Vertriebspipeline füllen und vieles mehr. Wenn ein Prozess einen Computer einbezieht, kann KI ihn entweder selbst erledigen oder die dafür benötigte Zeit drastisch verkürzen. Die Grenzen sind von hier aus wirklich nur schwer zu erkennen.

Viertens: Die KI-Apokalypse auf dem Arbeitsmarkt ist Unsinn, verbreitet von Menschen, die sich nie mit Geschichte beschäftigt haben. Wir waren schon einmal an diesem Punkt. Die industrielle Revolution. Das Fließband. Industrierobotik. Jedes Mal lautete die Prognose: Massenarbeitslosigkeit. Jedes Mal geschah stattdessen Folgendes: Die Menschen hörten auf, langweilige, repetitive und zermürbende Arbeit zu erledigen, und wandten sich kreativeren Aufgaben mit höherem Mehrwert zu. KI wird dasselbe bewirken, nur schneller.

Ja, einige Tätigkeiten werden verschwinden. Ich habe es bereits erlebt. Aufgaben, die früher die fachkundige Interpretation von Daten erforderten, erledigt ein Modell heute besser und schneller. Aber diese Menschen sind nicht überflüssig. Sie werden freigesetzt.

Betrachte es einmal so: Wie viele Zehnjährige könnten heute von ihrem Schlafzimmer aus eine App entwickeln? Nun stelle dieselbe Frage in einer Welt ohne KI. Das Kind hat sich nicht verändert. Seine Ideen haben sich nicht verändert. KI hat lediglich die Barriere zwischen Vorstellungskraft und Umsetzung beseitigt. Das ist keine Bedrohung, sondern die bestmögliche Entwicklung, die daraus entstehen kann.

Wir müssen nur unsere Einstellung ändern. Wir müssen sie annehmen, erforschen, mit ihr arbeiten und lernen, mit ihr zu leben. Die Maschinen übernehmen die schwere Arbeit. Wir geben ihnen die Befehle.

Folgen Sie uns

Mehr über Pedros Arbeit erfahren Sie auf LinkedIn. Sehen Sie sich auch Amplified Creations an.

Weitere Experteninterviews folgen im The CTO Club!