Globaler Leiter der KI-Architektur sagt, dass KI eine Änderung des Betriebsmodells und keine Einführung eines Werkzeugs ist

Manish Jain ist Vizepräsident und globaler Leiter der KI-Architektur bei Firstsource, wo er ein 50-köpfiges Team leitet. Sein aktueller Schwerpunkt liegt auf dem Aufbau agentenbasierter Systeme, die mehrstufige Aufgaben bewältigen können.

Wir haben uns mit Manish zusammengesetzt, um zu erfahren, wie KI sein Betriebsmodell verändert. Das hat er erzählt.

Vom Potenzial zu produktionsreifen Fähigkeiten

Ich bin Manish Jain, eine Führungskraft im Bereich KI und Technologie, die sich darauf konzentriert, Organisationen dabei zu helfen, KI-Potenzial in zuverlässige, produktionsreife Fähigkeiten umzuwandeln. Meine Arbeit orientiert sich an der praktischen Realität von Transformation. In den vergangenen Jahren habe ich zahlreiche KI- und ML-Initiativen geleitet, eng mit Geschäftsteams zusammengearbeitet und an Entwicklungs- sowie Bereitstellungsprojekten gearbeitet, bei denen der Erfolg von weit mehr abhängt als von der Auswahl des richtigen Modells. Architektur, Datenqualität, Sicherheit, Integration, Benutzerakzeptanz und ein klarer Geschäftswert müssen zusammenpassen.

Derzeit leite ich KI-Initiativen in einer funktionsübergreifenden Organisation mit rund 50 Personen, darunter Software- und Plattformingenieure, Fachleute für KI und Daten, Produktverantwortliche, Sicherheitspartner und Experten für Geschäftsdomänen. Die Arbeit umfasst die Implementierung von Unternehmens-KI und die Bereitstellung direkt beim Kunden. Die Teams arbeiten eng mit Kunden und internen Stakeholdern zusammen, um hochwertige Anwendungsfälle von der Ermittlung bis zur sicheren und skalierbaren Bereitstellung in der Produktion zu führen.

Unser Ansatz ist bewusst unabhängig von Cloud und Modell. Wir stellen hauptsächlich über Azure und AWS bereit und nutzen Google Cloud selektiv, abhängig von der Kundenumgebung, der Datenlandschaft und den betrieblichen Anforderungen. Anstatt eine Lösung auf einen einzelnen Cloud-Anbieter oder ein Basismodell auszurichten, entwickeln wir modulare Architekturen, die es uns ermöglichen, die zugrunde liegenden Komponenten auszuwählen und weiterzuentwickeln, wenn sich die Anforderungen ändern. Dazu gehören die Modellebene, Abruf- und Datendienste, das Orchestrierungs-Framework, Werkzeuge zur Evaluierung, Beobachtbarkeit und Sicherheitskontrollen.

Die eigentliche Komplexität besteht nicht einfach in der Auswahl eines LLM. Sie liegt darin, KI in Geschäftsabläufe zu integrieren, die sich über fragmentierte Datenquellen, veraltete Anwendungen, unterschiedliche Benutzerberechtigungen und strenge Anforderungen an Sicherheit, Zuverlässigkeit, Kosten und Compliance erstrecken. In der Regel beginnen wir mit einem klar abgegrenzten Anwendungsfall und einer gründlichen Evaluierung und überführen anschließend das, was funktioniert, durch Schutzmechanismen, angemessene menschliche Kontrolle, Überwachung und kontinuierliche Weiterentwicklung in die Produktion. Ziel ist es, KI-Fähigkeiten zu schaffen, die anpassungsfähig bleiben, wenn sich die Technologie verändert, und zuverlässig genug sind, damit Teams sich im Alltag darauf verlassen können.

Besonders interessiert mich der Übergang von einzelnen Copiloten zu agentenbasierten Systemen, die innerhalb definierter Grenzen mehrstufige Aufgaben bewältigen können. Für Technologieführungskräfte ist die Chance beträchtlich, doch ihre Verwirklichung erfordert diszipliniertes Engineering, durchdachte Governance und eine starke Konzentration auf Ergebnisse.

Warum eine Evaluierung zuerst bei der KI-Bereitstellung zu besseren Ergebnissen führt

Im vergangenen Jahr habe ich die KI-Bereitstellung von einer prototypenorientierten Denkweise zu einer Entwicklungsdisziplin verlagert, bei der die Evaluierung an erster Stelle steht. Vor einem Jahr entwickelten Teams häufig schnell beeindruckende Machbarkeitsnachweise, indem sie Arbeitsabläufe mit einzelnen Modellen verbanden. Die Faktoren, die die Vertrauenswürdigkeit von KI in der Produktion bestimmen – Qualität, Fundierung, Zugriffskontrolle, Fehlerbehandlung, Kosten und Verantwortlichkeit der Nutzer –, wurden jedoch häufig zu spät berücksichtigt.

Wir haben ein gemeinsames Bereitstellungsmuster eingeführt, bei dem jeder KI-Anwendungsfall mit einer klaren Definition des Erfolgs, repräsentativen Evaluierungsdaten, einer Prüfung der Sicherheits- und Datenzugriffe, Rückverfolgbarkeit und laufender Überwachung beginnt. Außerdem haben wir die zugrunde liegende Architektur unabhängig von Cloud und Modell aufgebaut. Dadurch können Teams für jeden Arbeitsablauf die richtige Kombination aus Modellen, Abrufansätzen und Orchestrierungsmustern evaluieren, ohne das Produkt an einen Anbieter oder eine Modellgeneration zu binden.

In der Praxis führte dies zu weniger Nacharbeit und größerem Vertrauen in Bereitstellungen für die Produktion. Teams können Qualitäts- oder Kostenverschlechterungen erkennen, bevor sie sich auf Benutzer auswirken, bewusst entscheiden, an welchen Stellen eine menschliche Prüfung erforderlich ist, und Systeme auf Grundlage von Belegen statt von anekdotischem Feedback verbessern.

Mit Blick auf die Zukunft glaube ich, dass dies die Grundlage für verantwortungsvolle agentenbasierte KI bildet. Wenn Systeme über die Beantwortung von Fragen hinausgehen und beginnen, mehrstufige Aktionen in unternehmensweiten Arbeitsabläufen auszuführen, können wir Evaluierung, Beobachtbarkeit, Berechtigungen und Governance nicht nachträglich ergänzen. Sie müssen vom ersten Tag an Bestandteil des Entwicklungsfundaments sein.

Wie Menschen durch agentenbasierte Entwicklung an Bedeutung gewinnen

Wir setzen KI im gesamten Produktlebenszyklus ein. Bei der Ermittlung wandelt sie Beiträge von Stakeholdern, Kundenfeedback und vorhandene Dokumentation in erste Anforderungen, Nutzerberichte, Akzeptanzkriterien und technische Fragen um. In der Entwicklung unterstützt sie die Erkundung von Codebasen, Dokumentation, Implementierung, Überarbeitung, die Vorbereitung von Änderungsanfragen und die Generierung von Tests. Im Betrieb fasst sie Protokolle zusammen, stellt Zusammenhänge zwischen Warnmeldungen und kürzlich erfolgten Veröffentlichungen her, ruft den Kontext früherer Vorfälle ab und grenzt den Suchbereich bei der Triage ein. Teams verbringen weniger Zeit damit, Kontext über verschiedene Werkzeuge hinweg zusammenzutragen, und mehr Zeit damit, Entscheidungen zu validieren, komplexe Probleme zu lösen und die Bereitstellung voranzutreiben.

Wir behalten die Verantwortung für die Architektur, die Sicherheitsfreigabe, Entscheidungen zum Datenzugriff, die Freigabe von Releases und Abwägungen bei Prioritäten in menschlicher Hand. Diese Entscheidungen erfordern Geschäftskontext, Verantwortlichkeit und ein Verständnis der Konsequenzen, die über das hinausgehen, was ein Ticket, ein Prompt oder ein Code-Repository enthält. KI kann Alternativen analysieren, Abhängigkeiten identifizieren, auf Sicherheitsbedenken hinweisen und Belege zusammenstellen, aber ein verantwortlicher Ingenieur oder eine verantwortliche Führungskraft trifft die Entscheidung.

Wir treffen diese Unterscheidung bewusst, während wir uns auf eine stärker agentenbasierte Entwicklung zubewegen. Ich erwarte, dass KI mehr klar abgegrenzte Ausführungsaufgaben übernimmt, etwa die Implementierung klar umrissener Änderungen, die Erstellung und Ausführung von Tests, die Validierung von Bereitstellungskriterien oder das Vorschlagen von Schritten zur Behebung von Vorfällen. Dadurch wird die menschliche Rolle wichtiger, nicht weniger wichtig. Ingenieure definieren Absicht, Berechtigungen, Qualitätsschwellen und Grenzen für Rollbacks und überprüfen anschließend, ob das System das beabsichtigte Ergebnis erzielt hat.

Wie KI durchgängige Entwicklungsabläufe effektiv unterstützt

Hier ist unser durchgängiger Arbeitsablauf, der eine klar definierte Produktanforderung durch Design, Implementierung, Validierung und die Bereitstellung in der Produktionsumgebung führt. Er beginnt damit, dass ein Produktmanager und ein Entwicklungsleiter das Kundenergebnis, die Einschränkungen und die Abnahmekriterien definieren. Anschließend führt die KI relevanten Geschäftskontext, vorhandene Dokumentation, Architekturmuster und Abhängigkeiten zu einem Entwurf für das technische Design, einem Implementierungsplan und einer Teststrategie zusammen. Ein Ingenieur überprüft diesen Plan, trifft die Architekturentscheidungen und unterteilt die Arbeit in kleine, unabhängig überprüfbare Änderungen.

Während der Implementierung nutzen Ingenieure die KI innerhalb der Codebasis, um relevante Dienste zu verstehen, erste Code- und Konfigurationsänderungen zu erstellen, die Dokumentation zu aktualisieren sowie Unit- und Integrationstests zu erstellen. Jede Änderung durchläuft weiterhin die Versionskontrolle, automatisierte CI-Prüfungen, das Peer-Review, Sicherheitsprüfungen und den etablierten Freigabeprozess. Wenn ein Test fehlschlägt, interpretiert die KI den Fehler, identifiziert die wahrscheinliche Abhängigkeit oder Regression und schlägt eine Korrektur vor, aber der Ingenieur überprüft die Behebung, bevor sie fortgesetzt wird.

Nach der Bereitstellung wird der Arbeitsablauf fortgesetzt. Die KI fasst Anwendungsprotokolle zusammen, korreliert Anomalien mit kürzlich erfolgten Releases und stellt dem Bereitschaftsingenieur relevante frühere Vorfälle oder Runbooks bereit. Wir messen den gesamten Kreislauf anhand der Durchlaufzeit, der Testabdeckung, der Fehlerquote von Änderungen, der Rollback-Häufigkeit und der Zeit bis zur Behebung.

Dies ist keine autonome Softwareentwicklung. Es handelt sich um ein von Menschen gesteuertes und durch KI erweitertes Bereitstellungssystem, in dem die KI die Erfassung von Kontext und die Ausführung beschleunigt, während die Ingenieure die Verantwortung für Design, Qualität, Sicherheit und das Ergebnis in der Produktionsumgebung behalten.

Manish erzählt uns

KI hat die Zeit, die Ingenieure mit der Erfassung von Kontext und der Erstellung der ersten Version routinemäßiger Aufgaben verbringen, erheblich reduziert. Sie hilft Teams, schneller von einer ersten Anforderung zu einem strukturierten technischen Ansatz, einer Implementierung, Testabdeckung und Dokumentation zu gelangen.

Wie KI einen besseren Ablauf über verschiedene Funktionen hinweg schafft

Was die Ergebnisse betrifft, hat KI die Zeit, die Ingenieure mit der Erfassung von Kontext und der Erstellung der ersten Version routinemäßiger Aufgaben verbringen, erheblich reduziert. Sie hilft Teams, schneller von einer ersten Anforderung zu einem strukturierten technischen Ansatz, einer Implementierung, Testabdeckung und Dokumentation zu gelangen. Sie hat die Entwicklung neuer Funktionen und Produktfähigkeiten beschleunigt, insbesondere wenn Ingenieure eine unbekannte Codebasis analysieren, Abhängigkeiten nachverfolgen oder über mehrere Dienste hinweg arbeiten müssen.

KI fließt auch in Architekturentscheidungen ein. Sie kann vorhandene Systemdokumentation schnell zusammenführen, Abhängigkeiten identifizieren, Implementierungsoptionen vergleichen, wahrscheinliche Zielkonflikte aufzeigen und Teams dabei unterstützen, Aufzeichnungen zu Architekturentscheidungen zu erstellen. Die endgültigen Architekturentscheidungen treffen Menschen, aber die Teams gehen mit einem besseren Kontext in diese Gespräche. Sie können mehr Zeit darauf verwenden, die wirklich wichtigen Entscheidungen zu diskutieren, etwa Skalierbarkeit, Ausfallsicherheit, Sicherheit, Kosten und langfristige Wartbarkeit.

Die Verbesserung besteht nicht einfach in einer schnelleren Codegenerierung. Wir beobachten einen besseren Ablauf über den gesamten Lebenszyklus hinweg, weil Produktmanagement, Entwicklung, Qualitätssicherung und Betrieb mit einem vollständigeren und konsistenteren Kontext beginnen. Ingenieure verbringen mehr Zeit mit Systemdesign, Sonderfällen, Integrationskomplexität und den Auswirkungen auf Kunden, anstatt Informationen manuell aus Repositories, Tickets, Dashboards, Protokollen und früheren Vorfällen zusammenzutragen.

Wie Erfolg mit AI gemessen werden sollte

Wir haben auch wichtige Erkenntnisse über die Nachteile gewonnen. AI kann ein falsches Gefühl von Geschwindigkeit erzeugen, wenn Teams plausible Ergebnisse ohne ausreichende Validierung akzeptieren. AI kann Code erzeugen, der zwar korrekt erscheint, aber nicht zur umgebenden Architektur passt, subtile Geschäftsregeln außer Acht lässt, unnötige Komplexität einführt oder Sicherheits- und Wartbarkeitsprobleme verursacht. Die Produktivitätsgewinne sind außerdem uneinheitlich. Am meisten profitieren Ingenieurinnen und Ingenieure, die das System verstehen, Anforderungen präzise formulieren und Ergebnisse rigoros validieren.

Deshalb messen wir Erfolg anhand der Qualität der Auslieferung und nicht anhand von Metriken zur AI-Aktivität. Die Ergebnisse, die uns wichtig sind, umfassen eine schnellere Auslieferung von Funktionen, kürzere Durchlaufzeiten, stabile Releases, eine bessere Testabdeckung, weniger Nacharbeit, eine schnellere Behebung von Vorfällen und anhaltende Zuverlässigkeit. Die langfristige Chance ist beträchtlich, aber nur dann, wenn AI die technische Entscheidungsfindung und Umsetzung verbessert, anstatt beides zu ersetzen.

Wie neue Einschränkungen Teamstrukturen verändern

Die Codegenerierung ist nicht länger die Einschränkung für die Geschwindigkeit der Softwareentwicklung. Die tatsächlichen Einschränkungen sind oft unklare Anforderungen, fragmentierter Geschäftskontext, architektonische Abhängigkeiten, Sicherheitsprüfungen, die Integration über Systeme hinweg und die Zeit, die benötigt wird, um sicher zu validieren, dass eine Änderung in der Produktion funktioniert. Branchendaten weisen in dieselbe Richtung: Das Programmieren macht einen relativ kleinen Teil des Arbeitstags einer Ingenieurin oder eines Ingenieurs aus, und die Einführung von AI beim Programmieren führt nicht automatisch zu proportionalen Produktivitätssteigerungen.

Das hat meine Sichtweise auf die Teamstruktur verändert. Statt AI einfach als Möglichkeit zu betrachten, den Aufwand für die Auslieferung zu reduzieren, bewegen wir uns hin zu kleineren, funktionsübergreifenden Teams mit stärkerer Verantwortung – von der Erkundung bis zum Lernen aus der Produktion. Ingenieurinnen und Ingenieure müssen weniger Zeit mit der Erstellung erster Entwürfe und mehr Zeit damit verbringen, die Absicht zu definieren, die Architektur zu gestalten, Ergebnisse zu validieren und das System nach der Veröffentlichung zu verbessern.

Darüber hinaus hat sich unser Einstellungsfokus von reiner Programmierleistung hin zu systemischem Denken, Produkturteil und der Validierung AI-gestützter Arbeit verschoben. Wir schätzen Ingenieurinnen und Ingenieure, die mit Unklarheit umgehen, fundierte architektonische und sicherheitsbezogene Abwägungen treffen und Verantwortung für Ergebnisse bis in die Produktion übernehmen können.

Manish erzählt uns

Die Zukunft besteht nicht nur in einer schnelleren Umsetzung. Es geht um eine schnellere Abstimmung und eine engere Verbindung zwischen einer Idee, einem Ergebnis in der Produktion und den daraus gewonnenen Erkenntnissen, die in die nächste Entscheidung einfließen.

Die Zukunft besteht nicht nur in einer schnelleren Umsetzung. Es geht um eine schnellere Abstimmung und eine engere Verbindung zwischen einer Idee, einem Ergebnis in der Produktion und den daraus gewonnenen Erkenntnissen, die in die nächste Entscheidung einfließen.

Warum Tests für eine durch AI erweiterte Zukunft neu gestaltet werden müssen

Tests müssen neu gestaltet werden.

AI macht die Erstellung von Code deutlich schneller. Daher muss die Qualitätssicherung kontinuierlich und automatisiert erfolgen und in den Auslieferungsprozess integriert werden, anstatt als abschließende Hürde behandelt zu werden. Teams benötigen AI-gestützte Testgenerierung, realistische Bewertungsdatensätze, Sicherheits- und Leistungstests, Produktionsüberwachung sowie eine klare menschliche Verantwortung für Ausnahmefälle.

In einem durch AI erweiterten Lebenszyklus wird der Wettbewerbsvorteil nicht darin liegen, wer am schnellsten Code generiert, sondern darin, wer Änderungen sicher validieren und am schnellsten aus der Produktion lernen kann.

Wie sich Reibungsverluste mit AI frühzeitig vermeiden lassen

Wir haben die betrieblichen Realitäten von AI unterschätzt. Tokenverbrauch und Nutzungsbeschränkungen können die Auslieferung erheblich einschränken, insbesondere bei agentenbasierten Programmierabläufen, die einen großen Kontext der Codebasis oder wiederholte Iterationen benötigen. Heute betrachten wir die AI-Ausgaben als Entscheidung über die technische Kapazität – mit Transparenz über Nutzung, Modellweiterleitung, Kontextverwaltung und den erzielten Nutzen und nicht nur über Lizenzkosten. Auch die Zuverlässigkeit von Diensten ist wichtig. Bei einem externen Modell oder einer Programmierplattform kann es zu Verzögerungen, Ratenbegrenzungen oder Verfügbarkeitsproblemen kommen. Daher benötigen kritische Abläufe Ausweichmodelle, eine kontrollierte Verschlechterung und Möglichkeiten, wie Ingenieurinnen und Ingenieure ohne den AI-Dienst weiterarbeiten können.

Wir hätten frühe Reibungsverluste vermeiden können, indem wir von Anfang an zugelassene Tools, klare Datengrenzen, Erwartungen an Prüfungen, Kostenkontrollen und Ausweichmuster definiert hätten.

Ich würde auch nicht vorschnell ein einzelnes Tool oder einen einzelnen Workflow vorschreiben. Die Technologie verändert sich zu schnell. Der bessere Ansatz besteht darin, sicheren Zugang, wiederverwendbare Leitplanken, Möglichkeiten zum Lernen voneinander und klare Verantwortlichkeiten bereitzustellen. Ein Ingenieur trägt weiterhin die Verantwortung für das, was er entwirft, prüft, zusammenführt und in der Produktion betreibt.

Warum KI als Änderung des Betriebsmodells behandelt werden sollte

Mein Rat an CTOs lautet, KI als Änderung des Betriebsmodells und nicht als Einführung eines Tools zu betrachten. Beginnen Sie mit einer kleinen Anzahl hochwertiger Workflows, bei denen Sie eine Ausgangsbasis schaffen, die Auswirkungen messen und schnell lernen können. Bauen Sie rund um freigegebene Modelle, sicheren Datenzugriff, Evaluierung, Beobachtbarkeit und wiederverwendbare Integrationsmuster eine gemeinsame KI-Plattform und eine disziplinierte Vorgehensweise bei der Bereitstellung auf, und halten Sie die Architektur cloud- und modellunabhängig. Dadurch wird verhindert, dass jedes Team dieselben Kontrollen neu erfindet oder sich zu früh an einen Anbieter bindet.

Ebenso wichtig ist es, in Menschen zu investieren. Die Organisationen, die am meisten profitieren werden, sind nicht diejenigen, die einfach mehr Code erzeugen. Es werden diejenigen sein, die Ingenieure, Produktteams, Sicherheitspartner und Geschäftsverantwortliche dabei unterstützen, Arbeit klar zu strukturieren, KI-Ergebnisse zu validieren und agentenbasierte Systeme innerhalb definierter Grenzen zu betreiben. Handeln Sie mit Nachdruck, aber machen Sie Vertrauen, Qualität, Sicherheit und messbare Ergebnisse nicht verhandelbar.

KI entwickelt sich zu einer zentralen Ausführungsebene für das Unternehmen. Die Rolle des CTO besteht daher darin, die Architektur, Governance und Kultur zu schaffen, die eine verantwortungsvolle Skalierung ermöglichen.

Auf dem Laufenden bleiben

Sie können die Arbeit von Manish Jain auf seinem Substack-Kanal und auf LinkedIn verfolgen.

Weitere Experteninterviews folgen beim The CTO Club!