Teknisk chef säger att AI orsakar stora stabilitetsproblem

David Ting är CTO på Bespin Global och har integrerat AI i arbetsflöden i över ett decennium. Men under det senaste året säger han att spelplanen har förändrats.

Vi satte oss ner med David för att diskutera de förbättringar han ser. Han sa att det inte bara handlar om förbättringar — stabilitet är ett stort problem.

Att etablera en strategi för AI-transformation

Davids tankar

Innovationen har gått ännu snabbare under det senaste året.

Jag har arbetat aktivt med AI i över ett decennium. Det är en snabbföränderlig miljö, och innovationen har gått ännu snabbare under det senaste året.

Jag är för närvarande CTO på Bespin Global, där jag etablerar strategin för AI-transformation, från effektivisering av verksamheten till utveckling av nya produkter och tjänster. Vi fokuserar på återförsäljning av molntjänster och rådgivning, och vi har 1 000 anställda världen över.

Jag har också startat och utvecklat två interna AI-produkter — ett AI-verktyg för tillverkningsindustrin och ett AI-verktyg för säkerhet.

Jag ägnar minst 50 % av min tid varje dag åt att skriva kod och automatisera mitt arbete och mitt liv. Det hjälper mig att hålla mig uppdaterad om de senaste tekniska framstegen. Faktum är att jag har skrivit över 200 000 kodrader med hjälp av AI under den senaste månaden.

Varför Claude Code bör vara obligatoriskt

Vi har hundratals utvecklare, och alla använder Claude Code.

Vi övervakade proaktivt utvecklingstakten och upptäckte att utvecklarnas produktivitet kan öka mer än tiofalt. Personligen har jag konstaterat att tio gånger inte är gränsen.

Vi använder fortfarande de traditionella utvecklings- och kvalitetssäkringsteamen med ett standardiserat, specifikationsdrivet arbetsflöde. Förändringen ligger i verktygen.

Även kvalitetssäkringsteamet skriver fler tester med hjälp av AI — främst Playwright-tester och ytterligare enhetstester.

Utvecklingsteamet använder även andra verktyg. Personligen använder jag verktyg med öppen källkod för det mesta. Jag använder också OpenAI, Codex, Anthropic API och Claude. Jag använder alla dessa samtidigt genom flera terminalfönster.

Hur AI driver tekniska arbetsflöden från början till slut

Vi skriver produktspecifikationen med AI, genomför arkitekturgranskningar med AI och skriver kod med AI.

För att göra detta börjar man med en mycket detaljerad designspecifikation. Era AI-utvecklare utvecklar den, fyller i detaljer och granskar designen noggrant (för att hitta problem). Sedan arbetar en agent med och levererar varje åtgärdspunkt.

När implementationen är klar behöver ni mänsklig validering för att säkerställa att programvaran fungerar som den ska. Koppla verktyg för observerbarhet till kodstacken för att övervaka loggar och prestandamätvärden, och låt AI göra ett försök att optimera eller åtgärda buggar med ett mycket tydligt mål.

När ni gör detta kommer ni att upptäcka att en utvecklare snabbt kan producera arbete motsvarande 20 till 60 utvecklare. Produktens finputsning kräver expertvägledning, men AI står för merparten av kodningen.

Varför AI flyttar fokus från kodkvalitet till resultat

Jag fortsatte att använda kodkvalitet som ett mätvärde som jag följer upp, men AI har flyttat mitt fokus till antalet implementerade användningsfall och kodrader.

Anledningen är enkel: AI ökar resultatet. Därför går iterationerna extremt snabbt.

Du refaktoriserar inte. Du låter resultaten avgöra var du lägger din tid.

Varför mänskliga experter fortfarande behövs i tekniska arbetsflöden

Så gott som allt vi gör påverkas av AI. AI har förbättrats enormt bara under de senaste sex månaderna, men mänskliga experter är fortfarande avgörande för att vägleda utvecklingen. De säkerställer att koden fungerar korrekt och att UX-designen är genomarbetad.

AI hallucinerar mycket. Detta skapar djupt rotade buggar. Man behöver någon som har ingående kännedom om bästa praxis för arkitektur för att upptäcka dem.

Därför går vi mot mindre team med experter i världsklass. Teamets styrka avgörs inte längre av storleken.

Varför AI skapar mer arbete för beredskapspersonal

Integrationen av AI har uppenbarligen lett till kostnadsbesparingar. Vår digitala monteringslinje, som bygger på agentbaserad AI, har minskat bemanningsbehovet med 75 % samtidigt som leveranshastigheten har ökat.

I år experimenterar jag också med att automatisera roller inom företaget genom ett team av agenter, och jag får några uppmuntrande resultat.

Men dessa vinster berättar inte hela historien.

Kvaliteten varierar kraftigt eftersom kodning nu är icke-deterministisk. Samma instruktion ger olika resultat, vilket kan vara frustrerande.

Att undvika att en bugg slinker ut i produktion kräver betydande omsorg — instruktioner måste utformas noggrant och kod måste testas noggrant.

Därför arbetar människor också hårdare än någonsin — särskilt beredskapspersonal.

Hur AI påverkar tillgängligheten i produktion

Vi lade till omfattande övervakning och skyddsmekanismer. Claude API är instabilt i produktion, så vi kompletterade det med modeller med öppen källkod som Qwen.

Produktions­tillgänglighet är ett annat problem. Vår applikation har drabbats av kraftigt försämrad kvalitet under perioder med hög belastning.

Vi planerar att köra dessa appar på egenhostade LLM:er som en reservlösning.

Davids tankar

Produktions­tillgänglighet är ett annat problem. Vår applikation har drabbats av kraftigt försämrad kvalitet under perioder med hög belastning.

Varför praktisk kodning slår utbildning vid införandet av AI

När jag införde dessa förändringar bad människor om utbildning innan de använde verktygen.

Jag borde ha krävt att människor använde AI i sin kod från början. I stället genomförde de mängder av utbildningar och kurser.

AI förändras så snabbt att materialet är föråldrat varje vecka. Det enda sättet att lära sig är att göra.

Varför fler utvecklare innebär en projektkostnad

CTO:er bör göra om sina organisationer. För nu har team på en person maximal hastighet.

Produktiviteten beror på två saker:

1. Hur väl du definierar uppgifter för AI
2. Hur väl du validerar och rättar det arbete som AI producerar

Behåll de duktiga personer som arbetar bra med AI. Att lägga till personer i ett projekt innebär en kostnad.

Varför CTO:er bör anta att AI kommer att misslyckas

Här är mitt råd: Var så offensiv som möjligt med införandet, men validera noggrant.

Du kommer att hitta framgång överallt, men du kommer att uppleva misslyckanden om du saknar ordentliga validerings- och styrningsstrukturer.

CTO:er bör avsätta betydande tid för att implementera dessa strukturer — och införa många skyddsmekanismer.

Anta att AI kommer att misslyckas.

Följ med

Du kan följa David Tings arbete på LinkedIn.

Fler expertintervjuer kommer på The CTO Club!