Teknologidirektør siger, at AI forårsager store stabilitetsproblemer

David Ting er CTO hos Bespin Global og har integreret AI i arbejdsgange i over et årti. Men det seneste år siger han, at spillet har ændret sig.

Vi satte os ned med David for at tale om de fremskridt, han oplever. Han siger, at det ikke kun handler om fremskridt — stabilitet er et stort problem.

Udarbejdelse af en strategi for AI-transformation

Davids tanker

Innovation er accelereret endnu mere i løbet af det seneste år.

Jeg har arbejdet aktivt med AI i over et årti. Det er et miljø i højt tempo, og innovationen er accelereret endnu mere i løbet af det seneste år.

Jeg er i øjeblikket CTO hos Bespin Global, hvor jeg er ved at etablere strategien for AI-transformation, fra effektivisering af driften til udvikling af nye produkter og tjenester. Vi fokuserer på cloudvideresalg og rådgivning, og vi har 1.000 medarbejdere verden over.

Jeg har også startet og udviklet to interne AI-produkter — et AI-værktøj til produktion og et AI-værktøj til sikkerhed.

Jeg bruger mindst 50 % af min tid hver dag på at skrive kode og automatisere mit arbejde og mit liv. Det hjælper mig med at holde mig ajour med de nyeste tekniske fremskridt. Faktisk har jeg skrevet over 200.000 kodelinjer med hjælp fra AI i den seneste måned.

Hvorfor Claude Code bør være obligatorisk

Vi har hundredvis af udviklere, og de bruger alle Claude Code.

Vi overvågede proaktivt udviklingshastigheden og fandt ud af, at udviklernes produktivitet kan stige med over 10 gange. Personligt har jeg erfaret, at 10 gange ikke er grænsen.

Vi bruger stadig de traditionelle udviklings- og QA-teams med en standardiseret, specifikationsdrevet arbejdsgang. Ændringen ligger i værktøjerne.

Selv QA-teamet skriver flere tests ved hjælp af AI — primært Playwright-tests og yderligere enhedstests.

Udviklingsteamet bruger også andre værktøjer. Personligt bruger jeg værktøjer med åben kildekode til det meste. Jeg bruger også OpenAI, Codex, Anthropic API og Claude. Jeg bruger alle disse samtidigt gennem flere terminalvinduer.

Sådan driver AI arbejdsgange fra ende til anden inden for softwareudvikling

Vi skriver produktspecifikationen med AI, gennemfører arkitekturgennemgange med AI og skriver kode med AI.

For at gøre dette starter man med en meget detaljeret designspecifikation. Dine AI-udviklere udvikler den, udfylder detaljer og gennemgår designet kritisk (for at finde problemer). Derefter arbejder en agent på og leverer hvert enkelt punkt.

Når implementeringen er færdig, har du brug for menneskelig validering for at sikre, at softwaren fungerer som designet. Tilslut værktøjer til observerbarhed til kodestakken for at overvåge logfiler og ydelsesmålinger, og prøv AI for at optimere eller rette fejl med et meget klart mål.

Når du gør dette, vil du opdage, at én udvikler hurtigt kan producere arbejde svarende til det, som 20 til 60 udviklere ville kunne levere. Produktets finpudsning kræver ekspertvejledning, men AI står for det meste af kodningen.

Hvorfor AI flytter fokus fra kodekvalitet til resultatet

Jeg beholdt kodekvalitet som en måling, jeg følger, men AI har flyttet mit fokus til antallet af implementerede anvendelsesområder og kodelinjer.

Årsagen er enkel: AI øger resultatet. Derfor går iterationerne ekstremt hurtigt.

Du refaktoriserer ikke. Du lader resultaterne afgøre, hvor du bruger din tid.

Hvorfor der stadig er brug for menneskelige eksperter i udviklingsarbejdsgange

Så stort set alt, hvad vi gør, er berørt af AI. Den er blevet markant bedre alene inden for de seneste seks måneder, men menneskelige eksperter er stadig afgørende for at styre udviklingen. De sikrer, at koden fungerer korrekt og at UX-designet er gennemtænkt.

AI hallucinerer ofte. Det skaber dybtliggende fejl. Du har brug for en person, der er indgående bekendt med bedste praksis inden for arkitektur, så disse fejl kan opdages.

Derfor bevæger vi os mod mindre teams af eksperter i verdensklasse. Et teams styrke bestemmes ikke længere af størrelsen.

Hvorfor AI skaber mere arbejde for vagtpersonale

AI-integrationen har naturligvis ført til omkostningsbesparelser. Vores digitale samlebånd, der er bygget på agentbaseret AI, har reduceret bemandingsbehovet med 75 %, samtidig med at leveringshastigheden er øget.

I år eksperimenterer jeg også med at automatisere roller i virksomheden gennem et team af agenter, og jeg opnår nogle lovende resultater.

Men disse gevinster fortæller ikke hele historien.

Kvaliteten varierer meget, fordi kodning nu er ikke-deterministisk. Den samme prompt giver forskellige resultater, hvilket kan være frustrerende.

Det kræver betydelig omhu at undgå, at en fejl slipper ind i produktionen — prompts skal konstrueres omhyggeligt, og koden skal testes grundigt.

Derfor arbejder folk også hårdere end nogensinde — især vagtpersonalet.

Hvordan AI påvirker tilgængeligheden i produktionen

Vi tilføjede omfattende overvågning og sikkerhedsforanstaltninger. Claude API'et er ustabilt i produktionen, så vi supplerede det med open source-modeller som Qwen.

Tilgængeligheden i produktionen er et andet problem. Vores applikation har oplevet en alvorlig forringelse af kvaliteten i perioder med høj belastning.

Vi planlægger at køre disse apps på selvhostede LLM'er som en fejlsikring.

Davids tanker

Tilgængeligheden i produktionen er et andet problem. Vores applikation har oplevet en alvorlig forringelse af kvaliteten i perioder med høj belastning.

Hvorfor praktisk kodning er vigtigere end undervisning ved implementering af AI

Da jeg implementerede disse ændringer, bad folk om undervisning før de brugte værktøjerne.

Jeg burde have krævet, at folk brugte AI i deres kode fra starten. I stedet gennemførte de enorme mængder undervisning og kurser.

AI ændrer sig så hurtigt, at materialet er forældet fra uge til uge. Den eneste måde at lære på er at gøre det i praksis.

Hvorfor flere udviklere medfører en projektomkostning

CTO'er bør gentænke deres organisationer. For nu har teams på én person den højeste hastighed.

Produktivitet afhænger af to ting:

1. Hvor godt du definerer opgaver for AI
2. Hvor godt du validerer og retter det arbejde, AI producerer

Behold de dygtige mennesker, der arbejder godt sammen med AI. At føje flere mennesker til et projekt medfører en omkostning.

Hvorfor CTO'er bør antage, at AI vil fejle

Her er mit råd: Vær så aggressiv som muligt med indførelsen, men valider grundigt.

Du vil opleve succes overalt, men du vil opleve fejl, hvis du mangler ordentlige validerings- og styringsstrukturer.

CTO'er bør afsætte betydelig tid til at implementere disse strukturer — og indarbejde adskillige fejlsikringer.

Antag, at AI vil fejle.

Følg med

Du kan følge David Tings arbejde på LinkedIn.

Flere ekspertinterviews kommer på The CTO Club!