CTO-en sier at KI forårsaker store stabilitetsproblemer

Key Takeaways

Strategi for KI-transformasjon: David Ting etablerer en strategi for KI-transformasjon for å forbedre driften og utvikle nye produkter.

KI-verktøy for utviklere: Ved bruk av verktøy som Claude Code øker utviklingsproduktiviteten angivelig mer enn ti ganger.

Menneskelig ekspertise: Til tross for fremskrittene innen KI er menneskelige eksperter fortsatt avgjørende for å sikre at koden fungerer, samt for kvalitetssikring.

Utfordringer i produksjon: KI-integrasjon kan skape ustabilitet i produksjonsmiljøer, noe som gjør det nødvendig å overvåke ytelsen nøye.

Læring gjennom praksis: Å øve på programmering med KI-verktøy er mer effektivt enn tradisjonell opplæring, som raskt blir utdatert.

David Ting er CTO i Bespin Global og har integrert AI i arbeidsflyter i over et tiår. Men det siste året sier han at spillet har endret seg.

Vi satte oss ned med David for å diskutere gevinstene han ser. Han sa at det ikke bare handler om gevinster – stabilitet er et stort problem.

Etablering av en AI-transformasjonsstrategi

Davids tanker

Innovasjonen har akselerert ytterligere det siste året.

Jeg har jobbet aktivt med AI i over et tiår. Det er et miljø i høyt tempo, og innovasjonen har akselerert ytterligere det siste året.

Jeg er for tiden CTO i Bespin Global, der jeg etablerer AI-transformasjonsstrategien, fra effektivisering av driften til utvikling av nye produkter og tjenester. Vi fokuserer på videresalg av skytjenester og rådgivning, og vi har 1 000 ansatte over hele verden.

Jeg har også startet og utviklet to interne AI-produkter – et AI-verktøy for produksjon og et AI-verktøy for sikkerhet.

Jeg bruker minst 50 % av tiden min hver dag på å skrive kode og automatisere arbeidet og livet mitt. Dette hjelper meg med å holde meg oppdatert på den nyeste teknologiske utviklingen. Faktisk har jeg skrevet over 200 000 kodelinjer med hjelp fra AI den siste måneden.

Hvorfor Claude Code bør være obligatorisk

Vi har hundrevis av utviklere, og alle bruker Claude Code.

Vi overvåket utviklingstakten proaktivt og fant ut at utviklerproduktiviteten kan øke med over 10 ganger. Personlig har jeg erfart at 10 ganger ikke er grensen.

Vi bruker fortsatt de tradisjonelle utviklings- og QA-teamene med en standard arbeidsflyt basert på spesifikasjoner. Endringen ligger i verktøyene.

Selv QA-teamet skriver flere tester ved hjelp av AI – hovedsakelig Playwright-tester og flere enhetstester.

Utviklingsteamet bruker også andre verktøy. Personlig bruker jeg åpen kildekode-verktøy til det meste. Jeg bruker også OpenAI, Codex, Anthropic API og Claude. Jeg bruker alle disse samtidig gjennom flere terminalvinduer.

Slik driver AI tekniske arbeidsflyter fra start til slutt

Vi skriver produktspesifikasjonen med AI, gjennomfører arkitekturgjennomganger med AI og skriver kode med AI.

For å gjøre dette begynner du med en svært detaljert designspesifikasjon. AI-utviklerne dine utvikler den, fyller inn detaljer og gransker designet (for å finne problemer). Deretter arbeider en agent med og leverer hvert enkelt tiltak.

Når implementeringen er fullført, trenger du menneskelig validering for å sikre at programvaren fungerer som designet. Koble verktøy for observerbarhet til kodestakken for å overvåke logger og ytelsesmålinger, og la AI prøve seg på å optimalisere eller rette feil med et svært tydelig mål.

Når du gjør dette, vil du oppdage at én utvikler raskt kan produsere arbeid tilsvarende 20 til 60 utviklere. Produktet trenger ekspertveiledning for å bli ferdigstilt, men AI gjør det meste av kodingen.

Hvorfor AI flytter fokuset fra kodekvalitet til resultat

Jeg beholdt kodekvalitet som en måleenhet jeg følger med på, men AI har flyttet fokuset mitt til antallet implementerte bruksområder og kodelinjer.

Årsaken er enkel: AI øker produksjonen. Derfor går iterasjonene svært raskt.

Du refaktorerer ikke. Du lar resultatene avgjøre hvor du bruker tiden din.

Hvorfor menneskelige eksperter fortsatt trengs i utviklingsarbeidsflyter

Så godt som alt vi gjør, berøres av AI. Teknologien har blitt så mye bedre bare de siste seks månedene, men menneskelige eksperter er fortsatt avgjørende for å styre utviklingen. De sikrer at koden fungerer som den skal og at UX-designet er ryddig.

AI hallusinerer mye. Dette skaper dyptliggende feil. Du trenger noen som kjenner beste praksis for arkitektur inngående, slik at disse kan oppdages.

Derfor beveger vi oss mot mindre team med eksperter i verdensklasse. Teamets styrke bestemmes ikke lenger av størrelsen.

Hvorfor AI skaper mer arbeid for beredskapspersonell

AI-integrasjon har åpenbart ført til kostnadsbesparelser. Den digitale produksjonslinjen vår, som er bygget på agentbasert AI, har redusert bemanningsbehovet med 75 % samtidig som leveringshastigheten har økt.

I år eksperimenterer jeg også med å automatisere roller i selskapet gjennom et team av agenter, og jeg oppnår noen lovende resultater.

Men disse gevinstene forteller ikke hele historien.

Kvaliteten varierer kraftig fordi koding nå er ikke-deterministisk. Den samme ledeteksten gir forskjellige resultater, noe som kan være frustrerende.

Det krever betydelig omtanke å unngå at en feil slipper ut i produksjon — ledetekster må utformes nøye, og kode må testes grundig.

Derfor jobber folk også hardere enn noen gang — særlig beredskapspersonellet.

Hvordan AI påvirker tilgjengeligheten i produksjon

Vi la til omfattende overvåking og sikkerhetsmekanismer. Claude API-et er ustabilt i produksjon, så vi supplerte det med åpen kildekode-modeller som Qwen.

Tilgjengeligheten i produksjon er et annet problem. Applikasjonen vår har opplevd kraftig kvalitetsforringelse i perioder med høy belastning.

Vi planlegger å kjøre disse appene på selvdriftede LLM-er som en feilsikkerhetsmekanisme.

Davids tanker

Tilgjengeligheten i produksjon er et annet problem. Applikasjonen vår har opplevd kraftig kvalitetsforringelse i perioder med høy belastning.

Hvorfor praktisk koding trumfer opplæring ved innføring av AI

Da jeg innførte disse endringene, ba folk om opplæring før de tok verktøyene i bruk.

Jeg burde ha krevd at folk brukte AI i koden sin fra starten. I stedet gjennomførte de massevis av opplæring og kurs.

AI endrer seg så raskt at materialet er utdatert fra uke til uke. Den eneste måten å lære på er å gjøre.

Hvorfor flere utviklere medfører en prosjektkostnad

CTO-er bør redesigne organisasjonene sine. For nå har team på én person maksimal fremdrift.

Produktivitet avhenger av to ting:

Hvor godt du definerer oppgaver for AI
Hvor godt du validerer og retter arbeidet AI produserer

Behold de dyktige personene som samarbeider godt med AI. Å legge til personer i et prosjekt medfører en kostnad.

Hvorfor CTO-er bør anta at AI vil mislykkes

Her er mitt råd: Vær så offensiv som mulig med innføringen, men valider grundig.

Du vil oppnå suksess overalt, men du vil oppleve fiaskoer hvis du mangler gode validerings- og styringsstrukturer.

CTO-er bør vie betydelig tid til å implementere disse strukturene — og innarbeide en rekke sikkerhetsmekanismer.

Anta at AI vil mislykkes.

Følg med

Du kan følge David Tings arbeid på LinkedIn.

Det kommer flere ekspertintervjuer på The CTO Club!