CTO zegt dat AI grote stabiliteitsproblemen veroorzaakt

David Ting is de CTO bij Bespin Global en integreert al meer dan tien jaar AI in werkprocessen. Maar volgens hem is het spel het afgelopen jaar veranderd.

We gingen met David om tafel om de voordelen te bespreken die hij ziet. Hij zei dat het niet alleen maar voordelen zijn — stabiliteit is een groot probleem.

Een AI-transformatiestrategie opzetten

Davids gedachten

Innovatie is het afgelopen jaar nog sneller gegaan.

Ik houd me al meer dan tien jaar actief bezig met AI. Het is een snel veranderende omgeving en innovatie is het afgelopen jaar nog sneller gegaan.

Momenteel ben ik de CTO van Bespin Global, waar ik de AI-transformatiestrategie opzet, van het stroomlijnen van activiteiten tot het ontwikkelen van nieuwe producten en diensten. We richten ons op de wederverkoop van clouddiensten en advies, en we hebben wereldwijd 1.000 medewerkers.

Ik ben ook begonnen met twee interne AI-producten en heb deze verder ontwikkeld — een AI-tool voor de productie en een AI-tool voor beveiliging.

Ik besteed dagelijks minstens 50% van mijn tijd aan programmeren en het automatiseren van mijn werk en leven. Dit helpt me op de hoogte te blijven van de nieuwste technische ontwikkelingen. In feite heb ik de afgelopen maand met hulp van AI meer dan 200.000 regels code geschreven.

Waarom Claude Code verplicht zou moeten worden

We hebben honderden ontwikkelaars en ze gebruiken allemaal Claude Code.

We hielden de productiviteit proactief in de gaten en ontdekten dat de productiviteit van ontwikkelaars met meer dan 10 keer kan toenemen. Persoonlijk heb ik gemerkt dat 10 keer niet de limiet is.

We werken nog steeds met de traditionele ontwikkel- en QA-teams en een standaardwerkproces dat wordt aangestuurd door specificaties. De verandering zit in de hulpmiddelen.

Zelfs het QA-team schrijft meer tests met behulp van AI — voornamelijk Playwright-tests en aanvullende unittests.

Het ontwikkelteam gebruikt ook andere hulpmiddelen. Persoonlijk gebruik ik voor de meeste zaken opensourcehulpmiddelen. Ik gebruik ook OpenAI, Codex, de Anthropic API en Claude. Ik gebruik al deze hulpmiddelen tegelijkertijd via meerdere terminalvensters.

Hoe AI end-to-end-engineeringwerkprocessen aandrijft

We schrijven de productspecificatie met AI, voeren architectuurbeoordelingen uit met AI en schrijven code met AI.

Hiervoor begin je met een zeer gedetailleerde ontwerpspecificatie. Je AI-ontwikkelaars werken deze uit, vullen details aan en onderzoeken het ontwerp grondig (waarbij ze problemen opsporen). Vervolgens werkt een agent elk actiepunt uit en levert het op.

Zodra de implementatie is voltooid, heb je menselijke validatie nodig om te controleren of de software werkt zoals ontworpen. Koppel observatiehulpmiddelen aan de codestack om logboeken en prestatiegegevens te monitoren, en geef AI een kans om bugs te optimaliseren of op te lossen met een zeer duidelijk doel.

Wanneer je dit doet, zul je merken dat één ontwikkelaar snel werk kan produceren ter waarde van 20 tot 60 ontwikkelaars. Voor het verfijnen van het product is deskundige begeleiding nodig, maar AI doet het grootste deel van het programmeerwerk.

Waarom AI de focus verlegt van codekwaliteit naar output

Ik bleef codekwaliteit als metriek bijhouden, maar AI heeft mijn focus verlegd naar het aantal geïmplementeerde gebruiksscenario's en regels code.

De reden is eenvoudig: AI verhoogt de output. Daardoor verlopen iteraties extreem snel.

Je refactort niet. Je laat de resultaten bepalen waar je je tijd aan besteedt.

Waarom menselijke experts nog steeds nodig zijn in technische werkstromen

Dus eigenlijk wordt bijna alles wat we doen door AI geraakt. De technologie is alleen al in de afgelopen zes maanden enorm verbeterd, maar menselijke experts zijn nog steeds essentieel om de ontwikkeling te begeleiden. Zij zorgen ervoor dat de code correct functioneert en dat het UX-ontwerp helder is.

AI hallucineert veel. Dit veroorzaakt hardnekkige bugs. Je hebt iemand nodig die architecturale best practices door en door kent om deze te signaleren.

Daarom bewegen we richting kleinere teams van experts van wereldklasse. De kracht van een team wordt niet langer door de omvang bepaald.

Waarom AI meer werk creëert voor medewerkers met oproepdienst

De integratie van AI heeft uiteraard tot kostenbesparingen geleid. Onze digitale assemblagelijn, die is gebaseerd op agentische AI, heeft de personeelsbehoefte met 75% verminderd en tegelijkertijd de leversnelheid verhoogd.

Dit jaar experimenteer ik ook met het automatiseren van functies binnen het bedrijf via een team van AI-agents, en ik krijg enkele bemoedigende resultaten.

Maar deze voordelen vertellen niet het hele verhaal.

De kwaliteit varieert sterk omdat coderen nu niet-deterministisch is. Dezelfde prompt levert verschillende resultaten op, wat frustrerend kan zijn.

Voorkomen dat een bug in productie terechtkomt, vereist aanzienlijke zorgvuldigheid — prompts moeten zorgvuldig worden opgesteld en code moet grondig worden getest.

Daarom werken mensen ook harder dan ooit — vooral medewerkers met oproepdienst.

Hoe AI de beschikbaarheid van productieomgevingen beïnvloedt

We hebben uitgebreide monitoring en beveiligingsmaatregelen toegevoegd. De Claude API is instabiel in productie, dus hebben we deze aangevuld met opensourcemodellen zoals Qwen.

De beschikbaarheid van productieomgevingen is een ander probleem. Onze applicatie heeft tijdens piekuren te maken gehad met ernstige kwaliteitsvermindering.

We zijn van plan deze applicaties op zelfgehoste LLMs te draaien als mechanisme voor fouttolerantie.

Davids gedachten

De beschikbaarheid van productieomgevingen is een ander probleem. Onze applicatie heeft tijdens piekuren te maken gehad met ernstige kwaliteitsvermindering.

Waarom praktisch coderen belangrijker is dan training bij de uitrol van AI

Toen ik deze veranderingen doorvoerde, vroegen mensen om training voordat ze de tools gebruikten.

Ik had mensen vanaf het begin moeten verplichten om AI in hun code te gebruiken. In plaats daarvan volgden ze enorm veel trainingen en cursussen.

AI verandert zo snel dat het materiaal wekelijks verouderd raakt. Doen is de enige manier om te leren.

Waarom het toevoegen van ontwikkelaars een projecttoeslag met zich meebrengt

CTO's zouden hun organisaties opnieuw moeten ontwerpen. Teams van één persoon hebben nu namelijk de hoogste snelheid.

Productiviteit hangt van twee dingen af:

1. Hoe goed je taken voor AI definieert
2. Hoe goed je het werk dat AI produceert valideert en corrigeert

Behoud de geweldige mensen die goed met AI kunnen werken. Het toevoegen van mensen aan een project brengt een toeslag met zich mee.

Waarom CTO's ervan moeten uitgaan dat AI zal falen

Dit is mijn advies: wees zo agressief mogelijk met de implementatie, maar valideer grondig.

U zult overal succes boeken, maar u zult te maken krijgen met mislukkingen als u niet beschikt over de juiste validatie- en governancestructuren.

CTO's moeten aanzienlijke tijd besteden aan het implementeren van deze structuren — en aan het opnemen van talrijke veiligheidsmechanismen.

Ga ervan uit dat AI zal falen.

Volg mee

U kunt het werk van David Ting volgen op LinkedIn.

Er komen nog meer interviews met experts op The CTO Club!