CTO waarschuwt ingenieurs: ga er niet van uit dat AI veilig is

Pedro Thomaz is de oprichter en CTO van Amplified Creations, evenals van de producten in de portefeuille.

We spraken met hem over de kansen van AI en de kritieke beveiligingsrisico's ervan. Dit is wat hij ons vertelde.

Toen AI "klik" zei

Ik ben Pedro, CTO, bouwer en herstellende ontwikkelaar van het type "gewoon opleveren".

Ik begon in de technologiesector zoals de meesten: code schrijven, projecten opleveren en klanten tevreden houden. Jarenlang leidde ik Amplified Creations, een creatieve technologie- en designstudio die ik in 2007 mede heb opgericht. We bouwden maatwerksoftware, virtuele rondleidingen en digitale ervaringen voor bedrijven in heel Portugal en daarbuiten. Goed werk. Degelijk werk. Maar vooral uitvoerend werk.

Toen kwam AI. Niet de hype, maar het daadwerkelijk bruikbare deel. Voor mij viel het kwartje eind 2023, toen we werkten aan RVer, een VR-gezondheidszorgsysteem dat we intern bouwen.

We creëerden immersieve omgevingen om de angst van patiënten in klinische omgevingen te verminderen: ziekenhuizen, verpleeghuizen enzovoort. Toen we AI aan het systeem toevoegden, veranderde er iets. Artsen, clinici en therapeuten — de mensen die werken in een werkelijk complexe omgeving met grote gevolgen — werden aantoonbaar efficiënter.

Toen stopte ik met AI te zien als een functie en begon ik het als de basis te gebruiken.

Vandaag help ik via Amplified Creations bedrijven in verschillende sectoren om AI toe te passen waar die echt verschil maakt: in bedrijfsvoering, content, automatisering en oplevering.

De behoefte aan technische en operationele grenzen

Amplified Creations is een unieke combinatie van een creatieve studio, technologiebedrijf en AI-adviesbureau.

We zijn een klein maar ervaren team. Afhankelijk van de fase van een project coördineren we meer dan 25 mensen, een mix van medewerkers in eigen dienst en gespecialiseerde onderaannemers. Onze organisatie geeft prioriteit aan flexibiliteit, niet aan het aantal medewerkers.

Onze productportefeuille is gevarieerd. Aan de ene kant draait RVer — ons interne VR-platform voor de gezondheidszorg — op private, volledig geïsoleerde infrastructuur. Gezondheidsgegevens gaan niet naar de cloud. Punt. Aan de andere kant is ons werk op het gebied van AI-automatisering voor klanten — Portugese mkb-bedrijven in de detailhandel, industrie en dienstverlening — doorgaans cloud-native, snel te implementeren en geïntegreerd met hun bestaande systemen.

Architectonisch zijn we pragmatisch. We hangen geen religie aan een bepaalde technologiestack. We kiezen wat past bij het beveiligingsmodel, de volwassenheid van de klant en de planning voor de oplevering. Dat betekent meestal de cloud, maar wanneer het domein daarom vraagt, bouwen we ook voor private, veilige implementatie op locatie.

Het voortdurend schakelen tussen al deze gebieden zorgt voor complexiteit. Een team leiden dat in dezelfde sprint en een streng gereguleerd VR-gezondheidssysteem als een AI-automatisering voor de detailhandel oplevert, vereist zeer duidelijke grenzen — zowel technisch als operationeel.

Pedro deelt

Een team leiden dat in dezelfde sprint een streng gereguleerd VR-gezondheidssysteem en een AI-automatisering voor de detailhandel oplevert, vereist zeer duidelijke grenzen — zowel technisch als operationeel.

Hoe AI de manier verandert waarop CTO's producten bouwen en besturen

AI raakt alles, maar het laatste woord is altijd aan de mens. Vooral in de gezondheidszorg.

Het beïnvloedt hoe we bouwen, wat we implementeren en hoe we toezicht houden.

AI speelt een rol in elke laag: architectuurbeslissingen, codebeoordeling, testen, prioritering van de backlog, incidentrespons en beveiligingsbeoordeling. We gebruiken ook speciale agents voor ontwikkeling, codebeoordeling, implementatie en feedbacklussen met klanten.

Wanneer een klant bijvoorbeeld een probleem met de gebruiksvriendelijkheid meldt, wordt dat rechtstreeks doorgegeven aan een agent die ons helpt de oplossing te vinden en die sneller te implementeren. Het product wordt complexer, maar paradoxaal genoeg beweegt het team sneller omdat agents de extra werklast opvangen.

Maar AI functioneert als een zeer capabele machine voor conceptversies, niet als beslisser. Een mens beoordeelt, keurt goed of past aan en geeft de definitieve goedkeuring. Elke keer.

In het geval van RVer is dit niet alleen een filosofie. Het is een wettelijke realiteit. Infarmed - de Portugese autoriteit voor gezondheidsproducten - houdt ons aan een norm waarbij een verkeerd geplaatst komma in documentatie ons onze vergunning kan kosten. Verkeerde informatie die door een codefragment aan het licht komt en een trage incidentrespons hebben allebei gevolgen waarvoor geen enkele AI-agent verantwoordelijk kan worden gehouden. Daarom houden we mensen bij het proces betrokken, niet alleen voor de kwaliteit maar ook voor de verantwoordelijkheid. Iemand is altijd verantwoordelijk voor het resultaat.

Dat gezegd hebbende, is de grens niet altijd duidelijk.

Hoe een AI-aangedreven ontwikkelworkflow werkt

Zo werkt onze AI-aangedreven ontwikkelworkflow.

Het begint met een idee. Soms komt dat van het team, soms uit feedback van klanten en steeds vaker uit suggesties van AI om verbeteringen door te voeren op basis van vastgestelde patronen. Elk idee gaat eerst naar ons medisch team. Als het op papier geen klinische zin heeft, stopt het daar. We schrijven geen code.

Als het die filter doorstaat, maken we snel een prototype. AI kan in een handvol sessies een werkend MVP opleveren, dus we discussiëren niet lang over ideeën. De prototypes worden het onderwerp van gesprek.

We bouwen ze, testen ze intern met zowel medisch als technisch personeel en laten de resultaten beslissen. Als het prototype veelbelovend is, brengen we het naar productie.

Productie betekent dat het team en AI samen code schrijven — vanaf dag één bouwen we foutregistratie in, waarbij we ons backoffice in realtime van gegevens voorzien. Wanneer een nieuwe functie wordt uitgebracht, volgen we die live. Het team beoordeelt en keurt goed, en brengt niets uit totdat het foutloos is.

Waarom Claude Code cruciaal is voor AI-ontwikkeling

Claude Code is de belangrijkste tool in onze ontwikkelstack.

Het is niet alleen een codeerassistent; het komt het dichtst in de buurt van een ervaren ontwikkelaar die 24/7 beschikbaar is. Het schrijft, beoordeelt, doet suggesties, vangt fouten op en integreert met alles via zijn plug-in-ecosysteem.

De meeste AI-codeertools doen één ding goed. Claude Code doorloopt de volledige cyclus van "hier is een idee voor een nieuwe functie" tot "hier is de code, hier zijn de mogelijke problemen en hier moet je in productie op letten". Dat is geen tool. Dat is een workflow.

Als ik alles vanaf nul zou moeten herbouwen met één tool aan mijn zijde, dan zou ik die kiezen.

Hoe AI beveiligingsrisico's veroorzaakt

AI versnelt alles, ook de mensen die je systemen proberen te kraken.

Dat hebben we onlangs geleerd toen de infrastructuur van een externe server van een klant werd gecompromitteerd. Wij beheerden hun beveiliging niet, maar hun API-sleutels stonden in een AI-systeem dat we hadden gebouwd. De sleutels lekten. We hielpen hen onmiddellijk de inloggegevens te vernieuwen, adviseerden hun serverteam over wat beter moest worden beveiligd en bouwden vervolgens de beveiligingslaag van ons eigen systeem volledig opnieuw op. Zelfs als hun infrastructuur opnieuw wordt aangevallen, zijn de sleutels in ons systeem nu aanzienlijk moeilijker te bereiken.

Dit leerde me om niet te vertrouwen op beveiliging die we niet zelf beheren. Neem elke laag die je kunt in eigen beheer, ongeacht wie wat verderop in de keten beheert.

AI heeft het ontwikkelingstempo opgevoerd tot 11. Het heeft het tempo van aanvallen ook opgevoerd tot 11. Dezelfde race als voorheen, alleen veel sneller.

Waarom technische leiders moeten begrijpen dat beveiliging niet de standaard van AI is

Het bovenstaande voorbeeld had misschien anders kunnen verlopen als het een systeem was geweest dat volledig door mensen was gebouwd. Misschien. We zullen het nooit weten. Maar ik zie dit voortdurend bij projecten die op gevoel met code worden gebouwd. En dit benadrukt iets belangrijks: AI versnelt de productie, en als de mensen die toezicht houden niet grondig te werk gaan, worden de tekortkomingen groter in plaats van kleiner.

Anders gezegd: AI veroorzaakte die problemen niet. Het ontbreken van een echte ingenieur achter de AI deed dat.

Want op dit moment moet elke CTO weten dat beveiliging niet de standaard van AI is.

Wanneer AI weigert je te helpen een overheidswebsite te hacken, is dat een waardenbeslissing die in het model is ingebouwd. Het zal het niet doen. Punt. Maar datzelfde model genereert zonder problemen code die API-sleutels blootlegt, MFA overslaat op een inlogformulier of een .env-bestand naar een openbare repository stuurt omdat niemand het heeft verteld dat niet te doen.

Eerlijk gezegd stoort die asymmetrie me. Als AI de architectuur heeft om ethische waarborgen af te dwingen, heeft het ook de architectuur om elementaire beveiligingshygiëne af te dwingen. Zo ver zijn we nog niet. Een beginnende ontwikkelaar die AI vraagt om zijn eerste app te bouwen, zou niet al hoeven te weten wat hij niet weet over beveiliging. Het model zou de basis automatisch moeten afhandelen: nooit geheimen vastleggen, altijd MFA implementeren voor authenticatie, nooit gevoelige configuratie in gecompileerde uitvoer blootleggen, enzovoort.

Dezelfde logica die AI ervan weerhoudt extern schade aan te richten, zou het ervan moeten weerhouden intern schade te veroorzaken. Zo ver zijn we nog niet. En totdat dat wel het geval is, blijft een junior ontwikkelaar met een AI-assistent een junior ontwikkelaar — alleen levert die sneller en maakt die sneller kostbare fouten!

Hoe AI de ontwikkelingstijdlijnen verandert

De resultaten van AI zijn aanzienlijk geweest. Maar de lessen ook.

Aan de positieve kant spreken de cijfers voor zich. Voor klantwerk hebben we de tijd voor administratieve taken in sommige gevallen met maximaal 85% teruggebracht, en sommige taken zijn nu volledig geautomatiseerd. Daardoor is de vraag "hoeveel tijd hebben we bespaard?" bijna filosofisch geworden. Ontwikkelcycli die zes maanden zouden hebben geduurd, worden nu in drie tot vier maanden opgeleverd.

Intern ligt onze ontwikkeloutput ongeveer 5x hoger dan vóór AI — gemeten in regels code per sessie, git-commits per dag en functies die per sprint worden opgeleverd. Het tempo is oprecht moeilijk uit te leggen aan iemand die het niet met eigen ogen heeft gezien.

En niemand is ontslagen. We zijn niet groot genoeg om over ontslagen te praten, maar belangrijker nog: dat was nooit het doel. Wat is veranderd, is wat mensen doen. Het team dat vroeger het grootste deel van zijn tijd aan het schrijven van code besteedde, besteedt die tijd nu aan beoordelen, beslissen en verbeteren. Dat is een betere inzet van senior medewerkers.

Hoe AI de focus bij werving verschuift naar expertise op senior niveau

De oude wervingsvraag was: "Welke programmeertalen beheers je?" Dat is nu bijna irrelevant. AI handelt de syntaxis af. Waar we tegenwoordig voor werven, is beoordelingsvermogen.

Kun je een beveiligingsfout in door AI gegenereerde code herkennen? Wat doe je als je AI-systeem per ongeluk een .env-bestand openbaar maakt? Begrijp je waarom dat belangrijk is? Hoe beoordeel je uitvoer die je niet regel voor regel zelf hebt geschreven?

In de praktijk nemen we geen juniorontwikkelaars meer aan. Niet omdat we mensen aan het begin van hun loopbaan niet waarderen, maar omdat AI het werk van junioren heeft overgenomen. AI schrijft de code. Wat we nodig hebben, is iemand met genoeg senioriteit om te weten wanneer die code niet klopt.

Elke ontwikkelaar die we aannemen, beoordelen we nu alsof het om een senior aanstelling gaat. Bewustzijn van beveiliging, kritisch beoordelingsvermogen en professioneel inzicht. De lat is hoger komen te liggen omdat AI de ondergrens heeft verhoogd.

Hoe AI de beschermende gracht van complexiteit wegneemt

Leiders onderschatten hoe snel AI anderen in staat stelt te repliceren wat jaren heeft gekost om te bouwen.

Neem SaaS-CRM's als voorbeeld. Jarenlang was complexiteit de beschermende gracht. De tijd, kosten en expertise die nodig waren om iets vergelijkbaars te bouwen, betekenden dat de meeste bedrijven simpelweg het abonnement betaalden en verdergingen. Die berekening is veranderd. Ik heb bedrijven geholpen hun eigen CRM vanaf nul te bouwen, precies afgestemd op hun behoeften, tegen een fractie van de kosten op lange termijn. Geen overbodige ballast. Geen functies die ze nooit zullen gebruiken. Geen maandelijkse rekening die elk jaar hoger wordt.

SaaS-bedrijven die hun onderneming hebben gebouwd rond de gedachte "dit zou jaren kosten om te repliceren", ontdekken dat dit niet langer waar is. Dat is terug te zien in de aandelenkoersen.

Dit is het risico dat CTO's consequent onderschatten. Niet dat AI hun sector van buitenaf zal ontwrichten, maar dat het hun concurrenten, klanten en zelfs hun eigen afnemers stilletjes de middelen geeft om om hen heen te bouwen.

Als je verdedigbaarheid berust op complexiteit en bouwtijd, heeft AI je beschermende gracht zojuist weggenomen. De vraag is of je dat hebt opgemerkt voordat iemand anders dat deed.

Waarom de AI-banendoemdag onzin is

Pedro deelt

AI is een hulpmiddel, geen werknemer. Zelfs wanneer het zich via agents, automatisering of autonome pijplijnen als een werknemer gedraagt, is iemand verantwoordelijk voor wat het doet.

Dit zijn vier adviezen. En ik bedoel ze allemaal.

Ten eerste: AI is een hulpmiddel, geen werknemer. Zelfs wanneer het zich gedraagt als een werknemer via agents, automatisering of autonome pijplijnen, is iemand verantwoordelijk voor wat het doet. Er moet een mens bij betrokken zijn. Niet alleen vanwege aansprakelijkheid, maar ook omdat de uitvoer daadwerkelijk beter is wanneer een denkend persoon de leiding heeft. Vergeet dat nooit.

Ten tweede: mensen hebben AI gebouwd, dus het heeft bugs van menselijke kwaliteit. Het hallucineert. Het neemt het niet zo nauw met beveiliging. Het maakt zelfverzekerde fouten. Behandel het als een briljant maar onervaren teamlid: ongelooflijke uitvoer, maar toezicht is nodig. Op het moment dat je stopt met het controleren van zijn werk, is het moment waarop het stilletjes iets oplevert waar je spijt van krijgt — of je volledige database verwijdert!

Ten derde: wanneer AI correct is geconfigureerd, is het op de best mogelijke manier een absolute krachtpatser. Met de juiste parameters, de juiste context en de juiste beveiligingsmaatregelen kan het je agenda beheren, telefoontjes beantwoorden, je administratieve processen automatiseren, je familiefoto's herstellen, je verkooppijplijn vullen en nog veel meer. Als een proces een computer omvat, kan AI het uitvoeren of de benodigde tijd drastisch verkorten. Het is vanaf hier oprecht moeilijk om de bovengrens te zien.

Ten vierde: de apocalyps van AI-banen is onzin, verspreid door mensen die nooit geschiedenis hebben bestudeerd. We hebben dit al eerder meegemaakt. De industriële revolutie. De lopende band. Industriële robotica. Elke keer was de voorspelling massale werkloosheid. Elke keer gebeurde er in werkelijkheid dat mensen stopten met het saaie, repetitieve en geestdodende werk en overstapten naar creatievere taken met meer waarde. AI zal hetzelfde doen, alleen sneller.

Ja, sommige functies zullen verdwijnen. Ik heb het al gezien. Functies waarvoor ooit specialistische interpretatie van gegevens nodig was, worden nu beter en sneller uitgevoerd door een model. Maar die mensen zijn niet overbodig. Ze zijn vrijgemaakt.

Denk er zo over na: hoeveel tienjarigen zouden vandaag vanuit hun slaapkamer een app kunnen bouwen? Stel nu dezelfde vraag in een wereld zonder AI. Het kind is niet veranderd. Hun ideeën zijn niet veranderd. AI heeft alleen de drempel tussen verbeelding en creatie weggenomen. Dat is geen bedreiging, dat is de best mogelijke uitkomst van deze ontwikkeling.

We moeten alleen onze mentaliteit veranderen. Omarm het, verken het, bouw ermee en leer ermee te leven. De machines doen het zware werk. Wij geven ze opdrachten.

Blijf op de hoogte

Je kunt meer te weten komen over Pedro's werk op LinkedIn. Bekijk ook Amplified Creations.

Er komen nog meer interviews met experts op The CTO Club!