Teknologidirektør advarer ingeniører: Antag ikke, at AI er sikkert

Pedro Thomaz er grundlægger og teknologidirektør hos Amplified Creations samt for de produkter, der indgår i virksomhedens portefølje.

Vi satte os ned med ham for at tale om mulighederne med AI samt de kritiske sikkerhedstrusler, teknologien medfører. Her er, hvad han fortalte os.

Da AI "gav mening"

Jeg hedder Pedro og er teknologidirektør, udvikler og tidligere "bare få det sendt"-udvikler.

Jeg begyndte i teknologibranchen på samme måde som de fleste: ved at skrive kode, levere projekter og holde kunderne tilfredse. I årevis drev jeg Amplified Creations, et kreativt teknologistudie, som jeg var med til at grundlægge i 2007, hvor vi udviklede skræddersyet software, virtuelle rundvisninger og digitale oplevelser for virksomheder i Portugal og andre steder. Godt arbejde. Solidt arbejde. Men primært i udførelsestilstand.

Så kom AI. Ikke hypebølgen, men den del, der faktisk er nyttig. Skiftet gav mening for mig i slutningen af 2023, mens jeg arbejdede på RVer, et VR-sundhedssystem, vi udvikler internt.

Vi skabte fordybende miljøer for at reducere patienters angst i kliniske omgivelser: hospitaler, plejehjem osv. Da vi integrerede AI i systemet, ændrede noget sig. Læger, klinikere og terapeuter – de mennesker, der arbejder i et virkelig komplekst miljø med meget på spil – blev målbart mere effektive.

Det var dér, jeg holdt op med at tænke på AI som en funktion og begyndte at bygge det som fundamentet.

I dag arbejder jeg gennem Amplified Creations med virksomheder på tværs af brancher for at hjælpe dem med at anvende AI dér, hvor det gør en reel forskel: drift, indhold, automatisering og levering.

Et behov for tekniske og operationelle afgrænsninger

Amplified Creations er en unik blanding af et kreativt studie, et teknologihus og et AI-konsulentfirma.

Vi er et lille, men erfarent team. Afhængigt af projektets fase koordinerer vi over 25 personer, en blanding af interne medarbejdere og specialiserede underleverandører. Vores organisation prioriterer fleksibilitet frem for antal medarbejdere.

Vores produktportefølje er varieret. I den ene ende kører RVer – vores interne VR-platform til sundhedssektoren – på privat, fysisk adskilt infrastruktur. Sundhedsdata sendes ikke til skyen. Punktum. I den anden ende er vores arbejde med AI-automatisering for kunder – portugisiske SMV'er inden for detailhandel, industri og service – som regel cloudbaseret, hurtigt at implementere og integreret med deres eksisterende systemer.

Arkitektonisk er vi pragmatiske. Vi har ikke en bestemt teknologistak, vi følger religiøst. Vi vælger det, der passer til sikkerhedsmodellen, kundens modenhed og tidsplanen for leveringen. Det betyder som regel skyen, men når området kræver det, bygger vi i stedet til privat, sikker implementering på stedet.

Det skaber kompleksitet at skifte mellem alle disse områder. At lede et team, der i samme sprint leverer et strengt reguleret VR-sundhedssystem og en AI-automatisering til detailhandlen, kræver meget tydelige tekniske og operationelle afgrænsninger.

Pedro deler

At lede et team, der i samme sprint leverer et strengt reguleret VR-sundhedssystem og en AI-automatisering til detailhandlen, kræver meget tydelige tekniske og operationelle afgrænsninger.

Hvordan AI ændrer den måde, CTO'er bygger og styrer produkter på

AI berører alt, men det sidste ord er altid menneskets. Især inden for sundhed.

Det påvirker, hvordan vi bygger, hvad vi implementerer, og hvordan vi styrer det.

AI informerer alle lag: arkitekturbeslutninger, kodegennemgang, test, prioritering af backloggen, hændelseshåndtering og sikkerhedsgennemgang. Vi kører også dedikerede agenter til udvikling, kodegennemgang, implementering og feedbacksløjfer med kunderne.

Hvis en kunde for eksempel gør opmærksom på et problem med brugervenligheden, føres det direkte ind i en agent, som hjælper os med at identificere løsningen og implementere den hurtigere. Produktet bliver mere komplekst, men paradoksalt nok arbejder teamet hurtigere, fordi agenterne overtager det administrative arbejde.

Men AI fungerer som en yderst kompetent maskine til at udarbejde udkast, ikke som beslutningstager. Et menneske gennemgår, godkender eller justerer og giver den endelige godkendelse. Hver gang.

I RVer's tilfælde er dette ikke blot en filosofi. Det er en lovgivningsmæssig realitet. Infarmed – Portugals myndighed for sundhedsprodukter – stiller krav til os på et niveau, hvor et forkert komma i dokumentationen kan koste os vores licens. Forkerte oplysninger fra et kodestykke og en langsom reaktion på en hændelse har begge konsekvenser, som ingen AI-agent kan holdes ansvarlig for. Derfor holder vi mennesker inde i processen, ikke kun af hensyn til kvaliteten, men også af hensyn til ansvaret. Der er altid nogen, der ejer resultatet.

Når det er sagt, er grænsen ikke altid tydelig.

Sådan fungerer en AI-drevet udviklingsproces

Sådan fungerer vores AI-drevne udviklingsproces.

Det starter med en idé. Nogle gange fra teamet, andre gange fra kundefeedback og i stigende grad fra AI, der foreslår forbedringer baseret på identificerede mønstre. Alle idéer går først til vores medicinske team. Hvis den ikke giver klinisk mening på papiret, stopper den dér. Vi skriver ingen kode.

Hvis den består det filter, laver vi hurtigt en prototype. AI kan producere en fungerende MVP på få sessioner, så vi diskuterer ikke idéer i lang tid. Det er prototyperne, der bliver genstand for diskussionen.

Vi bygger dem, tester dem internt med både medicinsk og teknisk personale og lader resultaterne afgøre det. Hvis prototypen viser potentiale, går vi videre til produktion.

Produktion betyder, at teamet og AI skriver kode sammen — vi indbygger fejllogning fra dag ét, som sender data til vores backoffice i realtid. Når en ny funktion lanceres, overvåger vi den live. Teamet gennemgår, godkender og lancerer ikke noget, før det er fejlfrit.

Hvorfor Claude Code er afgørende for AI-udvikling

Claude Code er det vigtigste værktøj i vores udviklingsstak.

Det er ikke bare en kodeassistent; det er det tætteste, jeg kommer på en seniorudvikler, der er tilgængelig døgnet rundt. Den skriver, gennemgår, foreslår, opdager fejl og integrerer med alt gennem sit plugin-økosystem.

De fleste AI-kodeværktøjer gør én ting godt. Claude Code håndterer hele processen fra "her er en idé til en ny funktion" til "her er koden, her er de potentielle problemer, og her er det, jeg ville holde øje med i produktionen". Det er ikke et værktøj. Det er en arbejdsgang.

Hvis jeg skulle genopbygge alt fra bunden med ét værktøj ved min side, ville det være det.

Sådan skaber AI sikkerhedsrisici

AI fremskynder alt, også de mennesker, der forsøger at bryde ind i dine systemer.

Det lærte vi for nylig, da en klients serverinfrastruktur hos en tredjepart blev kompromitteret. Vi administrerede ikke deres sikkerhed, men deres API-nøgler lå i et AI-system, vi havde bygget. Nøglerne blev lækket. Vi hjalp dem med straks at skifte legitimationsoplysningerne, rådgav deres serverteam om, hvad der skulle sikres bedre, og genopbyggede derefter sikkerhedslaget i vores eget system fra bunden. Selv hvis deres infrastruktur bliver ramt igen, er nøglerne i vores system nu betydeligt sværere at få adgang til.

Det lærte mig, at jeg ikke skal stole på sikkerhed, vi ikke selv kontrollerer. Tag ejerskab over hvert lag, du kan, uanset hvem der administrerer hvad længere nede i kæden.

AI skruede udviklingstempoet op på 11. Det skruede også angrebstempoet op på 11. Det er det samme kapløb som før, bare meget hurtigere.

Hvorfor tekniske ledere skal forstå, at sikkerhed ikke er AI's standardindstilling

Eksemplet ovenfor kunne have udspillet sig anderledes, hvis det havde været et system, der udelukkende var bygget af mennesker. Måske. Det får vi aldrig at vide. Men jeg ser det hele tiden i projekter, der er kodet på mavefornemmelse. Og det understreger noget vigtigt: AI fremskynder produktionen, og hvis de mennesker, der fører tilsyn med den, ikke er grundige, bliver hullerne større, ikke mindre.

Sagt på en anden måde: AI forårsagede ikke disse problemer. Det gjorde fraværet af en rigtig ingeniør bag AI'en.

For lige nu skal alle CTO'er vide, at sikkerhed ikke er AI's standardindstilling.

Når AI nægter at hjælpe dig med at hacke en offentlig myndigheds hjemmeside, er det en værdibeslutning, der er indbygget i modellen. Det vil den ikke gøre. Punktum. Men den samme model vil med glæde generere kode, der eksponerer API-nøgler, springer MFA over i en loginformular eller lægger en .env-fil i et offentligt lager, fordi ingen har fortalt den, at den ikke må.

Helt ærligt bekymrer den asymmetri mig. Hvis AI har arkitekturen til at håndhæve etiske værn, har den også arkitekturen til at håndhæve grundlæggende sikkerhedshygiejne. Vi er ikke nået dertil endnu. En førstegangsudvikler, der beder AI om at bygge sin første app, burde ikke allerede være nødt til at vide, hvad vedkommende ikke ved om sikkerhed. Modellen bør automatisk håndtere grundniveauet: hemmeligheder må aldrig committes, MFA skal altid implementeres til godkendelse, følsom konfiguration må aldrig eksponeres i kompileret output osv.

Den samme logik, der forhindrer AI i at gøre skade eksternt, bør forhindre den i at skabe skade internt. Vi er ikke nået dertil endnu. Og indtil vi er det, er en juniorudvikler med en AI-assistent stadig en juniorudvikler — de lancerer bare hurtigere og begår dyre fejl hurtigere!

Sådan ændrer AI udviklingstidsplaner

Resultaterne af AI har været betydelige. Men det har læringen også.

På den positive side taler tallene for sig selv. På tværs af kundeopgaver har vi i nogle tilfælde reduceret tiden til administrative opgaver med op til 85 %, og nogle opgaver er nu fuldt automatiserede, hvilket gør spørgsmålet om "hvor meget tid sparede vi?" næsten filosofisk. Udviklingscyklusser, der tidligere ville have taget seks måneder, leveres nu på tre til fire.

Internt er vores udviklingsoutput omkring 5 gange større end før AI — målt i antal kodelinjer pr. session, git-commits pr. dag og funktioner leveret pr. sprint. Tempoet er oprigtigt svært at forklare for nogen, der ikke selv har set det.

Og ingen blev afskediget. Vi er ikke store nok til at diskutere masseafskedigelser, men vigtigere endnu: Det var aldrig målet. Det, der ændrede sig, er, hvad folk laver. Det team, der tidligere brugte det meste af sin tid på at skrive kode, bruger nu tiden på at gennemgå, beslutte og forbedre. Det er en bedre anvendelse af erfarne medarbejdere.

Sådan flytter AI fokus i rekrutteringen til seniorerfaring

Det gamle spørgsmål ved rekruttering var: "Hvilke programmeringssprog kan du?" Det er nu næsten irrelevant. AI håndterer syntaksen. Det, vi rekrutterer efter i dag, er dømmekraft.

Kan du opdage en sikkerhedsfejl i AI-genereret kode? Hvad gør du, hvis dit AI-system ved et uheld eksponerer en .env-fil? Forstår du, hvorfor det er vigtigt? Hvordan gennemgår du output, som du ikke selv har skrevet linje for linje?

I praksis ansætter vi ikke længere juniorudviklere. Ikke fordi vi ikke værdsætter folk tidligt i deres karriere, men fordi AI har overtaget juniorarbejdet. AI skriver koden. Det, vi har brug for, er en person, der er erfaren nok til at vide, hvornår den er forkert.

Vi vurderer nu alle udviklere, vi ansætter, som om de var erfarne kandidater. Sikkerhedsbevidsthed, kritisk gennemgang, professionel dømmekraft. Overliggeren blev hævet, fordi AI hævede bundniveauet.

Sådan fjerner AI kompleksitetens voldgrav

Ledere undervurderer , hvor hurtigt AI gør det muligt for andre at kopiere noget, det tog år at opbygge.

Lad os se på SaaS-CRM-systemer som et eksempel. I årevis var voldgraven kompleksitet. Den tid, de omkostninger og den ekspertise, der krævedes for at bygge noget tilsvarende, betød, at de fleste virksomheder ganske enkelt betalte abonnementet og gik videre. Den beregning har ændret sig. Jeg har hjulpet virksomheder med at bygge deres eget CRM-system fra bunden, præcis tilpasset deres behov, til en brøkdel af de langsigtede omkostninger. Ingen overflødige funktioner. Ingen funktioner, de aldrig vil bruge. Ingen månedlig regning, der vokser hvert år.

SaaS-virksomheder, der byggede deres forretning på "det ville tage år at kopiere", opdager, at det ikke længere passer. Det afspejles i aktiekurserne.

Det er den risiko, CTO'er konsekvent undervurderer. Ikke at AI vil forstyrre deres branche udefra, men at det stille og roligt giver deres konkurrenter, kunder og endda deres egne slutkunder værktøjerne til at bygge uden om dem.

Hvis din beskyttelse mod konkurrence bygger på kompleksitet og byggetid, har AI netop fjernet din voldgrav. Spørgsmålet er, om du opdagede det, før en anden gjorde.

Hvorfor AI-jobapokalypsen er nonsens

Pedro deler

AI er et værktøj, ikke en medarbejder. Selv når det fungerer som en medarbejder gennem agenter, automatisering eller autonome pipelines, er nogen ansvarlig for det, den gør.

Her er fire råd. Og jeg mener dem alle sammen.

For det første: AI er et værktøj, ikke en medarbejder. Selv når den opfører sig som en agent gennem automatisering eller autonome processer, er der nogen, der er ansvarlig for det, den gør. Et menneske skal være med i processen. Ikke kun af hensyn til ansvaret, men fordi resultatet reelt bliver bedre, når et tænkende menneske styrer den. Glem aldrig det.

For det andet: Mennesker har bygget AI, så den har fejl af menneskelig kaliber. Den hallucinerer. Den går på kompromis med sikkerheden. Den begår selvsikre fejl. Behandl den som et genialt, men junior teammedlem: utroligt output, men med behov for opsyn. Det øjeblik, hvor du holder op med at kontrollere dens arbejde, er det øjeblik, hvor den stille og roligt sender noget ud, du vil fortryde — eller sletter hele din database!

For det tredje: Når AI er konfigureret korrekt, er den en ren kraftmaskine på den bedst mulige måde. Med de rigtige parametre, den rigtige kontekst og de rigtige sikkerhedsforanstaltninger kan den styre din kalender, besvare opkald, automatisere dit administrative arbejde, reparere dine familiebilleder, fylde din salgspipeline og meget mere. Hvis en proces involverer en computer, kan AI enten udføre den eller drastisk reducere den tid, det tager. Det er oprigtigt svært at se, hvor loftet er herfra.

For det fjerde: Jobapokalypsen forårsaget af AI er nonsens spredt af mennesker, der aldrig har studeret historie. Vi har været her før. Den industrielle revolution. Samlebåndet. Industrirobotter. Hver gang var forudsigelsen massearbejdsløshed. Hver gang skete der det, at mennesker holdt op med at udføre det kedelige, repetitive og sjæleknusende arbejde og skiftede til mere kreative opgaver med højere værdi. AI vil gøre det samme, bare hurtigere.

Ja, nogle roller vil forsvinde. Jeg har allerede set det. Stillinger, der tidligere krævede specialiseret fortolkning af data, håndteres nu bedre og hurtigere af en model. Men de mennesker er ikke overflødige. De er blevet frigjort.

Tænk på det på denne måde: Hvor mange 10-årige i dag kunne bygge en app fra deres soveværelse? Stil nu det samme spørgsmål i en verden uden AI. Barnet har ikke forandret sig. Deres idéer har ikke forandret sig. AI har bare fjernet barrieren mellem fantasi og skabelse. Det er ikke en trussel, det er den bedst mulige version af, hvor det her fører hen.

Vi skal bare ændre vores tankegang. Omfavn det, udforsk det, byg med det, og lær at leve med det. Maskinerne klarer det tunge arbejde. Vi styrer dem.

Følg med

Du kan læse mere om Pedros arbejde på LinkedIn. Og tag et kig på Amplified Creations.

Der kommer flere ekspertinterviews på The CTO Club!