
CTO advarer ingeniører: Ikke anta at KI er sikker

Pedro Thomaz
Grunnlegger og CTO i Amplified Creations
Finn ut hvordan en CTO bruker KI til å fremskynde programvareleveranser, samtidig som sikkerhet, ansvarlighet og menneskelig gjennomgang opprettholdes i utviklingsmiljøer med høy risiko.
Pedro Thomaz
Grunnlegger og CTO i Amplified Creations
Key Takeaways
KI-påvirkning: KI forvandlet Amplified Creations ved å øke effektiviteten og etablere seg som et grunnlag for produktet.
Sikkerhetsgrense: KI økte både utviklingshastigheten og sikkerhetsrisikoen, noe som krever omfattende tiltak og menneskelig tilsyn.
CTO-ledelse: KI påvirker alle sider ved produktutviklingen, men krever menneskelig dømmekraft for styring og ansvarlighet.
Senior-dømmekraft: Ansettelser fokuserer nå på seniorutviklere på grunn av dømmekraften deres og evnen til å håndtere kompleksitet skapt av KI.
Utviklingsakselerasjon: KI har forkortet utviklingstidene betydelig, forvandlet syklusene og forbedret teamets effektivitet og leveranser.
Pedro Thomaz er grunnlegger og CTO i Amplified Creations, samt for produktene i porteføljen deres.
Vi satte oss ned med ham for å diskutere mulighetene innen AI, samt de alvorlige sikkerhetstruslene. Her er det han fortalte oss.
Da AI «falt på plass»
Jeg heter Pedro og er CTO, utvikler og en tidligere «bare send det ut»-utvikler som er på bedringens vei.
Jeg begynte i teknologibransjen slik de fleste gjør: ved å skrive kode, levere prosjekter og holde kundene fornøyde. I mange år drev jeg Amplified Creations, et kreativt teknologi- og designstudio som jeg var med på å grunnlegge i 2007. Vi utviklet skreddersydd programvare, virtuelle omvisninger og digitale opplevelser for selskaper over hele Portugal og andre steder. Godt arbeid. Solid arbeid. Men stort sett i gjennomføringsmodus.
Så kom AI. Ikke hypebølgen, men den virkelig nyttige delen. Skiftet falt på plass for meg mot slutten av 2023, mens vi jobbet med RVer, et VR-helsesystem vi utvikler internt.
Vi skapte oppslukende miljøer for å redusere pasientangst i kliniske omgivelser: sykehus, sykehjem og så videre. Da vi integrerte AI i systemet, skjedde det noe. Leger, klinikere og terapeuter – menneskene som arbeider i et genuint komplekst miljø med mye på spill – ble målbart mer effektive.
Det var da jeg sluttet å tenke på AI som en funksjon og begynte å bygge med det som grunnlag.
I dag hjelper jeg gjennom Amplified Creations virksomheter i ulike bransjer med å ta i bruk AI der det gir størst effekt: drift, innhold, automatisering og levering.
More Articles
Behovet for tekniske og driftsmessige grenser

Amplified Creations er en unik kombinasjon av et kreativt studio, et teknologihus og et AI-konsulentselskap.
Vi er et lite, men erfarent team. Avhengig av prosjektets fase koordinerer vi over 25 personer, en blanding av fast ansatte og spesialiserte underleverandører. Organisasjonen vår prioriterer fleksibilitet, ikke antall ansatte.
Produktporteføljen vår er variert. I den ene enden finner vi RVer – vår interne VR-plattform for helsesektoren – som kjører på privat, fysisk adskilt infrastruktur. Helsedata går ikke til skyen. Punktum. I den andre enden finner vi AI-automatiseringen vår for kunder – portugisiske små og mellomstore bedrifter innen handel, industri og tjenester – som vanligvis er skybasert, distribueres raskt og integreres med de eksisterende systemene deres.
Arkitektonisk er vi pragmatiske. Vi er ikke dogmatiske når det gjelder teknologistakken. Vi velger det som passer sikkerhetsmodellen, kundens modenhet og tidsplanen for leveransen. Dette betyr vanligvis skyen, men når fagområdet krever det, bygger vi for privat, sikker lokal drift i stedet.
Det å skifte mellom alle disse områdene skaper kompleksitet. Å lede et team som leverer et strengt regulert VR-helsesystem og en AI-automatisering for varehandelen i samme sprint krever svært tydelige grenser – både teknisk og driftsmessig.

Pedro deler
Å lede et team som leverer et strengt regulert VR-helsesystem og en AI-automatisering for varehandelen i samme sprint krever svært tydelige grenser – både teknisk og driftsmessig.
Slik endrer AI hvordan CTO-er utvikler og styrer produkter
AI berører alt, men det siste ordet er alltid menneskelig. Særlig innen helse.
Det påvirker hvordan vi bygger, hva vi distribuerer og hvordan vi styrer.
AI gir innspill på alle nivåer: arkitekturbeslutninger, kodegjennomgang, testing, prioritering av oppgaver, hendelseshåndtering og sikkerhetsgjennomgang. Vi kjører også dedikerte agenter for utvikling, kodegjennomgang, distribusjon og tilbakemeldingssløyfer fra kunder.
Hvis en kunde for eksempel melder fra om et brukervennlighetsproblem, sendes det direkte til en agent som hjelper oss med å identifisere løsningen og implementere den raskere. Produktet blir mer komplekst, men paradoksalt nok jobber teamet raskere fordi agentene tar seg av merarbeidet.
Men AI fungerer som en svært kapabel maskin for å lage utkast, ikke som en beslutningstaker. Et menneske gjennomgår, godkjenner eller justerer og gir den endelige godkjenningen. Hver gang.
Når det gjelder RVer, er dette ikke bare en filosofi. Det er en regulatorisk realitet. Infarmed – Portugals myndighet for helseprodukter – stiller krav til oss på et nivå der et feilplassert komma i dokumentasjonen kan koste oss lisensen. Feil informasjon som kommer frem i en kodebit, og en langsom håndtering av hendelser, får begge konsekvenser som ingen AI-agent kan holdes ansvarlig for. Derfor holder vi mennesker involvert, ikke bare av hensyn til kvaliteten, men også av hensyn til ansvarligheten. Noen har alltid ansvaret for resultatet.
Når det er sagt, er grensen ikke alltid tydelig.
Slik fungerer en AI-drevet arbeidsflyt for utvikling
Slik fungerer den AI-drevne arbeidsflyten vår for utvikling.
Det begynner med en idé. Noen ganger kommer den fra teamet, andre ganger fra tilbakemeldinger fra kunder, og stadig oftere fra AI, som foreslår forbedringer basert på identifiserte mønstre. Alle ideer går først til det medisinske teamet vårt. Hvis den ikke gir klinisk mening på papiret, stopper den der. Vi skriver ingen kode.
Hvis den passerer dette filteret, lager vi raskt en prototype. AI kan produsere en fungerende MVP i løpet av noen få økter, så vi diskuterer ikke ideene lenge. Prototypene blir utgangspunktet for diskusjonen.
Vi bygger dem, tester dem internt med både medisinsk og teknisk personell og lar resultatene avgjøre. Hvis prototypen viser lovende takter, går vi videre til produksjon.
Produksjon betyr at teamet og AI skriver kode sammen – vi bygger inn feillogging fra dag én, slik at det sendes data til støtteapparatet vårt i sanntid. Når en ny funksjon lanseres, følger vi med direkte. Teamet gjennomgår, godkjenner og sender ikke ut noe før alt er ryddig.
Hvorfor Claude Code er avgjørende for AI-utvikling
Claude Code er det viktigste verktøyet i utviklingsstakken vår.
Det er ikke bare en kodeassistent; det er det nærmeste jeg kommer en seniorutvikler som er tilgjengelig døgnet rundt. Den skriver, gjennomgår, foreslår, oppdager feil og integreres med alt gjennom plugin-økosystemet sitt.
De fleste AI-kodeverktøy gjør én ting bra. Claude Code håndterer hele løpet fra «her er en idé til en ny funksjon» til «her er koden, her er de mulige problemene, og her er det jeg ville fulgt med på i produksjon». Det er ikke et verktøy. Det er en arbeidsflyt.
Hvis jeg måtte bygge alt på nytt fra grunnen av med ett verktøy på min side, ville jeg valgt det.
Slik skaper AI sikkerhetsrisikoer

AI setter fart på alt, også menneskene som prøver å bryte seg inn i systemene dine.
Det fikk vi erfare nylig da en klients serverinfrastruktur hos en tredjepart ble kompromittert. Vi administrerte ikke sikkerheten deres, men API-nøklene deres lå i et AI-system vi hadde bygget. Nøklene lekket. Vi hjalp dem med å rotere legitimasjonen umiddelbart, ga serverteamet deres råd om hva som burde sikres bedre, og bygget deretter sikkerhetslaget i vårt eget system på nytt fra grunnen av. Selv om infrastrukturen deres blir angrepet igjen, er nøklene i systemet vårt nå betydelig vanskeligere å få tak i.
Dette lærte meg at jeg ikke bør lene meg på sikkerhet vi ikke kontrollerer. Ta eierskap til hvert lag du kan, uavhengig av hvem som administrerer hva lenger ned i kjeden.
AI skrudde utviklingstempoet opp til 11. Det samme gjorde den med angrepstempoet. Det er det samme kappløpet som før, bare mye raskere.
Hvorfor tekniske ledere må forstå at sikkerhet ikke er standardinnstillingen til AI
Eksempelet ovenfor kunne ha utviklet seg annerledes hvis det hadde vært et system bygget utelukkende av mennesker. Kanskje. Det får vi aldri vite. Men jeg ser dette hele tiden i vibe-kodede prosjekter. Og det forsterker noe viktig: AI setter fart på produksjonen, og hvis menneskene som følger den opp, ikke er grundige, blir hullene større, ikke mindre.
Sagt på en annen måte: AI skapte ikke disse problemene. Det gjorde fraværet av en ekte ingeniør bak AI-en.
For akkurat nå må alle CTO-er vite at sikkerhet ikke er standardinnstillingen til AI.
Når AI nekter å hjelpe deg med å hacke en offentlig nettside, er det et verdivalg som er bygget inn i modellen. Den gjør det ikke. Punktum. Men den samme modellen genererer gjerne kode som eksponerer API-nøkler, hopper over MFA i et påloggingsskjema eller legger en .env-fil i et offentlig repositorium fordi ingen fortalte den at den ikke skulle gjøre det.
Helt ærlig plager denne asymmetrien meg. Hvis AI har arkitekturen som trengs for å håndheve etiske sikkerhetsbarrierer, har den også arkitekturen som trengs for å håndheve grunnleggende sikkerhetshygiene. En førstegangsutvikler som ber AI om å bygge sin første app, bør ikke allerede måtte vite hva de ikke vet om sikkerhet. Modellen bør håndtere grunnnivået automatisk: aldri legg hemmeligheter inn i versjonskontroll, implementer alltid MFA for autentisering, eksponer aldri sensitiv konfigurasjon i kompilert resultat og så videre.
Den samme logikken som hindrer AI i å gjøre skade eksternt, bør hindre den i å skape skade internt. Vi er ikke der ennå. Og frem til vi er det, er en juniorutvikler med en AI-assistent fortsatt en juniorutvikler – de leverer bare raskere og gjør kostbare feil raskere!
AI setter fart på produksjonen, og hvis menneskene som følger den opp, ikke er grundige, blir hullene større, ikke mindre. AI skapte ikke disse problemene. Det gjorde fraværet av en ekte ingeniør bak AI-en. Alle CTO-er må vite at sikkerhet ikke er standardinnstillingen til AI.

Slik endrer AI tidslinjene for utvikling
Resultatene av AI har vært betydelige. Men det har også lærdommene vært.
På plussiden taler tallene for seg selv. På tvers av kundeprosjekter har vi i noen tilfeller redusert tiden brukt på administrative oppgaver med opptil 85 %, og enkelte oppgaver er nå fullstendig automatisert. Det gjør spørsmålet «hvor mye tid sparte vi?» nesten filosofisk. Utviklingssykluser som tidligere ville tatt seks måneder, leveres nå på tre til fire.
Internt er utviklingsproduksjonen vår omtrent 5 ganger større enn før AI – målt i kodelinjer per økt, git-commits per dag og funksjoner levert per sprint. Tempoet er genuint vanskelig å forklare for noen som ikke har sett det med egne øyne.
Og ingen ble sagt opp. Vi er ikke store nok til å diskutere masseoppsigelser, men enda viktigere: Det var aldri målet. Det som endret seg, er hva folk gjør. Teamet som tidligere brukte mesteparten av tiden på å skrive kode, bruker den nå på gjennomgang, beslutninger og forbedringer. Det er en bedre bruk av seniorressurser.
Slik flytter AI rekrutteringsfokuset mot seniorkompetanse

Det gamle spørsmålet i jobbintervjuer var «Hvilke programmeringsspråk kan du?» Det er nå nesten irrelevant. AI håndterer syntaksen. Det vi ansetter for i dag, er dømmekraft.
Kan du oppdage en sikkerhetsfeil i AI-generert kode? Hva gjør du hvis AI-systemet ditt ved et uhell eksponerer en .env-fil? Forstår du hvorfor det er viktig? Hvordan gjennomgår du resultatet linje for linje når det ikke er du som har skrevet det?
I praksis ansetter vi ikke lenger juniorutviklere. Ikke fordi vi ikke verdsetter folk tidlig i karrieren, men fordi AI har overtatt juniorarbeidet. AI skriver koden. Det vi trenger, er noen som er senior nok til å vite når den er feil.
Nå vurderer vi alle utviklere vi ansetter, som om de skulle ansettes på seniornivå. Sikkerhetsbevissthet, kritisk gjennomgang og profesjonelt skjønn. Kravene ble høyere fordi AI hevet bunnivået.
Hvordan AI fjerner kompleksitetens konkurransefortrinn
Ledere undervurderer hvor raskt AI gjør det mulig for andre å gjenskape noe det tok flere år å bygge.
Se på SaaS-CRM-systemer som et eksempel. I årevis var kompleksitet konkurransefortrinnet. Tiden, kostnadene og kompetansen som krevdes for å bygge noe tilsvarende, betydde at de fleste selskaper ganske enkelt betalte abonnementet og gikk videre. Det regnestykket har endret seg. Jeg har hjulpet selskaper med å bygge sitt eget CRM-system fra grunnen av, nøyaktig tilpasset behovene deres, til en brøkdel av de langsiktige kostnadene. Ingen overflødige funksjoner. Ingen funksjoner de aldri kommer til å bruke. Ingen månedlig regning som vokser hvert år.
SaaS-selskaper som bygde virksomheten sin på at «dette ville ta flere år å gjenskape», oppdager at det ikke lenger stemmer. Det gjenspeiles i aksjekursene.
Dette er risikoen teknologidirektører konsekvent undervurderer. Det handler ikke om at AI vil forstyrre bransjen deres utenfra, men om at AI i det stille gir konkurrentene, kundene og til og med deres egne brukere verktøyene de trenger for å bygge løsninger rundt dem.
Hvis konkurransefortrinnet ditt bygger på kompleksitet og tiden det tar å bygge noe, har AI nettopp fjernet konkurransefortrinnet ditt. Spørsmålet er om du oppdaget det før noen andre gjorde det.
Hvorfor AI-jobbapokalypsen er nonsens

Pedro deler
AI er et verktøy, ikke en arbeidstaker. Selv når det oppfører seg som en arbeidstaker gjennom agenter, automatisering eller autonome prosesser, er noen ansvarlig for det den gjør.
Her er fire råd. Og jeg mener hvert eneste av dem.
For det første: AI er et verktøy, ikke en arbeidstaker. Selv når det oppfører seg som en arbeidstaker gjennom agenter, automatisering eller autonome prosesser, er noen ansvarlig for det den gjør. Et menneske må være med i loopen. Ikke bare av hensyn til ansvar, men fordi resultatet faktisk blir bedre når en tenkende person styrer det. Glem aldri det.
For det andre: Mennesker bygde AI, så den har feil på menneskenivå. Den hallusinerer. Den tar snarveier når det gjelder sikkerhet. Den gjør selvsikre feil. Behandle den som et briljant, men uerfarent teammedlem: Utrolig gode resultater, men trenger oppfølging. I det øyeblikket du slutter å kontrollere arbeidet, er det øyeblikket den i stillhet lanserer noe du kommer til å angre på – eller sletter hele databasen din!
For det tredje: Når AI er riktig konfigurert, er den et komplett monster, på best mulig måte. Med de riktige parameterne, den riktige konteksten og de riktige sikkerhetsreglene kan den administrere kalenderen din, svare på telefoner, automatisere administrasjonsarbeidet ditt, forbedre familiebildene dine, fylle salgspipelinen din og mye mer. Hvis en prosess involverer en datamaskin, kan AI enten utføre den eller redusere tiden det tar, dramatisk. Det er virkelig vanskelig å se hvor grensen går herfra.
For det fjerde: AI-jobbapokalypsen er nonsens som spres av mennesker som aldri har studert historie. Vi har vært her før. Den industrielle revolusjonen. Samlebåndet. Industrirobotikk. Hver gang var spådommen massearbeidsledighet. Hver gang skjedde det samme: Mennesker sluttet å gjøre det kjedelige, repetitive og sjelknusende arbeidet, og gikk over til mer kreative oppgaver med høyere verdi. AI vil gjøre det samme, bare raskere.
Ja, noen roller vil forsvinne. Jeg har allerede sett det. Stillinger som tidligere krevde spesialisert tolkning av data, håndteres nå bedre og raskere av en modell. Men disse menneskene er ikke overflødige. De blir frigjort.
Tenk på det slik: Hvor mange tiåringer i dag kunne ha bygget en app fra soverommet sitt? Still så det samme spørsmålet i en verden uten AI. Barnet har ikke forandret seg. Ideene deres har ikke forandret seg. AI fjernet bare barrieren mellom fantasi og skapelse. Det er ikke en trussel, men den best mulige utviklingen vi kan håpe på.
Vi må bare endre tankesettet vårt. Omfavne det, utforske det, bygge med det og lære å leve med det. Maskinene gjør det tunge arbeidet. Vi styrer dem.
Følg med videre
Du kan lære mer om Pedros arbeid på LinkedIn. Ta også en titt på Amplified Creations.
Det kommer flere ekspertintervjuer på The CTO Club!



