Teknologidirektør advarer ingeniører: Ikke anta at AI er sikkert

Pedro Thomaz er grunnlegger og teknologidirektør i Amplified Creations, samt for produktene i porteføljen deres.

Vi satte oss ned med ham for å diskutere mulighetene med KI, samt de kritiske sikkerhetstruslene teknologien medfører. Dette fortalte han oss.

Da KI "klikket"

Jeg er Pedro, teknologidirektør, utvikler og en utvikler som er på bedringens vei etter perioden med «bare få det ut»-tankegangen.

Jeg begynte i teknologibransjen slik de fleste gjør: ved å skrive kode, levere prosjekter og holde kundene fornøyde. I mange år drev jeg Amplified Creations, et kreativt teknologistudio jeg var med på å grunnlegge i 2007, hvor vi utviklet spesialtilpasset programvare, virtuelle omvisninger og digitale opplevelser for selskaper i Portugal og andre steder. Godt arbeid. Solid arbeid. Men stort sett i gjennomføringsmodus.

Så kom KI. Ikke hypebølgen, men den faktisk nyttige delen. Endringen falt på plass for meg mot slutten av 2023, mens vi jobbet med RVer, et VR-system for helsesektoren som vi utvikler internt.

Vi skapte oppslukende miljøer for å redusere pasientangst i kliniske omgivelser: sykehus, sykehjem og så videre. Da vi integrerte KI i systemet, skjedde det noe. Leger, klinikere og terapeuter – menneskene som arbeider i et genuint komplekst miljø med mye på spill – ble merkbart mer effektive.

Det var da jeg sluttet å tenke på KI som en funksjon, og begynte å bygge det som fundamentet.

I dag jobber jeg gjennom Amplified Creations med virksomheter på tvers av bransjer for å hjelpe dem med å ta i bruk KI der det faktisk gjør en forskjell: drift, innhold, automatisering og levering.

Behovet for tekniske og operasjonelle grenser

Amplified Creations er en unik kombinasjon av et kreativt studio, et teknologihus og et KI-konsulentselskap.

Vi er et lite, men erfarent team. Avhengig av prosjektets fase koordinerer vi over 25 personer, en blanding av ansatte og spesialiserte underleverandører. Organisasjonen vår prioriterer fleksibilitet, ikke antall ansatte.

Produktporteføljen vår er variert. På den ene siden kjører RVer – vår interne VR-plattform for helsesektoren – på privat, fysisk adskilt infrastruktur. Helsedata går ikke til skyen. Punktum. På den andre siden er KI-automatiseringsarbeidet vårt for kunder – portugisiske SMB-er innen varehandel, industri og tjenester – vanligvis skybasert, distribueres raskt og integreres med de eksisterende systemene deres.

Arkitektonisk er vi pragmatiske. Vi har ingen trosretning når det gjelder teknologistakk. Vi velger det som passer sikkerhetsmodellen, kundens modenhet og tidsplanen for leveransen. Dette betyr vanligvis skyen, men når fagområdet krever det, bygger vi i stedet for privat, sikker distribusjon lokalt.

Det å bytte kontekst mellom alle disse områdene skaper kompleksitet. Å lede et team som leverer et strengt regulert VR-helsesystem og en KI-automatisering for varehandel i samme sprint, krever svært tydelige grenser – både teknisk og operasjonelt.

Pedro deler

Å lede et team som leverer et strengt regulert VR-helsesystem og en KI-automatisering for varehandel i samme sprint, krever svært tydelige grenser – både teknisk og operasjonelt.

Slik endrer KI hvordan teknologidirektører bygger og styrer produkter

KI berører alt, men det siste ordet er alltid menneskets. Særlig innen helse.

Det påvirker hvordan vi bygger, hva vi distribuerer og hvordan vi styrer.

KI informerer hvert lag: arkitekturvalg, kodegjennomgang, testing, prioritering av oppgaver i backloggen, hendelseshåndtering og sikkerhetsgjennomgang. Vi kjører også dedikerte agenter for utvikling, kodegjennomgang, distribusjon og tilbakemeldingssløyfer med kunder.

Når en kunde for eksempel melder fra om et brukervennlighetsproblem, går det direkte inn i en agent som hjelper oss med å identifisere løsningen og implementere den raskere. Produktet blir mer komplekst, men paradoksalt nok beveger teamet seg raskere fordi agentene absorberer merarbeidet.

Men KI fungerer som en svært kapabel maskin for utkast, ikke som en beslutningstaker. Et menneske gjennomgår, godkjenner eller justerer og godkjenner endelig. Hver gang.

For RVer er dette ikke bare en filosofi. Det er en regulatorisk realitet. Infarmed – Portugals myndighet for helseprodukter – holder oss til en standard der et feilplassert komma i dokumentasjonen kan koste oss lisensen. Feil informasjon som avdekkes av en kodebit, og treg hendelseshåndtering, får begge konsekvenser som ingen KI-agent kan holdes ansvarlig for. Derfor holder vi mennesker inne i prosessen, ikke bare for kvalitetens skyld, men også for ansvarlighet. Noen har alltid ansvaret for resultatet.

Men grensen er ikke alltid tydelig.

Slik fungerer en AI-drevet utviklingsarbeidsflyt

Slik fungerer vår AI-drevne utviklingsarbeidsflyt.

Det begynner med en idé. Noen ganger fra teamet, noen ganger fra tilbakemeldinger fra kunder, og stadig oftere fra AI som foreslår forbedringer basert på identifiserte mønstre. Alle ideer går først til det medisinske teamet vårt. Hvis den ikke gir klinisk mening på papiret, stopper den der. Vi skriver ingen kode.

Hvis den består dette filteret, lager vi raskt en prototype. AI kan produsere en fungerende MVP i løpet av en håndfull økter, så vi diskuterer ikke ideer lenge. Det er prototypene som blir utgangspunktet for diskusjonen.

Vi bygger dem, tester dem internt med både medisinsk og teknisk personale, og lar resultatene avgjøre. Hvis prototypen viser lovende resultater, går vi videre til produksjon.

Produksjon betyr at teamet og AI skriver kode sammen — vi bygger inn feillogging fra første dag, og sender data til vårt interne system i sanntid. Når en ny funksjon lanseres, følger vi med på den direkte. Teamet gjennomgår, godkjenner og lanserer ingenting før det er feilfritt.

Hvorfor Claude Code er avgjørende for AI-utvikling

Claude Code er det viktigste verktøyet i utviklingsstakken vår.

Det er ikke bare en kodeassistent; det er det nærmeste jeg kommer en seniorutvikler som er tilgjengelig døgnet rundt. Den skriver, gjennomgår, foreslår, oppdager feil og integreres med alt gjennom utvidelsesøkosystemet sitt.

De fleste AI-kodeverktøy gjør én ting bra. Claude Code håndterer hele prosessen fra «her er en idé til en ny funksjon» til «her er koden, her er de potensielle problemene, og her er det jeg ville vært oppmerksom på i produksjon». Det er ikke et verktøy. Det er en arbeidsflyt.

Hvis jeg måtte bygge alt på nytt fra grunnen av med ett verktøy på min side, ville jeg valgt det.

Slik skaper AI sikkerhetsrisikoer

AI akselererer alt, inkludert arbeidet til dem som prøver å bryte seg inn i systemene dine.

Dette fikk vi erfare nylig da en klients serverinfrastruktur fra en tredjepart ble kompromittert. Vi administrerte ikke sikkerheten deres, men API-nøklene deres lå i et AI-system vi hadde bygget. Nøklene kom på avveie. Vi hjalp dem med å rotere legitimasjonen umiddelbart, ga serverteamet deres råd om hva som måtte sikres bedre, og bygde deretter sikkerhetslaget i vårt eget system på nytt fra grunnen av. Selv om infrastrukturen deres blir rammet igjen, er nøklene i systemet vårt nå betydelig vanskeligere å få tilgang til.

Dette lærte meg at jeg ikke må lene meg på sikkerhet vi ikke kontrollerer. Ta eierskap til hvert lag du kan, uavhengig av hvem som administrerer hva lenger ned i kjeden.

AI skrudde utviklingstempoet opp til 11. Det skrudde også angrepstempoet opp til 11. Det er det samme kappløpet som før, bare mye raskere.

Hvorfor teknologiledere må forstå at sikkerhet ikke er en standardinnstilling i AI

Eksempelet ovenfor kunne ha utspilt seg annerledes hvis det hadde vært et system bygget utelukkende av mennesker. Kanskje. Det får vi aldri vite. Men jeg ser dette hele tiden i prosjekter som er kodet på intuisjon. Og dette understreker noe viktig: AI akselererer produksjonen, og hvis menneskene som overvåker den ikke er grundige, blir manglene større, ikke mindre.

Sagt på en annen måte: AI forårsaket ikke disse problemene. Det gjorde fraværet av en ekte ingeniør bak AI-en.

For akkurat nå må alle CTO-er vite at sikkerhet ikke er en standardinnstilling i AI.

Når AI nekter å hjelpe deg med å hacke et offentlig nettsted, er det et verdivalg som er bygget inn i modellen. Den vil ikke gjøre det. Punktum. Men den samme modellen vil gjerne generere kode som eksponerer API-nøkler, hopper over MFA i et påloggingsskjema eller legger en .env-fil i et offentlig kodearkiv fordi ingen ba den om å la være.

Helt ærlig plager denne asymmetrien meg. Hvis AI har arkitekturen som skal til for å håndheve etiske sikkerhetsregler, har den også arkitekturen som skal til for å håndheve grunnleggende sikkerhetshygiene. Vi er ikke der ennå. Og inntil vi er det, er en juniorutvikler med en AI-assistent fortsatt en juniorutvikler, bare med raskere leveranser og raskere kostbare feil!

Hvordan AI endrer tidslinjer for utvikling

Resultatene av AI har vært betydelige. Men det har lærdommene også vært.

På plussiden taler tallene for seg selv. På tvers av kundeprosjekter har vi i enkelte tilfeller redusert tiden brukt på administrative oppgaver med opptil 85 %, og noen oppgaver er nå helautomatiserte. Det gjør spørsmålet «hvor mye tid sparte vi?» nesten filosofisk. Utviklingssykluser som tidligere ville ha tatt seks måneder, leveres nå på tre til fire.

Internt er utviklingsproduksjonen vår omtrent 5 ganger så stor som før AI – målt i kodelinjer per økt, git-innsjekkinger per dag og funksjoner levert per sprint. Tempoet er genuint vanskelig å forklare for noen som ikke har sett det på nært hold.

Og ingen ble sagt opp. Vi er ikke store nok til å diskutere nedbemanninger, men enda viktigere: Det var aldri målet. Det som har endret seg, er hva folk gjør. Teamet som tidligere brukte mesteparten av tiden på å skrive kode, bruker den nå på å gjennomgå, ta beslutninger og forbedre. Det er en bedre bruk av erfarne medarbeidere.

Hvordan AI flytter ansettelsesfokuset til ekspertise på seniornivå

Det gamle spørsmålet ved ansettelser var «Hvilke programmeringsspråk kan du?» Det er nå nesten irrelevant. AI håndterer syntaksen. Det vi ser etter i dag, er dømmekraft.

Klarer du å oppdage en sikkerhetsfeil i AI-generert kode? Hva gjør du hvis AI-systemet ditt ved et uhell eksponerer en .env-fil? Forstår du hvorfor det er viktig? Hvordan gjennomgår du resultatet linje for linje når du ikke skrev det selv?

I praksis ansetter vi ikke lenger utviklere på juniornivå. Ikke fordi vi ikke verdsetter folk tidlig i karrieren, men fordi AI har overtatt arbeidsoppgavene på juniornivå. AI skriver koden. Det vi trenger, er noen som er erfaren nok til å vite når den er feil.

Vi vurderer nå alle utviklere vi ansetter, som om de skulle ansettes på seniornivå. Sikkerhetsbevissthet, kritisk gjennomgang og profesjonell dømmekraft. Kravene ble høyere fordi AI hevet grunnnivået.

Hvordan AI fjerner kompleksitet som konkurransefortrinn

Ledere undervurderer hvor raskt AI gjør det mulig for andre å gjenskape noe som tok flere år å bygge.

Ta SaaS-CRM-systemer som et eksempel. I årevis var kompleksitet konkurransefortrinnet. Tiden, kostnadene og ekspertisen som krevdes for å bygge noe tilsvarende, betydde at de fleste selskaper ganske enkelt betalte abonnementet og gikk videre. Den vurderingen har endret seg. Jeg har hjulpet selskaper med å bygge sitt eget CRM-system fra grunnen av, nøyaktig tilpasset behovene deres, til en brøkdel av den langsiktige kostnaden. Ingen overflødige funksjoner. Ingen funksjoner de aldri kommer til å bruke. Ingen månedlig regning som øker hvert år.

SaaS-selskaper som bygde virksomheten sin på at «dette ville ta flere år å gjenskape», oppdager at det ikke lenger stemmer. Aksjekursene gjenspeiler det.

Dette er risikoen CTO-er konsekvent undervurderer. Det handler ikke om at AI vil forstyrre bransjen deres utenfra, men om at AI i det stille gir konkurrentene, kundene og til og med deres egne sluttkunder verktøyene til å bygge rundt dem.

Hvis forsvarbarheten din er avhengig av kompleksitet og tiden det tar å bygge, har AI nettopp fjernet konkurransefortrinnet ditt. Spørsmålet er om du oppdaget det før noen andre gjorde det.

Hvorfor AI-jobbapokalypsen er tull

Pedro deler

\u003cstrong\u003eAI er et verktøy, ikke en arbeidstaker. Selv når AI oppfører seg som en arbeidstaker gjennom agenter, automatisering eller autonome arbeidsflyter, er det noen som står ansvarlig for det AI gjør.\u003c/strong\u003e

Her er fire råd. Og jeg mener alle sammen.

For det første: KI er et verktøy, ikke en arbeidstaker. Selv når den opptrer gjennom agenter, automatisering eller autonome prosesser, er noen ansvarlig for det den gjør. Et menneske må være med i prosessen. Ikke bare av hensyn til ansvar, men fordi resultatet faktisk blir bedre når en tenkende person styrer den. Glem aldri det.

For det andre: Mennesker bygde KI, så den har feil på menneskenivå. Den hallusinerer. Den tar snarveier når det gjelder sikkerhet. Den gjør selvsikre feil. Behandle den som et briljant, men uerfarent teammedlem: utrolig gode resultater, men den trenger tilsyn. I det øyeblikket du slutter å kontrollere arbeidet den gjør, er det øyeblikket den stille lanserer noe du kommer til å angre på – eller sletter hele databasen din!

For det tredje: Når KI er riktig konfigurert, er den et absolutt monster, på best mulig måte. Med de riktige parameterne, den riktige konteksten og de riktige sikkerhetsmekanismene kan den administrere kalenderen din, besvare samtaler, automatisere administrasjonsarbeidet ditt, forbedre familiebildene dine, fylle salgstrakten din og mye mer. Hvis en prosess involverer en datamaskin, kan KI enten utføre den eller redusere tiden det tar, dramatisk. Det er genuint vanskelig å se noen øvre grense herfra.

For det fjerde: Apokalypsen for KI-jobber er tull spredt av folk som aldri har studert historie. Vi har vært her før. Den industrielle revolusjonen. Samlebåndet. Industriell robotikk. Hver gang var spådommen massearbeidsledighet. Hver gang skjedde det samme: Mennesker sluttet å gjøre det kjedelige, repetitive og utmattende arbeidet og gikk over til mer kreative oppgaver med høyere verdi. KI vil gjøre det samme, bare raskere.

Ja, noen roller vil forsvinne. Jeg har allerede sett det. Stillinger som tidligere krevde spesialisert tolkning av data, håndteres nå bedre og raskere av en modell. Men disse menneskene er ikke overflødige. De blir satt fri.

Tenk på det slik: Hvor mange tiåringer i dag kunne bygget en app fra soverommet sitt? Still det samme spørsmålet i en verden uten KI. Barnet har ikke forandret seg. Ideene deres har ikke forandret seg. KI fjernet bare barrieren mellom fantasi og skaping. Det er ikke en trussel, det er den best mulige utviklingen av dette.

Vi må bare endre tankesettet vårt. Omfavne det, utforske det, bygge med det og lære å leve med det. Maskinene gjør det tunge arbeidet. Vi kommanderer dem.

Hold deg oppdatert

Du kan lese mer om Pedros arbeid på LinkedIn. Ta også en titt på Amplified Creations.

Flere ekspertintervjuer kommer på The CTO Club!