Teknikchef varnar ingenjörer: Anta inte att AI är säker

Pedro Thomaz är grundare och CTO för Amplified Creations samt för produkterna i företagets portfölj.

Vi satte oss ner med honom för att diskutera möjligheterna med AI samt dess kritiska säkerhetshot. Här är vad han berättade.

När AI ”klickade”

Jag heter Pedro och är CTO, utvecklare och en återhämtande utvecklare som brukade tänka ”bara leverera det”.

Jag började inom teknik på samma sätt som de flesta: genom att skriva kod, leverera projekt och hålla kunderna nöjda. I flera år drev jag Amplified Creations, en kreativ teknikstudio som jag var med och grundade 2007, där vi byggde skräddarsydd programvara, virtuella rundturer och digitala upplevelser för företag i Portugal och på andra håll. Bra arbete. Gediget arbete. Men framför allt ett genomförandefokus.

Sedan hände AI. Inte hypen, utan den verkligt användbara delen. Förändringen föll på plats för mig i slutet av 2023 när jag arbetade med RVer, ett VR-system för hälso- och sjukvård som vi bygger internt.

Vi skapade uppslukande miljöer för att minska patienters oro i kliniska miljöer: sjukhus, äldreboenden och så vidare. När vi integrerade AI i systemet förändrades något. Läkare, kliniker och terapeuter – de personer som arbetar i en genuint komplex miljö där mycket står på spel – blev mätbart effektivare.

Det var då jag slutade tänka på AI som en funktion och började bygga det som själva grunden.

I dag arbetar jag genom Amplified Creations med företag i olika branscher för att hjälpa dem tillämpa AI där den gör verklig skillnad: i verksamheten, innehåll, automatisering och leverans.

Ett behov av tekniska och operativa gränser

Amplified Creations är en unik kombination av kreativ studio, teknikbyrå och AI-konsultföretag.

Vi är ett litet men erfaret team. Beroende på projektets fas samordnar vi över 25 personer, en blandning av interna medarbetare och specialiserade underleverantörer. Vår organisation prioriterar flexibilitet, inte antal anställda.

Vår produktportfölj är varierad. I ena änden finns RVer – vår interna VR-plattform för hälso- och sjukvård – som körs på privat, isolerad infrastruktur. Hälsodata lämnar inte molnet. Punkt slut. I andra änden finns vårt arbete med AI-automatisering för kunder – portugisiska små och medelstora företag inom detaljhandel, industri och tjänster – som vanligtvis är molnbaserat, distribueras snabbt och integreras med deras befintliga system.

Arkitekturellt är vi pragmatiska. Vi har ingen religiös övertygelse om teknikstacken. Vi väljer det som passar säkerhetsmodellen, kundens mognad och tidsplanen för leveransen. Det innebär vanligtvis molnet, men när området kräver det bygger vi i stället för privat, säker distribution på plats.

Att växla mellan alla dessa områden skapar komplexitet. Att leda ett team som levererar ett hårt reglerat VR-system för hälso- och sjukvård och en AI-automatisering för detaljhandeln under samma sprint kräver mycket tydliga gränser – både tekniskt och operativt.

Pedro delar med sig

Att leda ett team som levererar ett hårt reglerat VR-system för hälso- och sjukvård och en AI-automatisering för detaljhandeln under samma sprint kräver mycket tydliga gränser – både tekniskt och operativt.

Hur AI förändrar hur CTO:er bygger och styr produkter

AI berör allt, men det sista ordet är alltid människans. Särskilt inom hälso- och sjukvården.

Det påverkar hur vi bygger, vad vi distribuerar och hur vi styr.

AI genomsyrar varje lager: arkitekturbeslut, kodgranskning, testning, prioritering av backloggen, incidenthantering och säkerhetsgranskning. Vi kör också särskilda agenter för utveckling, kodgranskning, distribution och återkopplingsloopar från kunder.

Om en kund till exempel flaggar ett användbarhetsproblem matas det direkt in i en agent som hjälper oss att identifiera lösningen och implementera den snabbare. Produkten blir mer komplex, men paradoxalt nog rör sig teamet snabbare eftersom agenterna tar hand om merarbetet.

Men AI fungerar som en mycket kapabel maskin för att ta fram utkast, inte som en beslutsfattare. En människa granskar, godkänner eller justerar och ger sitt slutliga godkännande. Varje gång.

När det gäller RVer är detta inte bara en filosofi. Det är en regulatorisk verklighet. Infarmed – Portugals myndighet för hälso- och sjukvårdsprodukter – håller oss till en standard där ett felplacerat kommatecken i dokumentationen kan kosta oss vår licens. Felaktig information som kommer fram genom ett kodstycke och en långsam incidenthantering får båda konsekvenser som ingen AI-agent kan hållas ansvarig för. Därför låter vi människor vara med i loopen, inte bara för kvalitetens skull utan också för ansvarsskyldighetens. Någon äger alltid resultatet.

Med det sagt är gränsen inte alltid tydlig.

Så fungerar ett AI-drivet byggarbetsflöde

Så här fungerar vårt AI-drivna byggarbetsflöde.

Det börjar med en idé. Ibland kommer den från teamet, ibland från kundfeedback och allt oftare från AI, som föreslår förbättringar baserat på identifierade mönster. Varje idé går först till vårt medicinska team. Om den inte är kliniskt meningsfull på papperet dör den där. Vi skriver ingen kod.

Om den klarar det filtret prototypar vi snabbt. AI kan ta fram en fungerande MVP under en handfull sessioner, så vi debatterar inte idéer länge. Prototyperna blir själva diskussionsunderlaget.

Vi bygger dem, testar dem internt med både medicinsk och teknisk personal och låter resultaten avgöra. Om prototypen visar potential går vi vidare till produktion.

Produktion innebär att teamet och AI skriver kod tillsammans — vi bygger in felloggning från dag ett, vilket matar vårt backoffice i realtid. När en ny funktion lanseras följer vi den live. Teamet granskar, godkänner och skickar inte ut något förrän det är felfritt.

Varför Claude Code är avgörande för AI-utveckling

Claude Code är det viktigaste verktyget i vår utvecklingsmiljö.

Det är inte bara en kodningsassistent; det är det närmaste jag kommer en seniorutvecklare som finns tillgänglig dygnet runt. Den skriver, granskar, föreslår, upptäcker fel och integreras med allt genom sitt ekosystem av tillägg.

De flesta AI-kodningsverktyg gör en sak bra. Claude Code hanterar hela flödet från ”här är en idé till en ny funktion” till ”här är koden, här är de potentiella problemen och här är vad jag skulle hålla utkik efter i produktion”. Det är inte ett verktyg. Det är ett arbetsflöde.

Om jag var tvungen att bygga om allt från grunden med ett enda verktyg vid min sida, skulle jag välja det.

Hur AI skapar säkerhetsrisker

AI accelererar allt, även de personer som försöker bryta sig in i dina system.

Vi lärde oss detta nyligen när en klients serverinfrastruktur från tredje part utsattes för intrång. Vi hanterade inte deras säkerhet, men deras API-nycklar fanns i ett AI-system som vi hade byggt. Nycklarna läckte. Vi hjälpte dem att omedelbart byta autentiseringsuppgifter, rådde deras serverteam om vad som behövde säkras och byggde sedan om säkerhetslagret i vårt eget system från grunden. Även om deras infrastruktur utsätts för ett nytt angrepp är nycklarna i vårt system nu betydligt svårare att komma åt.

Detta lärde mig att inte förlita mig på säkerhet som vi inte kontrollerar. Äg varje lager du kan, oavsett vem som hanterar vad längre ned i kedjan.

AI höjde utvecklingstakten till 11. Det höjde också angreppstakten till 11. Samma kapplöpning som tidigare, bara mycket snabbare.

Varför tekniska ledare måste förstå att säkerhet inte är AI:s standardinställning

Exemplet ovan kunde ha utvecklats annorlunda om det hade varit ett system som byggts helt av människor. Kanske. Det kommer vi aldrig att veta. Men jag ser det hela tiden i vibe-kodade projekt. Och det förstärker något viktigt: AI accelererar produktionen, och om människorna som övervakar den inte är noggranna blir bristerna större, inte mindre.

Med andra ord orsakade AI inte de problemen. Det gjorde avsaknaden av en riktig ingenjör bakom AI.

För just nu behöver alla CTO:er veta att säkerhet inte är AI:s standardinställning.

När AI vägrar hjälpa dig att hacka en myndighetswebbplats är det ett värderingsbeslut som byggts in i modellen. Den gör det inte. Punkt slut. Men samma modell genererar gärna kod som exponerar API-nycklar, hoppar över MFA i ett inloggningsformulär eller skickar en .env-fil till ett offentligt kodförråd eftersom ingen sa åt den att låta bli.

Ärligt talat störs jag av den asymmetrin. Om AI har arkitekturen för att upprätthålla etiska skyddsräcken har den också arkitekturen för att upprätthålla grundläggande säkerhetshygien. En förstagångsutvecklare som ber AI att bygga sin första app ska inte redan behöva veta vad hen inte vet om säkerhet. Modellen borde automatiskt hantera grundnivån: publicera aldrig hemligheter, implementera alltid MFA för autentisering, exponera aldrig känslig konfiguration i kompilerad output och så vidare.

Samma logik som hindrar AI från att orsaka skada externt borde hindra den från att skapa skada internt. Vi är inte där än. Och fram tills dess är en juniorutvecklare med en AI-assistent fortfarande en juniorutvecklare, som bara levererar snabbare och begår kostsamma misstag snabbare!

Så förändrar AI utvecklingens tidslinjer

Resultaten av AI har varit betydande. Men det har även lärdomarna varit.

På plussidan talar siffrorna för sig själva. I kundprojekt har vi i vissa fall minskat tiden för administrativa uppgifter med upp till 85 %, och vissa uppgifter är nu helt automatiserade, vilket gör frågan om ”hur mycket tid sparade vi?” nästan filosofisk. Utvecklingscykler som tidigare skulle ha tagit sex månader levereras nu på tre till fyra.

Internt är vår utvecklingsproduktion ungefär 5 gånger större än före AI — mätt i antal kodrader per session, git-incheckningar per dag och funktioner som levereras per sprint. Tempot är genuint svårt att förklara för någon som inte har sett det på nära håll.

Och ingen fick gå. Vi är inte tillräckligt stora för att diskutera uppsägningar, men ännu viktigare är att det aldrig var målet. Det som förändrades är vad människor gör. Teamet som tidigare ägnade större delen av sin tid åt att skriva kod ägnar den nu åt att granska, fatta beslut och förbättra. Det är ett bättre sätt att använda seniora medarbetare.

Så flyttar AI fokus i rekryteringen till senior expertis

Den gamla rekryteringsfrågan var: ”Vilka programmeringsspråk kan du?” Det är nu nästan irrelevant. AI hanterar syntaxen. Det vi rekryterar efter i dag är omdöme.

Kan du upptäcka en säkerhetsbrist i AI-genererad kod? Vad gör du om ditt AI-system av misstag exponerar en .env-fil? Förstår du varför det är viktigt? Hur granskar du resultat som du inte själv har skrivit, rad för rad?

I praktiken rekryterar vi inte längre juniora utvecklare. Inte för att vi inte värdesätter personer tidigt i karriären, utan för att AI har tagit över det juniora arbetet. AI skriver koden. Det vi behöver är någon som är tillräckligt senior för att veta när den är fel.

Nu utvärderar vi varje utvecklare vi rekryterar som om det vore en senior rekrytering. Säkerhetsmedvetenhet, kritisk granskning och professionellt omdöme. Ribban höjdes eftersom AI höjde grundnivån.

Så undanröjer AI komplexitetens vallgrav

Ledare underskattar hur snabbt AI gör det möjligt för andra att återskapa sådant som tog år att bygga.

Ta CRM-system som SaaS-tjänster som exempel. I åratal var vallgraven komplexitet. Tiden, kostnaden och expertisen som krävdes för att bygga något jämförbart innebar att de flesta företag helt enkelt betalade abonnemanget och gick vidare. Den kalkylen har förändrats. Jag har hjälpt företag att bygga sina egna CRM-system från grunden, exakt anpassade efter deras behov, till en bråkdel av den långsiktiga kostnaden. Ingen överflödig funktionalitet. Inga funktioner de aldrig kommer att använda. Ingen månadsavgift som växer varje år.

SaaS-företag som byggde sin verksamhet på ”det skulle ta år att återskapa detta” upptäcker att det inte längre stämmer. Det återspeglas i aktiekurserna.

Det här är den risk som CTO:er konsekvent underskattar. Inte att AI kommer att störa deras bransch utifrån, utan att AI i det tysta ger deras konkurrenter, kunder och till och med deras egna användare verktygen att bygga runt dem.

Om din konkurrenskraft bygger på komplexitet och tiden det tar att bygga, har AI just undanröjt din vallgrav. Frågan är om du märkte det innan någon annan gjorde det.

Varför AI:s jobbapokalyps är nonsens

Pedro delar med sig

AI är ett verktyg, inte en arbetstagare. Även när AI beter sig som en sådan genom agenter, automatisering eller autonoma processflöden är någon ansvarig för det den gör.

Här är fyra råd. Och jag menar allihop.

För det första: AI är ett verktyg, inte en arbetare. Även när det beter sig som en sådan genom agenter, automatisering eller autonoma arbetsflöden är någon ansvarig för det den gör. En människa måste vara med i loopen. Inte bara av ansvarsskäl, utan för att resultatet faktiskt blir bättre när en tänkande person styr det. Glöm aldrig det.

För det andra: Människor byggde AI, så det har buggar av mänsklig klass. Det hallucinerar. Det tar genvägar med säkerheten. Det begår självsäkra misstag. Behandla det som en briljant men oerfaren teammedlem: otroligt resultat, men det behöver övervakas. I samma ögonblick som du slutar kontrollera dess arbete är det ögonblick då det i tysthet levererar något du kommer att ångra — eller raderar hela din databas!

För det tredje: När AI konfigureras korrekt är det ett absolut kraftpaket, på bästa möjliga sätt. Med rätt parametrar, rätt kontext och rätt skyddsräcken kan det hantera din kalender, svara på samtal, automatisera din administration, förbättra dina familjefoton, fylla på din säljtratt och mycket mer. Om en process involverar en dator kan AI antingen utföra den eller dramatiskt minska tiden det tar. Det är genuint svårt att se var gränsen går härifrån.

För det fjärde: AI-jobbapokalypsen är nonsens som sprids av människor som aldrig har studerat historia. Vi har varit med om det här förut. Den industriella revolutionen. Det löpande bandet. Industrirobotik. Varje gång var förutsägelsen massarbetslöshet. Varje gång blev resultatet att människor slutade utföra det tråkiga, repetitiva och själsdödande arbetet och övergick till mer kreativa uppgifter med högre värde. AI kommer att göra samma sak, bara snabbare.

Ja, vissa roller kommer att försvinna. Jag har redan sett det. Arbetsuppgifter som en gång krävde specialisttolkning av data hanteras nu bättre och snabbare av en modell. Men de människorna är inte överflödiga. De är frigjorda.

Tänk på det så här: hur många 10-åringar kan bygga en app från sitt sovrum i dag? Ställ nu samma fråga i en värld utan AI. Barnet har inte förändrats. Deras idéer har inte förändrats. AI har bara tagit bort hindret mellan fantasi och skapande. Det är inte ett hot, utan den bästa möjliga utvecklingen av det här.

Vi måste bara ändra vårt tankesätt. Omfamna det, utforska det, bygg med det och lär dig att leva med det. Maskinerna gör grovjobbet. Vi styr dem.

Följ med

Du kan läsa mer om Pedros arbete på LinkedIn. Ta också en titt på Amplified Creations.

Fler expertintervjuer kommer på The CTO Club!