AI-användning är ett skenmått

Chris Garrett är VP för hanterad teknik och säkerhetsdrift på Novatech, en leverantör av hanterade tjänster. Han är också författare till Skala upp eller sälj.

Vi satte oss ner med Chris för att lära oss mer om hans AI-arbetsflöden och få en bild av hur AI påverkar branschen. Här är vad han hade att säga.

Att översätta system till pengar

Jag ansvarar för hanterad IT och säkerhet på Novatech, en leverantör av hanterade tjänster som ägs av Perpetual Capital Partners. Titeln säger VP. Arbetet säger något enklare. Jag är ansvarig för om tekniken tjänar pengar åt verksamheten eller i det tysta dränerar den på pengar.

Vägen hit var inte rak. Jag började på den operativa nivån, platsen där systemen går sönder och någon måste ta ansvar för att åtgärda problemet. Jag arbetade på servicedesk, därefter med infrastruktur och sedan med säkerhet. Det är där skillnaden mellan vad en leverantör lovar och vad ett nätverk faktiskt gör blir ditt problem klockan två på natten. Den grunden lärde mig en läxa som har bestått sedan dess. Tekniken är inte målet. Resultatet är att intäkterna skyddas, riskerna prissätts korrekt och driftstopp undanröjs innan kunden märker dem.

Sedan lärde jag mig att översätta. Ingenjörer talar om system och chefer talar om pengar, och de flesta teknikledare väljer ett språk och förlorar den andra målgruppen. Jag byggde min karriär i det gränsskiktet, där fördröjning, exponering och arkitektur omvandlas till marginalens och kontinuitetens språk: IT som en hävstång, aldrig en kostnadscentral. Det perspektivet förändrade de samtal jag deltog i och de beslut jag påverkade.

Marken rör sig igen. AI är inte nästa verktyg i teknikstacken. Det förändrar vad hävstång innebär, vem som har den och hur snabbt kapacitet byggs upp. De flesta organisationer svarar med brus. De genomför pilotprojekt som inte bevisar något och skriver policyer för att hantera oro snarare än risk, medan leverantörer säljer oundviklighet till köpare som inte har räknat på saken.

Mitt intresse är smalare och svårare att förfalska. Var flyttar AI de faktiska siffrorna? Vad blottlägger det som redan var bräckligt? Vilken kompetens kräver det som de flesta team ännu inte har? Jag behandlar det på samma sätt som allt annat: bevis framför överdrifter, resultat framför konsensus och systemlagret framför den ytliga berättelsen.

Arbetets komplexitet

Novatech är en leverantör av hanterade tjänster som har ägts av Perpetual Capital Partners sedan september 2024. Vi är en lönsam tjänsteverksamhet efter ett företagsförvärv, med uppdraget att skala upp marginalen och säkerhetsintäkterna samtidigt som vi upprätthåller den leveranskvalitet som har byggt vår kundbas.

Avdelningen arbetar tillsammans med hanterad teknik, hanterade kontorstjänster och fältutryckningar och utför arbete som håller kundernas verksamheter igång och skyddade. Mitt team består av 68 ingenjörer och analytiker inom servicedesk, infrastruktur och en dedikerad säkerhetsverksamhet och stöder 400 kundmiljöer.

Arkitekturen är inte en enda produkt utan en miljö för flera klienter. Vi driver dussintals separata kundmiljöer, var och en med sin egen blandning av lokal infrastruktur, Microsoft 365, Azure, AWS och Google Cloud, samt hybridnätverk som vi inte alltid har utformat men nu ansvarar för. Denna variation skapar komplexitet. En rutinändring för en kund innebär en produktionsrisk för en annan. Disciplinen består i att hantera denna samling enligt en enda standard för tillförlitlighet och säkerhetsnivå utan att tvinga in alla kunder i samma mall.

Vår leveransmodell är hanterad och fjärrbaserad i första hand, med stöd av fältutryckningar för arbete som kräver närvaro på plats. Vi övervakar, uppdaterar och försvarar kontinuerligt. Vi mäter oss själva utifrån drifttid, svarstid och hur snabbt vi begränsar säkerhetsincidenter innan kunderna upplever dem.

Hur AI förändrar tekniska beslutsprocesser – men inte tar över dem

Min grundfilosofi är ”Omslut ingenjören med AI” för att få det bästa av två världar. Ingen minskning av personalstyrkan; i stället utför teamet mer och bättre arbete med hjälp av stödverktyg.

AI driver nu arbete i stora volymer där en mänsklig granskare alltid har varit flaskhalsen utan att vara den som skapar värdet. Exempelvis går triagering av säkerhetsvarningar först genom ett AI-lager, eftersom det är dyrt och ger sämre resultat än modellen att låta en SOC-analytiker läsa tiotusen händelser med låg signalstyrka för hand.

Vi använder AI på liknande sätt för logganalys under utredningar, för att ta fram första utkast till dokumentation och driftinstruktioner samt för att sammanfatta en kunds miljö före en granskning. Det gör att ingenjören kommer inläst i stället för oförberedd. I alla dessa fall påskyndar AI genomläsningen; det fattar inte beslutet.

Beslutet förblir mänskligt, och gränsen är avsiktlig. Arkitekturbeslut för en kundmiljö förblir mänskliga eftersom modellen optimerar för det tekniskt renaste svaret. Ett verkligt beslut väger in budgeten, kundens risktolerans och vad deras team faktiskt kan driva efter att vi har lämnat dem.

Incidenthantering förblir mänsklig på ledningsnivå. AI kan visa vad som har hänt, men beslut om begränsning får konsekvenser för verksamheten, juridiska risker och kundernas förtroende. Jag överlåter inte bedömningar under press till ett verktyg som inte kan hållas ansvarigt för resultatet. Den slutliga säkerhetsgranskningen före godkännande förblir mänsklig av samma anledning. Modellen är utmärkt på att hitta kända mönster men är blind för nya problem som verkligen spelar roll.

Ett säkerhetsvarningsflöde för triage från verkligheten

Låt oss gå djupare in på triage av säkerhetsvarningar, eftersom den genomförs dagligen och tydligt visar var AI fungerar och var en människa tar över.

Processen börjar med en volym som ingen människa kan eller bör behandla manuellt på ett konsekvent sätt. I hela kundmiljön genererar vår övervakning tiotusentals händelser dagligen, varav de flesta är brus. Före AI arbetade en analytiker igenom en kö, och den verkliga signalen förblev begravd under misslyckade inloggningar och ofarliga avvikelser. Viktiga problem fick uppmärksamhet för sent eftersom analytikern var tvungen att vada genom bruset för att hitta dem.

AI-lagret behandlar först den råa dataströmmen. Det grupperar relaterade händelser, eliminerar uppenbara falska positiva resultat mot kända godkända mönster, korrelerar aktivitet över en kundmiljö som en människa skulle anse vara osammanhängande och rangordnar de återstående objekten efter hur mycket de liknar ett verkligt intrång. Analytikern får inte en störtflod av data. I stället får hen en kort, sorterad lista med tillhörande kontext, namngivna berörda system och en tydligt angiven anledning till varför varje objekt har lyfts fram. Modellen genomför den inledande läsningen men fattar inga beslut.

Analytikern öppnar listan, och det mänskliga arbetet börjar. Hen utreder den misstänkta tråden, och AI hjälper återigen till genom att sammanfatta relevanta loggar och tidslinjen, så att analytikern kan återskapa händelserna på några minuter i stället för en timme. Bedömningen förblir hos personen. Är detta ett verkligt intrång eller en godkänd ändring som verkar misstänkt? Stämmer mönstret överens med något nytt som modellen inte skulle flagga? Modellen påskyndar granskningen av bevisen; analytikern fattar beslutet.

När en verklig händelse inträffar förblir begränsningen ett mänskligt ledningsbeslut. Analytikern, eller den seniora jourhavande vid allvarliga incidenter, avgör om en värd ska isoleras, ett konto inaktiveras eller en kund kopplas bort från nätet. Dessa val medför kostnader för verksamheten, juridiska risker och påverkar kundernas förtroende, och inget verktyg kan hållas ansvarigt för dessa beslut. AI kan berätta vad som hände, men det väljer inte vår åtgärd under press.

Efter begränsningen utarbetar AI ett utkast till incidentrapporten, tidslinjen, de vidtagna åtgärderna och den kundinriktade sammanfattningen. Utkastet sparar betydande tid jämfört med att börja på en tom sida. Det skickas inte iväg förrän en ingenjör har korrigerat och undertecknat det. En välformulerad men felaktig rapport är sämre än ingen rapport alls, och en AI-skriven officiell dokumentation utan en mänsklig ägare skapar en ansvarsrisk som vi har bestämt aldrig ska uppstå under vår ledning.

Cirkeln sluts med ett steg som de flesta team hoppar över. Vi granskar ett urval av det som AI avfärdade, inte bara det som eskalerades, och återför dessa missar för att förbättra nästa genomgång. Denna urvalsdisciplin förhindrar att automatiseringsbias får fäste. Ett verktyg som gör analytiker snabbare gör dem också självbelåtna om ingen kontrollerar det som verktyget sorterar bort.

Varför företag måste rensa sina behörigheter innan de integrerar AI

Jag införde också en styrningsspärr för Microsoft Copilot.

Tidigare verkade Copilot vara en produktivitetsuppgradering, och kunderna behandlade det som en enkel omkopplare. Problemet är att Copilot ärver en användares befintliga åtkomst. De flesta av våra kunder hade under flera år samlat på sig ett omfattande behörighetskaos: öppna SharePoint-webbplatser, delade enheter som ingen hade rensat och filer som tekniskt sett var åtkomliga men i praktiken osynliga. I samma ögonblick som du ger en anställd ett verktyg som söker igenom allt hen kan nå blir osynligt innehåll ett sökresultat. En junior medarbetare kunde ställa en fråga på vanligt språk och få fram löneuppgifter eller en styrelsepresentation som aldrig var avsedd för hen. Ingen hade åtgärdat behörigheterna, men exponeringen var verklig och hade funnits där i flera år.

Jag byggde en obligatorisk beredskapsbedömning som genomförs innan vi aktiverar Copilot för någon. Vi kartlägger den faktiska åtkomsten, hittar överdelat innehåll och åtgärdar behörighetsmodellen först. Kunden godkänner vad de egna medarbetarna kan nå innan en enda AI-licens tas i bruk. Vi gjorde en funktionsförfrågan till en styrd driftsättning med ett strikt förhandskrav.

Chris betonar

I samma ögonblick som du ger en anställd ett verktyg som söker igenom allt de kan nå, blir osynligt innehåll ett sökresultat.

Hur AI:s vinster medför kostnader i form av disciplin

På säkerhetssidan minskade lagret för larmtriage volymen som analytikerna manuellt hanterar med ungefär 70 procent. Den genomsnittliga tiden till bekräftelse av ett verkligt larm sjönk från timmar till minuter under perioder med låg belastning, eftersom analytikerna inte längre behöver sålla igenom brus för att hitta viktiga händelser. Det här är vår tydligaste framgång. Kostnaden för att ha fel är låg; en människa kontrollerar ändå kortlistan, och modellen är utmärkt på mönstermatchning, något människor gör dåligt dag ut och dag in.

Arbetet med CoPilot-beredskap gav ett annat slags resultat. Vi hittade exponerade data i varje granskning vi har genomfört, problem som föregick AI och som annars skulle ha förblivit begravda. Det är bra säkerhet och bra intäkter.

Framgångarna med utkast är verkliga men mindre än hajpen antyder. AI-assisterad dokumentation och utkast till driftmanualer halverade mer än väl tiden till ett första utkast. En ingenjör måste fortfarande korrigera arbetet, så besparingen ligger i problemet med den tomma sidan, inte i slutprodukten.

Det misslyckande som kostade oss mest var automatiseringsbias. Tidigt började ett par analytiker lita för mycket på AI-triagen och släppte igenom sådant som de borde ha öppnat. Vi upptäckte det vid granskningen, men det lärde mig att ett verktyg som gör människor snabbare också gör dem latare om man tillåter det, och lösningen var en process, inte teknik. Nu gör vi stickprov på det som AI avfärdar, inte bara på det som AI eskalerar.

Kort sagt köpte AI oss snabbhet överallt och omdöme ingenstans. Varje vinst medförde en disciplin­kostnad för att hindra människor från att lita på AI mer än vad den hade gjort sig förtjänt av.

Hur AI förbättrar resultatet, men inte förmågan

Här är något som ingen vill diskutera: AI gjorde inte människor mer kompetenta. Det lät dem hyra en bild av kompetens och låtsas att den var äkta.

Kalla det ”att hyra en röst”. En person skapar ett resultat som de inte hade kunnat skapa på egen hand — till exempel kod, en arkitektur­motivering, en säkerhetspolicy eller en kundinriktad analys — och resultatet framstår som flytande och auktoritativt. Flytet är verkligt. Orden lånar den underliggande kompetensen, som försvinner i samma ögonblick som modellen slutar skriva. Personen äger resultatet, men inte förståelsen. Den luckan är osynlig tills något går sönder, och då är den det mest högljudda i rummet.

Här är ett exempel: En junior ingenjör levererar en AI-genererad korrigering som fungerar i demon, men kan inte förklara den under en incident tre veckor senare. Då bakåtkonstruerar en senior ingenjör en lösning som ingen i teamet har skapat. Den snabbhet som kom först ledde till en kostnad som kom senare, och kostnaden blev högre eftersom den välformulerade ytan fördröjde ögonblicket då någon kontrollerade substansen.

Den misslyckade förväntningen var hävstångseffekt. Löftet var att AI skulle mångdubbla skickliga människor. Det AI gör är att jämna ut den synliga skillnaden mellan någon som vet och någon som kan skriva bra instruktioner, och den utjämningen är dyr eftersom de två producerar arbete som ser identiskt ut men ger radikalt olika resultat under belastning.

Den enda hållbara användningen av AI är därför när någon som redan har kompetensen använder AI för att arbeta snabbare, eftersom den personen kan avgöra när resultatet är fel. Ge samma verktyg till någon som helt enkelt lånar kompetensen, så har du inte ökat kapaciteten. Du har lagt till självsäkra resultat utan någon ansvarig bakom dem.

Varför juniora medarbetare fortfarande behövs med AI

Chris betonar

Ett sätt att undvika att hamna där är smalare AI-lanseringar, införda stegvis och förtjänade på varje nivå. Samma vinster utan att i det tysta avveckla den kompetensförsörjningskedja som producerar de seniora medarbetare som gör detta säkert.

Det här är den modell jag använde för att bygga varje tjänsteorganisation jag någonsin drev: Placera junior kapacitet under senior tillsyn, låt arbetsflödet gå vidare till de billigaste kompetenta händerna och bygg ut pyramiden i takt med att efterfrågan växer.

AI åt upp pyramidens botten. Det arbete som jag brukade bemanna med juniorer — första triage, loggläsning, utkast till driftmanualer och rutinärenden — är exakt det arbete som modellen nu gör snabbare och billigare än en person som lär sig i jobbet. Bemanningskalkylen som byggde på en bred bas av billigt volymarbete håller inte längre, eftersom volymarbetet inte längre behöver en person.

Men juniornivån handlade aldrig bara om billig arbetskraft. Den var träningsplatsen. Människor blev de seniorer jag förlitar mig på genom att arbeta sig igenom tusentals ärenden med små konsekvenser och bygga upp omdöme, ett misstag i taget. Tar du bort det steget har du inte bara förändrat årets kostnadsstruktur. Du har slutat utbilda de seniora ingenjörer du kommer att behöva om fem år, och du kommer inte att märka av den luckan förrän den blir dyr att åtgärda.

Ett sätt att undvika att hamna där är att införa smalare AI-utrullningar, där varje nivå förtjänas steg för steg. Samma vinster utan att i det tysta underfinansiera den pipeline som producerar de seniora medarbetare som gör detta säkert.

Det gjorde inte jag, så nu bygger jag om trappan. Vi behåller juniorerna, men inte för att absorbera den volym som modellen redan hanterar. De finns där för att utveckla det enda AI inte kan ge dem: omdömet att veta när modellens självsäkra resultat är fel. Det innebär en medveten exponering för svåra problem tidigt, att seniorer lägger tid på att undervisa i stället för att delegera, och en mindre men vassare bas än vad den gamla ekonomin skulle ha byggt upp.

Varför användning är ett fåfängomått

Utrullningar misslyckas på den mänskliga nivån, inte på tekniknivån. Jag var tvungen att ta tillbaka nästan allt eftersom jag hade vänt på det.

Jag behandlade lanseringen som ett kapacitetsproblem. Välj verktygen, bevisa att de fungerar, ge människor åtkomst och mät användningen. Användningen ökade, och jag tolkade det som framgång. I själva verket såg jag människor bli bekväma med att lita på resultat som de inte hade lärt sig att ifrågasätta, och bekvämlighet är ett tidigt tecken på misslyckande, inte ett bevis på framgång.

När vi ändå talar om det borde jag ha vägrat att mäta användningen. Det är ett fåfängomått, och det ledde mig i fel riktning. Det mått som spelade roll var om människor verifierade resultatet innan de litade på det, och det är svårare att räkna, så jag följde i stället det enkla. Att mäta användning belönade exakt det beteende som orsakade allt omarbete: människor lutade sig mer och snabbare mot verktyget, med mindre granskning.

Nu skulle jag mäta verifiering och omarbete, och jag skulle aldrig mer låta ett användningsdiagram ersätta förbättrat arbete.

Varför CTO:er måste koppla varje AI-beslut tillbaka till verksamhetens siffror

Här är mina råd:

1. Styrning först. Det är inte spännande, och det kommer inte att hetsa FOMO-publiken på samma sätt som de senaste frontmodellerna, men det är absolut nödvändigt. Styr hela användningsytan innan du inför och skalar upp den. De flesta allvarliga problem jag har sett kom från CTO:er som införde AI för snabbhetens skull och skrev styrningen i efterhand. Vänd på ordningen.
2. Sluta köpa mognad och börja köpa verifierbar kapacitet. Hälften av all AI i leverantörernas presentationer omsluter ett API och säljs som egen kompetens. Kräv att varje leverantör visar att lösningen fungerar på ett problem utanför demonstrationen, och låt era egna team göra detsamma.
3. Skydda människorna som redan vet. Hävstångseffekten är verklig först när den används av någon som kan avgöra när modellen har fel. Investera i det omdömet, mät det och vägra låta förmåga att formulera instruktioner ersätta det i organisationsschemat.
4. Koppla varje AI-beslut till en siffra som verksamheten redan bryr sig om. Skydda intäkterna, prissätt risken och ge tillbaka timmar till människor som utför arbete som spelar roll. CTO:er som beskriver AI som ett teknikinitiativ måste kämpa för budgeten varje kvartal. De som beskriver det som marginal och risk får frågor om sin åsikt i rum där beslut tidigare fattades utan dem. Det tekniska argumentet påverkar sällan en företagsledare; resultaträkningens matematik gör det.
5. Utöva disciplin. Inför AI där en person fortfarande äger resultatet, håll det borta från den plats där resultatet inte får bli fel och granska vad det avfärdar, inte bara vad det eskalerar. Marknaden belönar snabbhet just nu och kommer att ägna de närmaste åren åt att omvärdera team som förväxlade flyt med kompetens. Bygg så att du inte blir ett av dem.

Följ med

Du kan följa Chris Garretts arbete på LinkedIn. Och ta en titt på hans senaste bok, Skala eller sälj.

Fler expertintervjuer kommer på The CTO Club!