AI-anvendelse er et forfængeligt måltal

Chris Garrett er VP for administreret teknologi og sikkerhedsdrift hos Novatech, en leverandør af administrerede tjenester. Han er også forfatter til Skalér eller sælg.

Vi satte os ned med Chris for at lære af hans AI-arbejdsgange og få en fornemmelse af, hvordan AI påvirker branchen. Her er, hvad han havde at sige.

Sådan omsættes systemer til kroner

Jeg leder den administrerede IT- og sikkerhedsdrift hos Novatech, en leverandør af administrerede tjenester, der ejes af Perpetual Capital Partners. Titlen siger VP. Arbejdet siger noget mere enkelt. Jeg er ansvarlig for, om teknologien tjener penge til virksomheden eller stille og roligt dræner den.

Vejen hertil var ikke lige. Jeg arbejdede mig op gennem det operationelle lag, stedet hvor systemer går ned, og nogen skal tage ansvar for løsningen. Jeg arbejdede i servicedesk, derefter med infrastruktur og så med sikkerhed. Det er dér, forskellen mellem det, en leverandør lover, og det, et netværk rent faktisk gør, bliver dit problem klokken to om natten. Det fundament lærte mig den lektie, der har holdt lige siden. Teknologi er ikke målet. Resultatet er, at omsætningen beskyttes, risikoen prissættes korrekt, og nedetid fjernes, før en kunde mærker den.

Derefter lærte jeg at oversætte. Ingeniører taler om systemer, og ledere taler om kroner, og de fleste teknologiledere vælger ét sprog og mister den anden målgruppe. Jeg byggede en karriere ved at stå i den sprække og omsætte latenstid, eksponering og arkitektur til sproget om margin og kontinuitet: IT som en multiplikator, aldrig som en omkostningspost. Den måde at se det på ændrede de samtaler, jeg deltog i, og de beslutninger, jeg påvirkede.

Underlaget bevæger sig igen. AI er ikke det næste værktøj i stakken. Det ændrer, hvad løftestangseffekt betyder, hvem der har den, og hvor hurtigt kapacitet vokser eksponentielt. De fleste organisationer svarer med støj. De kører pilotprojekter, der ikke beviser noget, og skriver politikker for at håndtere bekymring frem for risiko, mens leverandører sælger uundgåelighed til købere, der ikke har regnet på det.

Min interesse er smallere og sværere at forfalske. Hvor flytter AI de faktiske tal? Hvad afslører det, som allerede var skrøbeligt? Hvilke kompetencer kræver det, som de fleste hold endnu ikke har? Jeg behandler det, som jeg behandler alt andet: evidens frem for hype, resultater frem for konsensus, systemlaget frem for overfladefortællingen.

Jobbets kompleksitet

Novatech er en leverandør af administrerede tjenester, der har været ejet af Perpetual Capital Partners siden september 2024. Vi er en rentabel servicevirksomhed efter en opkøbsproces med mandat til at skalere marginen og sikkerhedsomsætningen, samtidig med at vi opretholder den leveringskvalitet, som har skaffet os vores kundebase.

Divisionen arbejder sammen med administreret teknologi, administreret kontordrift og udkørende service og udfører det arbejde, der holder kundernes drift kørende og beskyttet. Mit team består af 68 ingeniører og analytikere på tværs af servicedesk, infrastruktur og en dedikeret sikkerhedspraksis, som understøtter 400 kundemiljøer.

Arkitekturen er ikke ét enkelt produkt; den er baseret på flere lejere. Vi driver snesevis af forskellige kundemiljøer, hver med sin egen blanding af lokal infrastruktur, Microsoft 365, Azure, AWS og Google Cloud samt hybride netværk, som vi ikke altid selv har designet, men nu har ansvaret for. Denne variation skaber kompleksitet. En rutineændring for én kunde udgør en produktionsrisiko for en anden. Disciplinen består i at administrere denne flåde efter én standard for pålidelighed og sikkerhedsniveau uden at tvinge alle kunder ned i den samme kasse.

Vores implementeringsmodel er administreret og fjernbaseret, understøttet af udkørende service ved opgaver, der kræver tilstedeværelse på stedet. Vi overvåger, opdaterer og beskytter løbende. Vi måler os selv på oppetid, svartid og hvor hurtigt vi begrænser sikkerhedshændelser, før kunderne oplever dem.

Hvordan AI forvandler tekniske beslutningsprocesser – men ikke overtager dem

Min grundlæggende filosofi er "Pak ingeniøren ind i AI" for at få det bedste fra begge verdener. Ingen reduktion i antallet af medarbejdere; i stedet udfører teamet mere og bedre arbejde med assisterende værktøjer.

AI driver nu arbejde i stort omfang, hvor en menneskelig kontrollant altid var flaskehalsen og aldrig selve værdien. Eksempelvis går triagering af sikkerhedsalarmer først gennem et AI-lag, fordi en SOC-analytiker, der manuelt gennemgår ti tusind hændelser med lav signalværdi, er dyrere og præsterer dårligere end modellen.

Vi bruger AI på samme måde til loganalyse under undersøgelser, til første udkast af dokumentation og driftsvejledninger samt til at opsummere en kundes miljø før en gennemgang. Det sikrer, at ingeniøren møder velforberedt op i stedet for uforberedt. I alle disse tilfælde fremskynder AI gennemlæsningen; det træffer ikke beslutningen.

Beslutningen forbliver menneskelig, og grænsen er bevidst. Arkitekturbeslutninger for et kundemiljø forbliver menneskelige, fordi modellen optimerer efter det teknisk rene svar. En reel beslutning tager højde for budgettet, kundens risikotolerance og det, deres team faktisk kan drive, efter at vi er gået.

Hændelsesrespons forbliver menneskelig på kommandoniveau. AI kan afdække, hvad der skete, men valg om inddæmning har forretningsmæssige konsekvenser, juridisk eksponering og betydning for kundernes tillid. Jeg vil ikke overlade dømmekraft under pres til et værktøj, der ikke kan holdes ansvarligt for resultatet. Den endelige sikkerhedsgennemgang før godkendelse forbliver menneskelig af samme grund. Modellen er fremragende til at finde kendte mønstre, men er blind for nye problemer, der virkelig betyder noget.

En sikkerhedsadvarsels-triagearbejdsgang fra den virkelige verden

Lad os se nærmere på sikkerhedsadvarsels-triage, fordi den kører dagligt og tydeligt viser, hvor AI fungerer, og hvor et menneske tager over.

Processen begynder med en mængde, som intet menneske kan eller bør behandle manuelt konsekvent. På tværs af kundernes miljøer genererer vores overvågning titusindvis af hændelser dagligt, hvoraf de fleste er støj. Før AI arbejdede en analytiker sig gennem en kø, og det reelle signal forblev begravet under mislykkede loginforsøg og harmløse anomalier. Vigtige problemer fik opmærksomhed for sent, fordi analytikeren måtte vade gennem støjen for at finde dem.

AI-laget behandler først denne rå datastrøm. Det klynger relaterede hændelser, eliminerer åbenlyse falske positiver ud fra kendte godkendte mønstre, sammenholder aktivitet på tværs af et kundemiljø, som et menneske ville betragte som usammenhængende, og rangerer de resterende elementer efter deres lighed med et reelt indbrud. Analytikeren modtager ikke en brandslange af data. I stedet modtager vedkommende en kort, ordnet liste med tilføjet kontekst, navngivne berørte systemer og en udfoldet begrundelse for, hvorfor hvert element blev vist. Modellen udfører den indledende læsning, men træffer ingen beslutninger.

Analytikeren åbner listen, og det menneskelige arbejde begynder. Vedkommende undersøger den mistænkelige tråd, og AI hjælper igen ved at opsummere relevante logfiler og tidslinjen, så analytikeren kan rekonstruere hændelser på minutter i stedet for en time. Dømmekraften forbliver hos personen. Er dette et reelt kompromitteringstilfælde eller en godkendt ændring, der ser mistænkelig ud? Matcher mønstret noget nyt, som modellen ikke ville markere? Modellen fremskynder gennemgangen af bevismaterialet; analytikeren træffer afgørelsen.

Når der opstår en reel hændelse, forbliver inddæmningen en menneskelig kommandoafgørelse. Analytikeren eller den senioransvarlige på vagt ved alvorlige hændelser beslutter, om en vært skal isoleres, en konto deaktiveres eller en kunde tages offline. Disse valg har forretningsmæssige omkostninger, juridisk eksponering og betydning for kundernes tillid, og intet værktøj kan holdes ansvarligt for disse beslutninger. AI kan fortælle dig, hvad der skete, men den vælger ikke vores reaktion under pres.

Efter inddæmningen udarbejder AI et udkast til hændelsesregistreringen, tidslinjen, de udførte handlinger og det kundevendte resumé. Dette udkast sparer betydelig tid sammenlignet med at begynde på en tom side. Det sendes ikke ud, før en tekniker har rettet og underskrevet det. En poleret, forkert rapport er værre end ingen rapport, og en AI-udarbejdet procedurebeskrivelse uden en menneskelig ejer skaber et ansvar, som vi besluttede aldrig skulle opstå på vores vagt.

Sløjfen lukkes med et trin, som de fleste teams springer over. Vi udtager stikprøver af det, AI afviste, ikke kun det, den eskalerede, og fører disse fejl tilbage for at skærpe næste gennemgang. Denne stikprøvedisciplin forhindrer automatiseringsbias i at slå rod. Et værktøj, der gør analytikere hurtigere, gør dem også selvtilfredse, hvis ingen kontrollerer de elementer, det kasserer.

Hvorfor virksomheder skal rydde op i deres tilladelser, før de integrerer AI

Jeg implementerede også en styringsport for Microsoft Copilot.

Før fremstod Copilot som en produktivitetsopgradering, og kunderne betragtede det som en simpel kontakt, der skulle slås til. Problemet er, at Copilot arver en brugers eksisterende adgang. De fleste af vores kunder havde gennem årene fået et omfattende tilladelsesrod: åbne SharePoint-websteder, delte drev, som ingen havde ryddet op i, og filer, der teknisk set var tilgængelige, men i praksis usynlige. I det øjeblik du giver en medarbejder et værktøj, der søger i alt, hvad vedkommende kan få adgang til, bliver usynligt indhold til et søgeresultat. En juniormedarbejder kunne stille et spørgsmål i almindeligt sprog og få løndata eller en bestyrelsespræsentation frem, som aldrig var tiltænkt vedkommende. Ingen havde taget hånd om tilladelserne, men eksponeringen var reel og havde ligget der i årevis.

Jeg opbyggede en obligatorisk parathedsvurdering, der gennemføres, før vi aktiverer Copilot for nogen. Vi kortlægger den effektive adgang, finder indhold, der er delt med for mange, og afhjælper først tilladelsesmodellen. Kunden godkender, hvad deres egne medarbejdere kan få adgang til, før en eneste AI-licens tages i brug. Vi forvandlede en funktionsanmodning til en styret implementering med et ufravigeligt forudgående krav.

Chris fremhæver

I det øjeblik du giver en medarbejder et værktøj, der søger i alt, hvad vedkommende kan få adgang til, bliver usynligt indhold til et søgeresultat.

Hvordan AI's gevinster medfører disciplinære omkostninger

På sikkerhedsområdet reducerede laget til alarmtriage den mængde, som analytikerne manuelt håndterer, med omkring 70 procent. Den gennemsnitlige tid til at anerkende en reel alarm faldt fra timer til minutter uden for spidsbelastningsperioder, fordi analytikerne ikke længere skulle grave sig gennem støj for at finde vigtige hændelser. Dette er vores mest tydelige gevinst. Omkostningen ved at tage fejl er lav; et menneske kontrollerer alligevel den korte liste, og modellen er fremragende til mønstergenkendelse, som mennesker klarer dårligt dag efter dag.

Arbejdet med CoPilot-parathed gav et andet resultat. Vi fandt eksponerede data i hver eneste vurdering, vi har gennemført – problemer, der eksisterede før AI og ville være forblevet begravede. Det er god sikkerhed og god omsætning.

Gevinsterne ved udarbejdelse af udkast er reelle, men mindre end hypen antyder. AI-assisteret dokumentation og udkast til driftsvejledninger reducerede tiden til et første udkast med mere end halvdelen. En ingeniør skal stadig rette arbejdet, så besparelsen ligger i problemet med den tomme side – ikke i det endelige produkt.

Den fejltilstand, der kostede os mest, var automatiseringsbias. Tidligt begyndte et par analytikere at stole for meget på AI-triagen og lod ting passere, som de burde have åbnet. Vi opdagede det under gennemgangen, men det lærte mig, at et værktøj, der gør folk hurtigere, også gør dem mere dovne, hvis man tillader det, og løsningen var en proces, ikke teknologi. Nu stikprøvekontrollerer vi det, AI afviser, ikke kun det, AI eskalerer.

Kort sagt købte AI os hastighed overalt og dømmekraft ingen steder. Hver gevinst havde en disciplinær omkostning for at forhindre folk i at stole på AI ud over det, den havde gjort sig fortjent til.

Hvordan AI forbedrer resultater, men ikke kompetencer

Her er noget, ingen ønsker at diskutere: AI gjorde ikke folk mere kompetente. Det lod dem leje udseendet af kompetence og lade, som om det var den ægte vare.

Kald det "at leje en stemme". En person producerer et artefakt, som vedkommende ikke kunne have produceret alene – for eksempel kode, en arkitekturbegrundelse, en sikkerhedspolitik eller en analyse rettet mod kunden – og artefaktet fremstår flydende og autoritativt. Flydende formuleringer er reelle. Ordene låner den underliggende kompetence, som forsvinder i det øjeblik, modellen holder op med at skrive. Personen ejer resultatet, men ikke forståelsen. Det hul er usynligt, indtil noget går i stykker, og så er det hul det mest højlydte i rummet.

Her er et eksempel: En junioringeniør implementerer en AI-genereret rettelse, der fungerer i demonstrationen, men kan ikke forklare den under en hændelse tre uger senere. Derfor rekonstruerer en senioringeniør en løsning, som ingen på holdet selv har skrevet. Den forreste hastighed førte til en bagudskudt omkostning, og omkostningen blev højere, fordi den flydende overflade forsinkede det tidspunkt, hvor nogen kontrollerede substansen.

Den fejlslagne forventning var løftestangseffekten. Løftet var, at AI ville mangedoble dygtige menneskers indsats. Det, AI gør, er at udjævne den synlige forskel mellem en person, der ved noget, og en person, der kan skrive gode prompts, og den udjævning er dyr, fordi de to producerer arbejde, der ser identisk ud, men giver vidt forskellige resultater under belastning.

Den eneste holdbare anvendelse af AI er derfor, når en person, der allerede har kompetencen, bruger AI til at arbejde hurtigere, fordi personen kan se, når resultatet er forkert. Giver man det samme værktøj til en person, der låner kompetencen fuldstændigt, har man ikke tilføjet kapacitet. Man har tilføjet selvsikkert resultat uden nogen ansvarlig bag det.

Hvorfor juniormedarbejdere stadig er nødvendige med AI

Chris fremhæver

En måde at undgå at nå dertil på er at rulle snævrere AI-løsninger ud, trin for trin efter fortjeneste. De samme gevinster uden stille og roligt at afvikle den pipeline, der uddanner de seniorer, som gør dette sikkert.

Det er den model, jeg brugte til at opbygge alle de serviceorganisationer, jeg nogensinde har drevet: Placér juniorkapacitet under seniorovervågning, lad arbejdsvolumen flyde ned til de billigste kompetente hænder, og udvid pyramiden, efterhånden som efterspørgslen vokser.

AI åd bunden af pyramiden. Det arbejde, jeg plejede at bemande med juniorer – første triage, loglæsning, udarbejdelse af driftsvejledninger og rutinehenvendelser – er præcis det arbejde, modellen nu udfører hurtigere og billigere end en person, der lærer på jobbet. Den bemandingsmatematik, der var afhængig af en bred base af billigt arbejde med høj volumen, holder ikke længere, fordi arbejdet med høj volumen ikke længere kræver en person.

Men juniorniveauet var aldrig kun billig arbejdskraft. Det var træningsbanen. Folk blev de seniorer, jeg er afhængig af, ved at arbejde sig gennem tusindvis af tickets med lav risiko og opbygge dømmekraft én fejl ad gangen. Fjern det trin, og du har ikke kun ændret dette års omkostningsstruktur. Du er holdt op med at uddanne de senioringeniører, du får brug for om fem år, og du vil ikke mærke det hul, før det bliver dyrt at udbedre.

En måde at undgå at nå dertil på er med smallere AI-udrulninger, der optjenes trin for trin. De samme gevinster uden i det stille at underfinansiere den pipeline, der producerer de seniorer, som gør dette sikkert.

Det gjorde jeg ikke, så jeg er ved at genopbygge stigen. Vi beholder juniorerne, men ikke for at håndtere den volumen, modellen allerede kan klare. De er der for at udvikle det ene, AI ikke kan give dem: dømmekraften til at vide, hvornår dens selvsikre output er forkert. Det betyder bevidst eksponering for svære problemer tidligt, seniortid brugt på undervisning i stedet for delegering og en mindre, skarpere base, end den gamle økonomi ville have opbygget.

Hvorfor anvendelse er et forfængeligt nøgletal

Udrulning mislykkes på det menneskelige niveau, ikke på teknologiniveauet. Jeg var nødt til at rulle næsten alt tilbage, fordi jeg havde vendt det på hovedet.

Jeg behandlede lanceringen som et kapabilitetsproblem. Vælg værktøjerne, bevis, at de virker, giv folk adgang, og mål anvendelsen. Anvendelsen steg, og jeg læste det som succes. I virkeligheden så jeg folk blive trygge ved at stole på output, de endnu ikke havde lært at stille spørgsmålstegn ved, og tryghed er et tidligt symptom på fiasko, ikke et bevis på succes.

Nu vi taler om det, burde jeg have nægtet at måle anvendelse. Det er et forfængeligt tal, og det pegede mig i den forkerte retning. Det nøgletal, der betød noget, var, om folk verificerede outputtet, før de stolede på det, og det er sværere at tælle, så jeg målte i stedet det nemme. Måling af brug belønnede præcis den adfærd, der forårsagede kaosset: Folk lænede sig mere og hurtigere op ad værktøjet med mindre kritisk efterprøvning.

Nu ville jeg måle verificering og omarbejde, og jeg ville aldrig igen lade et brugsdiagram stå som erstatning for forbedret arbejde.

Hvorfor CTO'er skal knytte enhver AI-beslutning tilbage til virksomhedens tal

Her er mit råd:

1. Styring først. Det er ikke spændende, og det vil ikke gejle FOMO-folket op som de nyeste frontlinjemodeller, men det er en absolut nødvendighed. Styr hele overfladen, før du implementerer og skalerer den. De fleste alvorlige problemer, jeg har set, kom fra CTO'er, der implementerede AI for at øge hastigheden og skrev styringen bagefter. Vend den rækkefølge om.
2. Hold op med at købe modenhed, og begynd at købe verificerbar kapabilitet. Halvdelen af den AI, der præsenteres i leverandørers salgstaler, pakker et API ind og sælges som kompetence, man selv ejer. Få alle leverandører til at vise dig løsningen i funktion på et problem uden for deres demo, og få dine egne teams til at gøre det samme.
3. Beskyt de mennesker, der allerede ved det. Håndtag er kun reelt i hænderne på en person, der kan se, hvornår modellen tager fejl. Invester i den dømmekraft, mål den, og nægt at lade flydende promptbrug træde i stedet for den på jeres organisationsdiagram.
4. Knyt enhver AI-beslutning til et tal, virksomheden allerede går op i. Beskyt omsætningen, prissæt risikoen, og giv timer tilbage til mennesker, der udfører arbejde, som betyder noget. CTO'er, der fremstiller AI som et teknologisk initiativ, skal kæmpe for budgettet hvert kvartal. De, der fremstiller det som margin og risiko, vil blive bedt om deres mening i rum, hvor der tidligere blev truffet beslutninger uden dem. Det tekniske argument flytter sjældent en ledelse; P&L-regnestykker gør.
5. Udøv disciplin. Implementer AI dér, hvor en person stadig ejer resultatet, hold den væk fra den plads, hvor resultatet ikke tåler fejl, og revider det, den afviser, ikke kun det, den eskalerer. Markedet belønner hastighed lige nu og vil bruge de næste par år på at omprissætte teams, der forvekslede flydende brug med kompetence. Byg, så du ikke er et af dem.

Følg med

Du kan følge Chris Garretts arbejde på LinkedIn. Og se hans nyeste bog, Scale or Sell.

Flere ekspertinterviews kommer snart på The CTO Club!