AI-adopsjon er et forfengelighetsmål

Chris Garrett er visepresident for administrert teknologi og sikkerhetsdrift hos Novatech, en leverandør av administrerte tjenester. Han er også forfatteren av Scale or Sell.

Vi satte oss ned med Chris for å lære av AI-arbeidsflytene hans og få en følelse av hvordan AI påvirker bransjen. Her er det han hadde å si.

Å omsette systemer til penger

Jeg leder administrert IT og sikkerhet hos Novatech, en leverandør av administrerte tjenester som eies av Perpetual Capital Partners. Tittelen sier visepresident. Arbeidet kan beskrives enklere. Jeg er ansvarlig for om teknologien tjener penger for virksomheten eller i det stille tapper den for penger.

Veien hit gikk ikke i en rett linje. Jeg begynte i driftslaget, på stedet der systemer bryter sammen, og noen må ta ansvar for å fikse dem. Jeg jobbet på brukerstøtten, deretter med infrastruktur og så med sikkerhet. Det er i disse rommene forskjellen mellom det en leverandør lover og det et nettverk faktisk gjør, blir ditt problem klokken to om natten. Dette grunnlaget lærte meg en lekse som har holdt seg siden. Teknologi er ikke målet. Resultatet er at inntektene beskyttes, risiko prises riktig og nedetid fjernes før en kunde merker den.

Deretter lærte jeg å oversette. Ingeniører snakker om systemer, mens ledere snakker om penger, og de fleste teknologiledere velger ett språk og mister det andre publikummet. Jeg bygget en karriere på å stå i dette grensesnittet og omsette forsinkelse, eksponering og arkitektur til språket for marginer og kontinuitet: IT som en multiplikator, aldri et kostnadssenter. Denne innrammingen endret samtalene jeg deltok i og beslutningene jeg formet.

Situasjonen er i endring igjen. AI er ikke det neste verktøyet i stakken. Det endrer hva innflytelse betyr, hvem som har den, og hvor raskt kapasiteten forsterkes. De fleste organisasjoner svarer med støy. De gjennomfører piloter som ikke beviser noe, og skriver retningslinjer for å håndtere uro snarere enn risiko, mens leverandører selger uunngåelighet til kjøpere som ikke har gjort regnestykket.

Interessen min er smalere og vanskeligere å forfalske. Hvor flytter AI de faktiske tallene? Hva avslører det som allerede var skjørt? Hvilken kompetanse krever det som de fleste team ennå ikke har? Jeg behandler det på samme måte som alt annet: bevis fremfor overdrivelser, resultater fremfor konsensus, systemlaget fremfor overflatehistorien.

Kompleksiteten i jobben

Novatech har vært en leverandør av administrerte tjenester eid av Perpetual Capital Partners siden september 2024. Vi er en lønnsom tjenestevirksomhet etter oppkjøp, med mandat til å skalere marginer og sikkerhetsinntekter samtidig som vi opprettholder leveransekvaliteten som la grunnlaget for kundebasen vår.

Divisjonen opererer sammen med administrert teknologi, administrert kontor og feltutrykning, og utfører arbeid som holder kundenes drift i gang og beskyttet. Teamet mitt består av 68 ingeniører og analytikere innen brukerstøtte, infrastruktur og en dedikert sikkerhetsfunksjon, som støtter 400 kundemiljøer.

Arkitekturen er ikke ett enkelt produkt; den er flerleietakerbasert. Vi drifter dusinvis av separate kundemiljøer, hvert med sin egen kombinasjon av lokal infrastruktur, Microsoft 365, Azure, AWS og Google Cloud, i tillegg til hybridnettverk vi ikke alltid har utformet, men nå har ansvaret for. Denne variasjonen skaper kompleksitet. En rutineendring for én kunde utgjør en produksjonsrisiko for en annen. Disiplinen består i å håndtere denne porteføljen etter én standard for pålitelighet og sikkerhetsnivå uten å tvinge alle kunder inn i samme ramme.

Distribusjonsmodellen vår er administrert og fjernbasert, støttet av feltutrykning for arbeid som krever tilstedeværelse på stedet. Vi overvåker, oppdaterer og beskytter kontinuerlig. Vi måler oss selv på oppetid, responstid og hvor raskt vi begrenser sikkerhetshendelser før kundene opplever dem.

Hvordan AI forvandler tekniske beslutningsprosesser – men ikke styrer dem

Kjernefilosofien min er «Pakk ingeniøren inn i AI» for å få det beste fra begge verdener. Ingen reduksjon i bemanningen; i stedet utfører teamet mer og bedre arbeid med støtteverktøy.

AI driver nå arbeid med høyt volum, der en menneskelig gjennomgåer alltid var flaskehalsen og aldri selve verdien. For eksempel går sortering av sikkerhetsvarsler først gjennom et AI-lag fordi det er dyrt for en SOC-analytiker å lese ti tusen hendelser med lavt signal manuelt, og resultatet blir dårligere enn modellens.

Vi bruker AI på samme måte til logganalyse under undersøkelser, til førsteutkast av dokumentasjon og driftsmanualer, og til å oppsummere en kundes miljø før en gjennomgang. Dette sikrer at ingeniøren møter forberedt i stedet for uvitende. I alle disse tilfellene fremskynder AI gjennomlesingen; det tar ikke avgjørelsen.

Avgjørelsen forblir menneskelig, og dette skillet er bevisst. Arkitekturbeslutninger for et kundemiljø tas fortsatt av mennesker fordi modellen optimaliserer for det teknisk ryddige svaret. En reell beslutning veier budsjett, kundens risikotoleranse og hva teamet deres faktisk kan drifte etter at vi har reist.

Hendelseshåndtering forblir menneskelig på kommandonivå. KI kan avdekke hva som skjedde, men valg knyttet til begrensning av hendelsen får forretningsmessige konsekvenser, juridisk risiko og følger for kundetillit. Jeg vil ikke overlate vurderinger under press til et verktøy som ikke kan holdes ansvarlig for utfallet. Den endelige sikkerhetsgjennomgangen før godkjenning forblir menneskelig av samme grunn. Modellen er svært god til å finne kjente mønstre, men er blind for nye problemer som virkelig betyr noe.

En praktisk arbeidsflyt for triagering av sikkerhetsvarsler

La oss se nærmere på triageringen av sikkerhetsvarsler, fordi den kjøres daglig og tydelig viser hvor KI fungerer, og hvor et menneske tar over.

Prosessen starter med et volum som ingen mennesker kan eller bør behandle manuelt på en konsekvent måte. På tvers av kundemiljøet genererer overvåkingen vår titusenvis av hendelser daglig, og de fleste er støy. Før KI arbeidet en analytiker seg gjennom en kø, mens de virkelige signalene forble begravd under mislykkede pålogginger og ufarlige avvik. Viktige problemer fikk sen oppmerksomhet fordi analytikeren måtte vasse gjennom støy for å finne dem.

KI-laget behandler først denne rå datastrømmen. Det grupperer relaterte hendelser, fjerner åpenbare falske positiver mot kjente, godkjente mønstre, korrelerer aktivitet på tvers av et kundemiljø som et menneske ville ansett som usammenhengende, og rangerer de gjenværende elementene etter hvor mye de ligner på et reelt innbrudd. Analytikeren mottar ikke en datastrøm. I stedet får vedkommende en kort, sortert liste med tilhørende kontekst, navngitte berørte systemer og en tydelig begrunnelse for hvorfor hvert element ble vist. Modellen utfører den innledende gjennomgangen, men tar ingen beslutninger.

Analytikeren åpner listen, og det menneskelige arbeidet begynner. Vedkommende undersøker den mistenkelige tråden, og KI bistår igjen ved å oppsummere relevante logger og tidslinjen, slik at analytikeren kan rekonstruere hendelsene på minutter i stedet for en time. Vurderingen forblir hos personen. Er dette et reelt kompromiss, eller en godkjent endring som virker mistenkelig? Samsvarer mønsteret med noe nytt som modellen ikke ville ha flagget? Modellen gjør gjennomgangen av bevis raskere; analytikeren fatter avgjørelsen.

Når en reell hendelse oppstår, forblir begrensningen av hendelsen en menneskelig beslutning på kommandonivå. Analytikeren, eller den senioransvarlige på vakt ved alvorlige hendelser, avgjør om en vert skal isoleres, en konto deaktiveres eller en kunde kobles fra nettet. Disse valgene medfører forretningsmessige kostnader, juridisk risiko og konsekvenser for kundetilliten, og ingen verktøy kan holdes ansvarlig for disse beslutningene. KI kan fortelle deg hva som skjedde, men den velger ikke hvordan vi responderer under press.

Etter begrensningen utarbeider KI et utkast til hendelsesrapporten, tidslinjen, handlingene som ble utført, og sammendraget som skal deles med kunden. Dette utkastet sparer betydelig tid sammenlignet med å begynne på en blank side. Det sendes ikke ut før en ingeniør har korrigert og signert det. En polert, feilaktig rapport er verre enn ingen rapport, og en KI-utarbeidet prosedyre som skal være den autoritative dokumentasjonen, uten en menneskelig eier, skaper et ansvar vi bestemte oss for aldri å påta oss under vår vakt.

Sløyfen avsluttes med et trinn de fleste team hopper over. Vi kontrollerer et utvalg av det KI avviste, ikke bare det den eskalerte, og fører disse feilene tilbake for å forbedre neste gjennomgang. Denne utvalgsdisiplinen hindrer at automatiseringsskjevhet får feste. Et verktøy som gjør analytikere raskere, gjør dem også selvtilfredse hvis ingen kontrollerer elementene det forkaster.

Hvorfor virksomheter må rydde opp i tilgangsrettighetene før de integrerer KI

Jeg innførte også en styringsport for Microsoft Copilot.

Tidligere fremsto Copilot som en produktivitetsoppgradering, og kundene behandlet det som en enkel bryter som kunne slås på. Problemet er at Copilot arver brukerens eksisterende tilganger. De fleste av kundene våre hadde hatt ukontrollert vekst i tilgangsrettighetene i årevis: åpne SharePoint-nettsteder, delte stasjoner som ingen hadde ryddet opp i, og filer som teknisk sett var tilgjengelige, men i praksis usynlige. I det øyeblikket du gir en ansatt et verktøy som søker i alt vedkommende har tilgang til, blir usynlig innhold et søkeresultat. En junioransatt kunne stille et spørsmål på vanlig språk og få frem lønnsdata eller en presentasjon for styret som aldri var ment for vedkommende. Ingen hadde tatt tak i tilgangsrettighetene, men eksponeringen var reell og hadde ligget der i årevis.

Jeg utviklet en obligatorisk beredskapsvurdering som kjøres før vi aktiverer Copilot for noen. Vi kartlegger effektiv tilgang, finner innhold som er delt med for mange, og utbedrer tilgangsmodellen først. Kunden godkjenner hva deres egne ansatte kan få tilgang til før en eneste KI-lisens aktiveres. Vi gjorde en funksjonsforespørsel om til en styrt utrulling med et ufravikelig forhåndskrav.

Chris fremhever

I det øyeblikket du gir en ansatt et verktøy som søker i alt vedkommende har tilgang til, blir usynlig innhold et søkeresultat.

Slik medfører AIs gevinster kostnader knyttet til disiplin

På sikkerhetssiden reduserte laget for alarmtriage mengden analytikerne måtte håndtere manuelt, med rundt 70 prosent. Gjennomsnittstiden for å bekrefte en reell alarm gikk fra timer til minutter utenfor rushtid, fordi analytikerne ikke lenger måtte lete gjennom støy for å finne viktige hendelser. Dette er vår tydeligste seier. Kostnaden ved å ta feil er lav; et menneske kontrollerer uansett kortlisten, og modellen er fremragende til mønstergjenkjenning, noe mennesker gjør dårlig dag ut og dag inn.

Arbeidet med CoPilot-beredskap ga et annet slags resultat. Vi fant eksponerte data i hver eneste vurdering vi har gjennomført – problemer som fantes før AI og ville ha forblitt skjult. Det er god sikkerhet og gode inntekter.

Gevinstene ved utkast er reelle, men mindre enn hypen tilsier. AI-assistert dokumentasjon og utkast til driftsprosedyrer reduserte tiden frem til en første gjennomgang med mer enn halvparten. En ingeniør må fortsatt korrigere arbeidet, så besparelsen ligger i å overvinne problemet med det blanke arket, ikke i sluttproduktet.

Feilmodusen som kostet oss mest, var automatiseringsskjevhet. Tidlig begynte et par analytikere å stole for mye på AI-triagen og lot saker passere som de burde ha åpnet. Vi oppdaget det i gjennomgangen, men det lærte meg at et verktøy som gjør folk raskere, også gjør dem latere hvis man tillater det, og løsningen var prosess, ikke teknologi. Nå stikkprøvekontrollerer vi det AI avviser, ikke bare det den eskalerer.

Kort sagt kjøpte AI oss hastighet overalt og dømmekraft ingen steder. Hver gevinst kom med en disiplinkostnad for å hindre folk i å stole på det utover det det hadde gjort seg fortjent til.

Slik forbedrer AI resultatet, men ikke kompetansen

Her er noe ingen ønsker å diskutere: AI gjorde ikke folk mer kompetente. Den lot dem leie inntrykket av kompetanse og late som om det var ekte.

Kall det «å leie en stemme». En person produserer et resultat de ikke kunne ha produsert alene – for eksempel kode, en arkitekturbegrunnelse, en sikkerhetspolicy eller en kundevendt analyse – og resultatet fremstår velformulert og autoritativt. Velformuleringen er reell. Ordene låner den underliggende kompetansen, som forsvinner i det øyeblikket modellen slutter å skrive. Personen eier resultatet, men ikke forståelsen. Dette gapet er usynlig helt til noe går galt, og da er gapet det mest høylytte i rommet.

Her er et eksempel: En junioringeniør leverer en AI-generert løsning som fungerer i demonstrasjonen, men klarer ikke å forklare den under en hendelse tre uker senere. Dermed må en senioringeniør omvendtutvikle en løsning som ingen i teamet har utarbeidet. Hastighet i forkant førte til kostnader i etterkant, og kostnaden ble høyere fordi den velformulerte overflaten utsatte tidspunktet da noen kontrollerte innholdet.

Den sviktende forventningen var skaleringseffekt. Løftet var at AI skulle mangedoble effekten av dyktige mennesker. Det den gjør, er å viske ut den synlige forskjellen mellom noen som kan noe, og noen som kan skrive gode instruksjoner, og denne utviskingen er kostbar fordi de to produserer arbeid som ser identisk ut, men får svært ulike resultater under belastning.

Den eneste varige bruken av AI er derfor når noen som allerede har kompetansen, bruker AI til å arbeide raskere, fordi denne personen kan se når resultatet er feil. Gir du det samme verktøyet til noen som låner kompetansen fullt ut, har du ikke økt kapasiteten. Du har lagt til selvsikre resultater uten at noen ansvarlig står bak.

Hvorfor juniorer fortsatt er nødvendige med AI

Chris fremhever

En måte å unngå å komme dit på er å rulle ut AI i mindre omfang, med gradvis opparbeidet tillit. De samme gevinstene uten å i det stille svekke rekrutteringsgrunnlaget som produserer seniorene som gjør dette trygt.

Dette er modellen jeg brukte til å bygge alle tjenesteorganisasjonene jeg noen gang ledet: Plasser juniorkapasitet under senioroppfølging, la arbeidsmengden flyte ned til de billigste kompetente hendene, og utvid pyramiden etter hvert som etterspørselen øker.

AI spiste bunnen av pyramiden. Arbeidet jeg tidligere bemannet med juniorer – triage i første omgang, logglesing, utkast til driftsprosedyrer og rutinemessige saker – er nøyaktig det arbeidet modellen nå gjør raskere og billigere enn en person som lærer i jobben. Bemanningsregnestykket som var avhengig av en bred base av rimelig arbeid i stort volum, gjelder ikke lenger, fordi arbeidet i stort volum ikke lenger trenger en person.

Men juniornivået var aldri bare billig arbeidskraft. Det var opplæringsarenaen. Folk ble seniorene jeg stoler på ved å jobbe seg gjennom tusenvis av billetter med lav risiko og bygge opp dømmekraft, én feil om gangen. Fjerner du det trinnet, har du ikke bare endret årets kostnadsstruktur. Du har sluttet å utdanne senioringeniørene du vil trenge om fem år, og du vil ikke merke dette gapet før det blir dyrt å rette opp.

Én måte å unngå å havne der på er å rulle ut smalere AI-løsninger, trinn for trinn, etter hvert som de fortjener det. De samme gevinstene, uten at du i det stille underfinansierer tilførselen av seniorer som gjør dette trygt.

Det gjorde ikke jeg, så nå bygger jeg opp stigen igjen. Vi beholder juniorene, men ikke for å håndtere volum som modellen allerede tar seg av. De er der for å utvikle den ene egenskapen AI ikke kan gi dem: dømmekraften til å vite når modellens selvsikre svar er feil. Det betyr bevisst eksponering for vanskelige problemer tidlig, at seniorer bruker tiden sin på å undervise i stedet for å delegere, og en mindre, skarpere base enn den gamle økonomien ville ha bygget.

Hvorfor innføring er et forfengelighetsmål

Utrullingen mislykkes på det menneskelige nivået, ikke på teknologinivået. Jeg måtte gå tilbake på nesten alt fordi jeg hadde snudd dette på hodet.

Jeg behandlet lanseringen som et kapasitetsproblem. Velg verktøyene, bevis at de fungerer, gi folk tilgang, mål innføringen. Innføringen økte, og jeg tolket det som suksess. Det jeg egentlig så, var at folk ble komfortable med å stole på resultater de ikke hadde lært å stille spørsmål ved, og komfort er et tidlig symptom på fiasko, ikke et bevis på suksess.

Når vi først snakker om det, burde jeg ha nektet å måle innføringen. Det er et forfengelighetstall, og det pekte meg i feil retning. Det som betydde noe, var om folk verifiserte resultatet før de stolte på det, og det er vanskeligere å telle, så jeg fulgte i stedet med på det enkle. Å måle bruk belønnet nøyaktig den atferden som skapte kaoset: Folk lente seg mer og raskere på verktøyet, med mindre kritisk vurdering.

Nå ville jeg målt verifisering og omarbeid, og jeg ville aldri igjen latt et brukskart være en erstatning for bedre arbeid.

Hvorfor CTO-er må knytte alle AI-beslutninger tilbake til virksomhetens tall

Her er mine råd:

1. Styring først. Det er ikke spennende, og det vil ikke skape samme begeistring hos FOMO-gjengen som de nyeste grensemodellene, men det er helt nødvendig. Styr hele området før du tar det i bruk og skalerer det. De fleste alvorlige problemene jeg har sett, kom fra CTO-er som tok i bruk AI for å øke farten og skrev styringsreglene etterpå. Snu på rekkefølgen.
2. Slutt å kjøpe modenhet, og begynn å kjøpe verifiserbar kapasitet. Halvparten av AI-en i leverandørpresentasjoner pakker inn et API og selges som egen kompetanse. Få alle leverandører til å vise at løsningen fungerer på et problem utenfor demonstrasjonen, og la deres egne team gjøre det samme.
3. Beskytt menneskene som allerede vet. Utnyttelse er bare reell i hendene på noen som kan se når modellen tar feil. Invester i den dømmekraften, mål den, og nekt å la flyt i bruk av ledetekster tre i stedet for den på organisasjonskartet.
4. Knytt alle AI-beslutninger til et tall virksomheten allerede bryr seg om. Beskytt inntektene, pris risikoen, og gi tid tilbake til mennesker som gjør arbeid som betyr noe. CTO-er som fremstiller AI som et teknologitiltak, må kjempe for budsjettet hvert kvartal. De som fremstiller det som margin og risiko, blir bedt om sin mening i rom der beslutninger tidligere ble tatt uten dem. Det tekniske argumentet flytter sjelden en leder; resultatregnskapet gjør det.
5. Praktiser disiplin. Ta i bruk AI der en person fortsatt eier resultatet, hold det borte fra plassen der resultatet ikke tåler feil, og kontroller hva det avviser, ikke bare hva det eskalerer. Markedet belønner fart akkurat nå, og de neste årene vil det omvurdere team som forvekslet flyt med kompetanse. Bygg slik at du ikke blir ett av dem.

Følg med

Du kan følge arbeidet til Chris Garrett på LinkedIn. Og ta en titt på hans nyeste bok, Skaler eller selg.

Flere ekspertintervjuer kommer i CTO-klubben!