AI-adoptie is een ijdelheidsmetriek
Chris Garrett legt uit waarom AI-succes afhankelijk is van governance, verificatie en menselijk oordeel — niet alleen van adoptiecijfers of automatisering.
Chris Garrett
Vicepresident van Beheerde Technologie en Beveiliging bij Novatech
AI-impact: AI verandert de hefboomwerking, beïnvloedt beslissingen en dwingt leiders zich te richten op echte resultaten.
Workflowverbeteringen: AI helpt bij het sorteren van beveiligingswaarschuwingen, loganalyse en documentatie, waardoor de efficiëntie verbetert zonder mensen te vervangen.
Noodzaak van governance: AI-governance moet voorafgaan aan implementatie om onbedoelde gegevenstoegang te voorkomen en verantwoord gebruik te waarborgen.
Vermogensachterstand: AI biedt snelheid, geen vaardigheden, en organisaties moeten voorkomen dat ze te afhankelijk worden van door AI gegenereerde oplossingen.
Evolutie van juniorfuncties: AI verschuift juniorfuncties van volumetaken naar het trainen van beoordelingsvermogen, waardoor ontwikkelingspaden opnieuw moeten worden geëvalueerd.
Chris Garrett is vicepresident van Beheerde Technologie en Beveiligingsoperaties bij Novatech, een beheerde IT-dienstverlener. Hij is ook de auteur van Scale or Sell.
We gingen met Chris om de tafel om meer te leren over zijn AI-workflows en een beeld te krijgen van de invloed van AI op de sector. Dit is wat hij te zeggen had.
Systemen vertalen naar dollars
Ik geef leiding aan Beheerde IT en Beveiliging bij Novatech, een beheerde IT-dienstverlener die eigendom is van Perpetual Capital Partners. De functietitel zegt vicepresident. Het werk is eenvoudiger te omschrijven. Ik ben verantwoordelijk voor de vraag of technologie geld oplevert voor het bedrijf of het stilletjes weg laat lekken.
Continue Reading for Free
Create a free account to finish this article, plus get ongoing access to timely insights and practical resources.
Have an account? Log In
De weg hiernaartoe verliep niet in een rechte lijn. Ik ben opgeklommen vanuit de operationele laag, de plek waar systemen uitvallen en iemand de oplossing moet dragen. Ik werkte bij de helpdesk, daarna aan infrastructuur en vervolgens aan beveiliging. Dat zijn de plekken waar het verschil tussen wat een leverancier belooft en wat een netwerk doet, om twee uur 's nachts jouw probleem wordt. Die basis leerde me de les die sindsdien overeind is gebleven. Technologie is niet het doel. Het resultaat is dat omzet wordt beschermd, risico correct wordt geprijsd en downtime wordt geëlimineerd voordat een klant er iets van merkt.
Daarna leerde ik vertalen. Engineers spreken in systemen en bestuurders in dollars, en de meeste technologieleiders kiezen één taal en verliezen daarmee de andere doelgroep. Ik heb mijn carrière opgebouwd op dat snijvlak: latentietijd, blootstelling en architectuur vertalen naar de taal van marge en continuïteit: IT als vermenigvuldigingsfactor, nooit als kostenpost. Die invalshoek veranderde de gesprekken waaraan ik deelnam en de beslissingen waarop ik invloed had.
De bodem beweegt opnieuw. AI is niet het volgende hulpmiddel in de technologiestack. Het verandert wat hefboomwerking betekent, wie daarover beschikt en hoe snel capaciteit zich opstapelt. De meeste organisaties reageren met ruis. Ze voeren pilots uit die niets bewijzen en schrijven beleid om angst in plaats van risico te beheersen, terwijl leveranciers onvermijdelijkheid verkopen aan kopers die de rekensom niet hebben gemaakt.
Mijn interesse is smaller en moeilijker te vervalsen. Waar verschuift AI de werkelijke cijfers? Wat legt het bloot dat al kwetsbaar was? Welke competentie vereist het die de meeste teams nog niet hebben? Ik behandel het zoals ik al het andere behandel: bewijs boven hype, resultaten boven consensus, de systeemlaag boven het oppervlakkige verhaal.
Complexiteiten van het werk
Novatech is sinds september 2024 een beheerde IT-dienstverlener die eigendom is van Perpetual Capital Partners. Wij zijn een winstgevend servicebedrijf na overname, met de opdracht om de marge en beveiligingsomzet op te schalen en tegelijk de leveringskwaliteit te behouden waarmee we ons klantenbestand hebben opgebouwd.
De divisie opereert naast Beheerde Technologie, Beheerd Kantoor en Terreinondersteuning en voert werk uit dat de activiteiten van klanten draaiende en beschermd houdt. Mijn team bestaat uit 68 engineers en analisten binnen de servicedesk, infrastructuur en een gespecialiseerde beveiligingspraktijk, ter ondersteuning van 400 klantomgevingen.
De architectuur bestaat niet uit één product; het is een omgeving met meerdere tenants. We beheren tientallen afzonderlijke klantomgevingen, elk met een eigen combinatie van infrastructuur op locatie, Microsoft 365, Azure, AWS en Google Cloud, plus hybride netwerken die we niet altijd zelf hebben ontworpen maar nu wel beheren. Deze variatie zorgt voor complexiteit. Een routinematige wijziging voor de ene klant vormt een productierisico voor een andere. De discipline bestaat uit het beheren van deze vloot volgens één standaard voor betrouwbaarheid en beveiligingsstatus, zonder elke klant in hetzelfde keurslijf te dwingen.
Ons implementatiemodel is beheerd en in de eerste plaats op afstand, met ondersteuning van Terreinondersteuning voor werk waarvoor aanwezigheid op locatie nodig is. We monitoren, patchen en verdedigen voortdurend. We meten onszelf aan uptime, responstijd en hoe snel we beveiligingsincidenten indammen voordat klanten ermee te maken krijgen.
Hoe AI technische besluitvormingsprocessen transformeert — maar niet overneemt
Mijn kernfilosofie is: "Wikkel de engineer in AI" om het beste van beide werelden te krijgen. Geen vermindering van het aantal medewerkers; in plaats daarvan levert het team meer en beter werk met ondersteunende hulpmiddelen.
AI ondersteunt nu werk met grote volumes waarbij een menselijke beoordelaar altijd de bottleneck was en nooit de waarde vertegenwoordigde. Zo wordt het sorteren van beveiligingswaarschuwingen eerst door een AI-laag uitgevoerd, omdat een SOC-analist die tienduizend gebeurtenissen met weinig signaal handmatig leest, duurder uit is en slechter presteert dan het model.
We gebruiken AI op vergelijkbare wijze voor loganalyse tijdens onderzoeken, voor eerste versies van documentatie en draaiboeken en voor het samenvatten van de omgeving van een klant vóór een beoordeling. Daardoor komt de engineer geïnformeerd binnen in plaats van onvoorbereid. In al deze gevallen versnelt AI het lezen; het neemt de beslissing niet.
De beslissing blijft bij de mens, en die grens is bewust getrokken. Architectuurbeslissingen voor een klantomgeving blijven mensenwerk, omdat het model optimaliseert voor het technisch meest zuivere antwoord. Bij een echte beslissing wordt rekening gehouden met het budget, de risicotolerantie van de klant en wat hun team daadwerkelijk kan beheren nadat wij zijn vertrokken.
Incidentresponsie blijft op commandoniveau mensenwerk. AI kan zichtbaar maken wat er is gebeurd, maar keuzes rond indamming hebben zakelijke gevolgen, juridische risico's en gevolgen voor het vertrouwen van klanten. Ik vertrouw beslissingen onder druk niet toe aan een hulpmiddel dat niet verantwoordelijk kan worden gehouden voor de uitkomst. Om dezelfde reden blijft de definitieve beveiligingsbeoordeling vóór goedkeuring mensenwerk. Het model is uitstekend in het herkennen van bekende patronen, maar ziet nieuwe problemen die er echt toe doen niet.
Een praktijkgerichte workflow voor het beoordelen van beveiligingswaarschuwingen
Ik vertrouw beslissingen onder druk niet toe aan een hulpmiddel dat niet verantwoordelijk kan worden gehouden voor de uitkomst… De beslissing blijft bij de persoon.
Laten we dieper ingaan op het beoordelen van beveiligingswaarschuwingen, omdat dit dagelijks gebeurt en duidelijk laat zien waar AI werkt en waar een mens het overneemt.
Het proces begint met een volume dat geen mens consequent handmatig kan of zou moeten verwerken. Binnen het hele klantenbestand genereert onze monitoring dagelijks tienduizenden gebeurtenissen, waarvan de meeste ruis zijn. Vóór AI verwerkte een analist een wachtrij en bleef het echte signaal verborgen onder mislukte aanmeldingen en onschuldige afwijkingen. Belangrijke problemen kregen te laat aandacht, omdat de analist door de ruis heen moest waden om ze te vinden.
De AI-laag verwerkt die onbewerkte stroom eerst. Deze groepeert gerelateerde gebeurtenissen, verwijdert voor de hand liggende fout-positieven op basis van bekende betrouwbare patronen, legt verbanden tussen activiteiten binnen een klantomgeving die een mens als ongerelateerd zou beschouwen en rangschikt de overgebleven items op basis van hun gelijkenis met een echte inbraak. De analist krijgt geen stortvloed aan gegevens. In plaats daarvan ontvangt die een korte, geordende lijst met bijbehorende context, benoemde getroffen systemen en een uitgeschreven reden waarom elk item naar voren is gebracht. Het model voert de eerste lezing uit, maar neemt geen beslissingen.
De analist opent die lijst en het menselijke werk begint. Die onderzoekt de verdachte reeks en AI helpt opnieuw door relevante logboeken en de tijdlijn samen te vatten, zodat de analist gebeurtenissen in enkele minuten kan reconstrueren in plaats van in een uur. De beslissing blijft bij de persoon. Gaat het om een echte inbreuk of om een goedgekeurde wijziging die verdacht lijkt? Komt het patroon overeen met iets nieuws dat het model niet zou signaleren? Het model versnelt het beoordelen van bewijsmateriaal; de analist trekt de conclusie.
Wanneer zich een echte gebeurtenis voordoet, blijft indamming een menselijke commandobeslissing. De analist, of de senior dienstdoende medewerker bij ernstige incidenten, beslist of een host wordt geïsoleerd, een account wordt uitgeschakeld of een klant offline wordt gehaald. Deze keuzes brengen zakelijke kosten, juridische risico's en gevolgen voor het vertrouwen van klanten met zich mee, en geen enkel hulpmiddel kan verantwoordelijk worden gehouden voor die beslissingen. AI kan vertellen wat er is gebeurd, maar kiest niet onder druk hoe wij reageren.
Na de indamming stelt AI het incidentverslag, de tijdlijn, de ondernomen acties en de samenvatting voor de klant op. Dit concept bespaart aanzienlijk veel tijd in vergelijking met beginnen op een lege pagina. Het wordt pas verzonden nadat een technicus het heeft gecorrigeerd en ondertekend. Een fraai, onjuist verslag is erger dan geen verslag, en een door AI opgestelde procedurele vastlegging zonder menselijke eigenaar creëert een aansprakelijkheid waarvan we hadden besloten dat die onder ons toezicht nooit zou ontstaan.
De cyclus wordt gesloten met een stap die de meeste teams overslaan. We nemen steekproeven van wat de AI heeft afgewezen, niet alleen van wat zij heeft geëscaleerd, en gebruiken deze gemiste signalen om de volgende ronde aan te scherpen. Deze discipline bij het nemen van steekproeven voorkomt dat automatiseringsbias zich vastzet. Een hulpmiddel dat analisten sneller maakt, maakt hen ook zelfgenoegzaam als niemand de items controleert die het weggooit.
Waarom bedrijven hun toegangsrechten moeten opschonen voordat ze AI integreren
Ik heb ook een governancepoort voor Microsoft Copilot geïmplementeerd.
Voorheen leek Copilot een productiviteitsupgrade en behandelden klanten het als een eenvoudige schakelaar die je omzet. Het probleem is dat Copilot de bestaande toegangsrechten van een gebruiker overneemt. De meeste van onze klanten hadden jarenlang te ruim verspreide toegangsrechten: openbare SharePoint-sites, gedeelde schijven die niemand had opgeschoond en bestanden die technisch toegankelijk maar praktisch onzichtbaar waren. Zodra je een medewerker een hulpmiddel geeft dat alles doorzoekt waartoe die toegang heeft, wordt onzichtbare inhoud een zoekresultaat. Een junior medewerker kon een vraag in gewone taal stellen en salarisgegevens of een bestuursrapport naar boven halen die nooit voor die persoon bedoeld waren. Niemand had de toegangsrechten aangepakt, maar de blootstelling was reëel en had daar al jaren gelegen.
Ik heb een verplichte gereedheidsbeoordeling opgesteld die wordt uitgevoerd voordat we Copilot voor iemand inschakelen. We brengen de effectieve toegang in kaart, zoeken naar inhoud die met te veel mensen wordt gedeeld en herstellen eerst het rechtenmodel. De klant keurt goed waartoe de eigen medewerkers toegang hebben voordat er ook maar één AI-licentie live gaat. We hebben een functieverzoek omgezet in een beheerde implementatie met een harde voorwaarde vooraf.
Hoe de winst van AI kosten voor discipline met zich meebrengt
Op het gebied van beveiliging verminderde de laag voor het prioriteren van waarschuwingen het volume dat analisten handmatig verwerken met ongeveer 70 procent. De gemiddelde tijd om een echte waarschuwing te erkennen daalde tijdens periodes buiten de piekuren van uren naar minuten, omdat analisten niet langer door ruis hoefden te zoeken naar belangrijke gebeurtenissen. Dit is onze duidelijkste overwinning. De kosten van een vergissing zijn laag; een mens controleert de korte lijst toch, en het model blinkt uit in patroonherkenning, iets waar mensen dag in, dag uit slecht in zijn.
Het voorbereidingswerk voor CoPilot leverde een ander soort resultaat op. In elke beoordeling die we hebben uitgevoerd, vonden we blootgestelde gegevens: problemen die al vóór AI bestonden en verborgen zouden zijn gebleven. Dat is goede beveiliging en goede omzet.
De voordelen bij het opstellen van documenten zijn reëel, maar kleiner dan de hype doet vermoeden. Door AI ondersteunde documentatie en concepten van draaiboeken halveerden de tijd tot een eerste versie ruimschoots. Een engineer moet het werk nog steeds corrigeren, dus de besparing zit in het probleem van de lege pagina, niet in het eindproduct.
De faalmodus die ons het meest kostte, was automatiseringsbias. In het begin begonnen een paar analisten te veel op de AI-prioritering te vertrouwen en keurden ze zaken goed die ze hadden moeten openen. We ontdekten dit tijdens een beoordeling, maar het leerde me dat een hulpmiddel dat mensen sneller maakt, hen ook luier maakt als je dat toelaat. De oplossing was een proces, geen technologie. We nemen nu steekproeven van wat de AI afwijst, en niet alleen van wat het escaleert.
Kort gezegd: AI gaf ons overal snelheid, maar nergens beoordelingsvermogen. Elke winst ging gepaard met kosten voor discipline om te voorkomen dat mensen er meer op vertrouwden dan het had verdiend.
Hoe AI de output verbetert, maar niet de bekwaamheid
Hier is iets waar niemand over wil praten: AI heeft mensen niet bekwamer gemaakt. Het stelde hen in staat de schijn van bekwaamheid te huren en te doen alsof die echt was.
Noem het "een stem huren". Iemand produceert een artefact dat diegene niet alleen had kunnen produceren — bijvoorbeeld code, een onderbouwing van een architectuur, een beveiligingsbeleid of een analyse voor een klant — en het artefact leest vloeiend en gezaghebbend. De vloeiendheid is echt. De woorden lenen de onderliggende deskundigheid, die verdwijnt zodra het model stopt met typen. De persoon bezit de output, maar niet het begrip. Die kloof blijft onzichtbaar totdat er iets stukgaat, en dan is die kloof het luidste in de ruimte.
Hier is een voorbeeld: een junior engineer levert een door AI gegenereerde oplossing op die in de demo werkt, maar kan die drie weken later tijdens een incident niet uitleggen. Vervolgens reconstrueert een senior engineer een oplossing die niemand in het team heeft geschreven. De snelheid aan het begin leidde tot kosten achteraf, en die kosten waren hoger omdat het vloeiende oppervlak het moment uitstelde waarop iemand de inhoud controleerde.
De niet-ingeloste verwachting was hefboomeffect. De belofte was dat AI bekwame mensen zou vermenigvuldigen. Wat het doet, is het zichtbare verschil afvlakken tussen iemand die kennis heeft en iemand die aanwijzingen kan geven, en dat afvlakken is duur omdat beiden werk produceren dat er identiek uitziet, maar onder belasting tot totaal verschillende resultaten leidt.
Het enige duurzame gebruik van AI is daarom wanneer iemand die al over de benodigde bekwaamheid beschikt, AI gebruikt om sneller te werken, omdat die persoon kan vaststellen wanneer de output onjuist is. Geef hetzelfde hulpmiddel aan iemand die de bekwaamheid zonder meer leent, en je hebt geen capaciteit toegevoegd. Je hebt zelfverzekerde output toegevoegd zonder dat er iemand achter zit die verantwoordelijkheid draagt.
Waarom junior teamleden nog steeds nodig zijn met AI
Dit is het model dat ik gebruikte om elke serviceorganisatie die ik ooit heb geleid op te bouwen: plaats juniorcapaciteit onder toezicht van seniors, laat het werkvolume doorstromen naar de goedkoopste competente handen en laat de piramide meegroeien naarmate de vraag groeit.
AI heeft de onderkant van de piramide opgegeten. Het werk waarvoor ik vroeger juniors inzette — eerste prioritering, logboeken lezen, concepten van draaiboeken opstellen, routinematige tickets — is precies het werk dat het model nu sneller en goedkoper doet dan iemand die het vak tijdens het werk leert. De personeelsberekening die afhankelijk was van een brede basis van goedkoop volumewerk, gaat niet langer op, omdat voor het volumewerk geen persoon meer nodig is.
Maar het juniorniveau was nooit alleen goedkope arbeidskracht. Het was de leerschool. Mensen werden de seniors op wie ik vertrouw door duizenden tickets met lage inzet af te handelen en stap voor stap, met elke fout, beoordelingsvermogen op te bouwen. Haal die trede weg en je hebt niet alleen de kostenstructuur van dit jaar veranderd. Je bent gestopt met het opleiden van de senior engineers die je over vijf jaar nodig hebt, en je zult dat tekort pas voelen wanneer het duur is om het op te lossen.
Een manier om dat punt te vermijden is door AI stapsgewijs en met een beperktere reikwijdte uit te rollen. Dezelfde voordelen, zonder stilletjes de pijplijn te ontmantelen die de seniors voortbrengt die dit veilig maken.
Dat heb ik niet gedaan, dus ik bouw de ladder opnieuw op. We houden juniors, maar niet om volume op te vangen dat het model al afhandelt. Ze zijn er om het ene te ontwikkelen wat AI hun niet kan geven: het beoordelingsvermogen om te weten wanneer een zelfverzekerde output van het model onjuist is. Dat betekent dat ze al vroeg bewust aan moeilijke problemen worden blootgesteld, dat seniors tijd besteden aan lesgeven in plaats van delegeren, en dat we een kleinere, scherpere basis hebben dan de oude economische logica zou hebben opgebouwd.
Waarom adoptie een ijdelheidsmetric is
Een uitrol mislukt op het menselijke vlak, niet op het technologische vlak. Ik moest bijna alles terugdraaien omdat ik dat verkeerd had begrepen.
Ik behandelde de lancering als een capaciteitsprobleem. Kies de tools, bewijs dat ze werken, geef mensen toegang en meet de adoptie. De adoptie steeg en ik zag dat als succes. In werkelijkheid zag ik hoe mensen zich op hun gemak gingen voelen bij het vertrouwen op output die ze nog niet hadden leren bevragen, en dat gemak is een vroeg symptoom van mislukking, geen bewijs van succes.
Nu we het daar toch over hebben: ik had moeten weigeren om adoptie te meten. Het is een ijdelheidsgetal en het wees me de verkeerde richting op. De metric die ertoe deed, was of mensen de output controleerden voordat ze erop vertrouwden, en dat is moeilijker te tellen, dus volgde ik in plaats daarvan het gemakkelijke. Het meten van gebruik beloonde precies het gedrag dat de chaos veroorzaakte: mensen leunden meer en sneller op de tool, met minder kritisch onderzoek.
Nu zou ik verificatie en herstelwerk meten, en ik zou nooit meer toestaan dat een gebruiksgrafiek als vervanging dient voor beter werk.
Waarom CTO's elke AI-beslissing aan bedrijfsgetallen moeten koppelen
Dit is mijn advies:
- Begin met governance. Het is niet spannend en het zal de FOMO-menigte niet opwinden zoals de nieuwste frontiermodellen, maar het is absoluut noodzakelijk. Beheers het volledige toepassingsgebied voordat je het uitrolt en opschaalt. De meeste ernstige problemen die ik heb gezien, kwamen van CTO's die AI inzetten voor snelheid en pas achteraf governance opstelden. Draai die volgorde om.
- Stop met volwassenheid kopen en begin met verifieerbare capaciteit kopen. De helft van de AI in presentaties van leveranciers is een API met een schil eromheen, verkocht als eigen deskundigheid. Laat elke leverancier laten zien dat het werkt op een probleem buiten de demo, en laat je eigen teams hetzelfde doen.
- Bescherm de mensen die al weten hoe het moet. Hefboomwerking bestaat alleen in de handen van iemand die kan zien wanneer het model het bij het verkeerde eind heeft. Investeer in dat beoordelingsvermogen, meet het en weiger promptvaardigheid ervoor in de plaats te laten komen in je organigram.
- Koppel elke AI-beslissing aan een getal dat het bedrijf al belangrijk vindt. Bescherm de omzet, beprijs het risico en geef uren terug aan mensen die werk doen dat ertoe doet. CTO's die AI als een technologie-initiatief presenteren, zullen elk kwartaal om budget moeten vechten. Wie het als marge en risico presenteert, zal om hun mening worden gevraagd in kamers waar vroeger beslissingen zonder hen werden genomen. Het technische argument overtuigt een bestuurder zelden; P&L-rekenwerk doet dat wel.
- Oefen discipline. Zet AI in waar een persoon nog steeds verantwoordelijk is voor het resultaat, houd het weg van de positie waar het resultaat geen fouten verdraagt en controleer wat het terzijde schuift, niet alleen wat het escaleert. De markt beloont snelheid momenteel en zal de komende jaren teams opnieuw waarderen die welbespraaktheid voor deskundigheid aanzagen. Bouw zo dat jij niet tot die teams behoort.
Dit is mijn advies: begin met governance. Het is niet spannend en het zal de FOMO-menigte niet opwinden zoals de nieuwste frontiermodellen, maar het is absoluut noodzakelijk. Stop met volwassenheid kopen en begin met verifieerbare capaciteit kopen. Bescherm de mensen die al weten hoe het moet. Koppel elke AI-beslissing aan een getal dat het bedrijf al belangrijk vindt. Oefen discipline.
Volg ons
Je kunt het werk van Chris Garrett op LinkedIn volgen. Bekijk ook zijn nieuwste boek, Schalen of verkopen.
Er volgen meer interviews met experts bij The CTO Club!
