Å avdekke KI-teknologiens skjulte utfordring: Teknisk gjeld – et intervju med Tony Lee

Teknisk gjeld viser til konseptet innen programvareutvikling der det å ta snarveier, velge enkle eller raske løsninger eller benytte mindre optimale utviklingsmetoder på kort sikt kan føre til merarbeid, komplikasjoner og kostnader på lang sikt. Denne metaforiske «gjelden» akkumuleres når et prosjekt prioriterer rask levering fremfor perfekt kode. 

Ifølge en nylig undersøkelse utført av CompTIA blant hundrevis av IT-fagfolk utgjør teknisk gjeld en utfordring for 74 % av organisasjonene. Bemerkelsesverdig nok anser 42 % av disse organisasjonene det som en betydelig hindring. 

CTO i Hyperscience, Tony Lee, hevder at teknisk gjeld ikke bare er et biprodukt; det er en avgjørende kraft som kan avgjøre fremtiden for KI-innovasjoner. Å ignorere den er som å bygge på et fundament av sand – usikkert og uholdbart. 

Hvilke andre tanker har Tony om teknisk gjeld og dens innvirkning på kunstig intelligens? I et nylig intervju delte han råd om hvordan man håndterer teknisk gjeld og sørger for at KI-løsninger forblir skalerbare og vedlikeholdbare på lang sikt.

1. Hva er «teknisk gjeld» i forbindelse med den raske innføringen av KI, og hvorfor er det en betydelig bekymring for organisasjoner som satser på KI?

Innen programvare viser teknisk gjeld vanligvis til en gjeld som akkumuleres etter hvert som programvaren eldes, i praksis fra det øyeblikket den skrives. Dette skyldes at man ikke forutser fremtidige behov eller tar bevisste kortsiktige beslutninger for å levere raskere.

Selv om teknisk gjeld ikke nødvendigvis er negativt, ettersom distribuert kode ofte er mer verdifull enn perfekt kode som aldri blir tatt i bruk, krever den nøye håndtering. Hvis den forsømmes, kan den bremse fremtidig utviklingsarbeid og føre til uhåndterlig kode, noe som potensielt kan forårsake driftsavbrudd eller feil som påvirker kundene negativt.

I KI-sammenheng er modellforvitring et viktig uttrykk for teknisk gjeld. Dette fenomenet oppstår når det nåværende miljøet avviker betydelig fra miljøet KI-modellen opprinnelig ble trent i.

Selv om det finnes ulike typer modellforvitring, er et nylig og enkelt eksempel virkningen covid-19-pandemien hadde på globale trafikkmønstre. Modeller som ble utviklet for å forutsi trafikkflyt før pandemien, ville gitt svært unøyaktige prognoser under nedstengningene. Andre former for modellforvitring er langt mer nyanserte. De kan føre til en langsom forringelse av resultatene over tid og gradvis svekke modellens nøyaktighet på måter som kanskje ikke er umiddelbart synlige for brukerne. 

Et annet aspekt ved teknisk gjeld i maskinlæringssystemer (ML) oppstår når man overser integreringen av kontinuerlig kvalitetsovervåking og muligheter for ny trening. Det er fristende å gjennomføre innledende nøyaktighetstester når et ML-system tas i bruk, og deretter feire resultatene. Denne tilnærmingen kan imidlertid være problematisk hvis systemet får operere uten løpende oppfølging, noe som kan føre til en gradvis og ubemerket nedgang i ytelsen på grunn av manglende innebygde mekanismer for observerbarhet og vedlikehold.

Med den eksplosive interessen for og investeringen i generativ KI er det en risiko for at enkelte organisasjoner forhastet investerer i kostbare løsninger uten grundig evaluering, noe som potensielt kan føre til uforutsett modellforvitring.

Et blikk fremover

“Når CTO-er legger strategier for 2024, er det avgjørende å prioritere dette problemet. Fraværet av regler som pålegger leverandører å opplyse om treningsdataene sine eller følge bestemte standarder, gjør saken enda mer komplisert. Beslutningstakere må derfor forstå hvilke spørsmål de bør stille, kjenne igjen tegn på unøyaktige modeller og skille mellom investeringer som kan vise seg å bli uforholdsmessig kostbare på lang sikt.”

2. Hvordan kan KI på den annen side bidra til å identifisere eller håndtere eksisterende teknisk gjeld?

Generative KI-modeller kan motvirke teknisk gjeld i programvare ved å overvåke og flagge hvor kode kan trenge oppdateringer – og til og med utføre oppdateringene autonomt. Selv om menneskelig tilsyn fortsatt er uunnværlig, vil bruken av generativ KI redusere tiden som kreves for å håndtere teknisk gjeld ved å overta enkle, men viktige oppgaver, som datahåndtering. 

3. Hvordan vurderer og håndterer dere teknisk gjeld i KI-prosjektene deres?

Vi har integrert kvalitetssikring av maskinlæring (ML QA) og funksjoner for ny trening direkte i plattformen vår for å håndtere teknisk gjeld innen KI på en effektiv måte. Det er viktig å sikre åpenhet rundt systemets nøyaktighet og automatiseringseffektivitet over tid.

Denne tilnærmingen gjør det mulig for teamet mitt å gjennomføre kontinuerlig ML-kvalitetssikring og omskolere modellen på plattformen etter behov.

Implementer kontinuerlig overvåking og kvalitetssikringsprosesser for å oppdage og proaktivt redusere eventuell ny teknisk gjeld.

For ML QA tar vi stikkprøver av modellresultatene og oppretter kvalitetssikringsoppgaver, slik at brukerne kan validere resultatene gjennom en konsensusmekanisme. Hvis det identifiseres feil, føres denne innsikten tilbake til treningssettet, noe som forbedrer modellens nøyaktighet og pålitelighet.

4. Hvordan kan organisasjoner balansere behovet for rask markedsintroduksjon med den potensielle risikoen for å opparbeide teknisk gjeld i AI-løsninger?

Organisasjoner bør trygt ta i bruk nye AI-fremskritt i løsningene sine og finne en balanse mellom en rask markedsintroduksjon og effektiv risikohåndtering. Ved å innarbeide datavedlikehold og regelmessig overvåking gjennom hele produktets livssyklus kan man redusere risikoen for å opparbeide teknisk gjeld og oppleve modellavvik betydelig. Investeringer i AI kan til tider innebære risiko, men bør innlemmes i teknologistakker og kan føre til gevinster innen innovasjon og produktivitet. Slike investeringer bør imidlertid gjøres etter grundige vurderinger og på en ansvarlig måte for å sikre best mulige resultater.

5. Hvordan sikrer dere at AI-løsningene forblir skalerbare og vedlikeholdbare på lang sikt, tatt i betraktning muligheten for teknisk gjeld?

For å sikre at en løsning forblir skalerbar og vedlikeholdbar, kreves det kontinuerlig vedlikehold fra teamet. For å unngå en kostbar totaloverhaling bør organisasjoner opprette en prosess med en jevn frekvens for vedlikehold av treningsdata, slik at modellens nøyaktighet kan følges opp. Det vil være avgjørende å beholde menneskelig kontroll som en viktig del av enhver AI- og forretningsstrategi for å unngå modellavvik og dermed mer teknisk gjeld.

6. Hvordan tar dere hensyn til kostnadene ved å håndtere teknisk gjeld når dere budsjetterer for AI-prosjekter?

Nøkkelen er å begynne med en grundig forståelse av de spesifikke behovene og begrensningene i bruksområdet, samt den potensielle påvirkningen fra teknisk ML-gjeld.

• I applikasjoner som ML-basert transkripsjon av trykt tekst kan man komme frem til at sannsynligheten for modellavvik er relativt lav. I slike tilfeller kan det være tilstrekkelig å basere seg på sporadiske manuelle kvalitetskontroller uten hyppig ML-kvalitetssikring (QA) eller omskolering.
• Bruk av ML-modeller til å ta avgjørelser som er kritiske for oppdraget, for eksempel avlesning av røntgenbilder som grunnlag for medisinsk behandling, krever en omfattende ML QA-prosess med menneskebaserte kvalitetskontroller og omskolering etter behov.

Jeg anbefaler å begynne med behovene i bruksområdet, definere kravene og deretter velge programvareløsningen som samsvarer med disse kravene, for å sikre riktig balanse mellom effektivitet, nøyaktighet og sikkerhet.

7. Hvordan skiller den tekniske gjelden i AI seg fra den i tradisjonell programvareutvikling, og hvordan tilpasser dere dere til disse forskjellene? 

Som en videreføring av den tidligere diskusjonen kommer teknisk gjeld i AI-systemer først og fremst til uttrykk som modellavvik. Dette oppstår når treningsdatasettene modellene lærer fra, inneholder skjev eller unøyaktig informasjon, noe som skaper uønskede resultater.

I motsetning til tradisjonell teknisk gjeld, som først og fremst påvirker systemets hastighet og pålitelighet, kan modellavvik få mer alvorlige konsekvenser, særlig hvis ekstreme skjevheter i treningsdataene ikke håndteres. Dette krever at organisasjoner har en annen tilnærming enn ved tradisjonell teknisk gjeld, ettersom det krever strengere oppmerksomhet på de nyeste forskriftene og grundigere kontroll av datakvaliteten. 

Å ta i bruk strategier for å motvirke modellavvik innebærer en tankegang som ligner på tilnærmingen til tradisjonell teknisk gjeld.

Et praktisk tiltak er å sette av en del av teamets arbeidsuke – kanskje 20 % – til å fokusere på datahygiene og redusere risikoen for modellavvik betydelig.

Ved å prioritere datavedlikehold og sette av tid til dette arbeidet reduseres sannsynligheten betydelig for at AI-modeller genererer feilaktige resultater.

8. Hvordan ser dere for dere at forholdet mellom utrulling av AI og teknisk gjeld vil utvikle seg i fremtiden?

Den siste utviklingen innen generative AI-løsninger er bare begynnelsen på forholdet vårt til teknologien. Ettersom den raske utviklingen forventes å fortsette, kan teknologibransjen forvente å arbeide med bedre datasett for å trene modellene sine.

Etter hvert som systemene blir mer komplekse og mer data blir tilgjengelig for trening, vil risikoen for teknisk gjeld reduseres, fordi maskinene produserer nøyaktige og skalerbare resultater. 

I tillegg vil en utvikling mot større selvregulering av maskiner, under en viss grad av menneskelig tilsyn, sannsynligvis finne sted etter hvert som generative AI-verktøy og plattformer stadig forbedrer kodeegenskapene sine. Menneskelig inngripen vil fortsatt være nødvendig for å verifisere treningsdata og kode. Det forventes imidlertid at man i større grad vil basere seg på maskinenes autonomi for rutinemessige kontroller.

Denne utviklingen vil føre til kostnadsreduksjoner ettersom organisasjoner i økende grad benytter banebrytende AI for å redusere teknisk gjeld. For å oppnå dette er man avhengig av et mangfoldig utvalg av data, hvorav mye ennå ikke er bredt tilgjengelig.

Å balansere kortsiktige gevinster med langsiktige kostnader

Akkurat som finansiell gjeld påløper teknisk gjeld «renter» over tid — hvis den ikke håndteres, kan den føre til økte vedlikeholdsutfordringer, redusert kodekvalitet og mer komplekse oppgraderinger eller feilrettinger i fremtiden. Konseptet fremhever avveiningen mellom kortsiktige fordeler og langsiktige kostnader ved utvikling og vedlikehold av programvare.

Vil du vite mer?

Hvis du er interessert i å lære mer om teknisk gjeld og fremtiden til kunstig intelligens, abonner på nyhetsbrevet vårt for de nyeste teknologiske innsiktene. 

Vi hjelper deg med å skalere smartere og lede sterkere gjennom veiledninger, AI-ressurser og strategier fra ledende eksperter!