AI-inferens: Hvorfor din dataplatform har brug for en fornyelse

Indtil for nylig har de fleste AI-overskrifter drejet sig om den konkurrenceprægede kapløb om at udvikle og forbedre LLM'er og andre AI-modeller samt NVIDIA's fremgang som det foretrukne AI-processormærke. Efterhånden som AI-branchen modnes to år efter lanceringen af ChatGPT, ser vi nu et skifte, hvor fokus i højere grad rettes mod det endelige mål: at tage AI i brug – eller inferens. De fleste IT-organisationer i virksomheder skal gentænke deres datastyring for at sikre ordentlig datastyring af AI-inferens.

Lad os se nærmere på hvorfor.

Forretningsværdien af AI-inferens

AI-inferens er ikke det samme i alle tilfælde. Mens nogle opgaver, såsom at skrive tekst til sociale medier, ganske enkelt kan løses ved at åbne din foretrukne generative AI-applikation og indtaste en prompt, ligger den største værdi for virksomheder i at udnytte interne data til at tilpasse resultaterne til virksomhedens og kundernes behov. Du kan se forretningsværdien af AI med virksomhedsdata.

Det kan for eksempel være at analysere chatoptegnelser for kundernes følelser og tilfredshedstendenser eller at indtaste kliniske notater fra hospitalsmøder med patienter for at opsummere sager og afdække tendenser inden for behandling og forebyggelse af sygdomme.

Hvorfor AI-inferens kræver en ny dataarkitektur

AI-inferens tegner til at blive et enormt marked med omfattende konsekvenser for IT-infrastrukturen. "Flere kilder, herunder virksomheder i teknologisektoren som Amazon eller NVIDIA, vurderer, at inferens kan overstige omkostningerne ved træning i udbredte systemer, og at inferens udgør op til 90 % af maskinlæringsomkostningerne for implementerede AI-systemer," ifølge forskere, der er offentliggjort i Science Direct.

Med så meget tid, så mange omkostninger og så meget energi investeret i AI-inferens vil IT-ledere ønske at se nærmere på deres understøttende teknologistak – fra dataplatforme til datacenterinfrastruktur, uanset om den er lokal eller i skyen – samt bærbare computere og telefoner, som vil blive optimeret til AI-behandling. De kan få behov for at opgradere deres systemer med henblik på effektivitet, ydeevne og omkostningsoptimering, så de er klar til fremtiden.

De nye krav gennemgået

Selvom AI-inferens er det næste skridt efter modeludvikling, er kravene til AI-inferens så tilpas anderledes, at det kræver et nyt dataparadigme – især for ustrukturerede data:

• Håndtering af rutinemæssig brug af virksomhedsdata: Først ser vi på den overordnede proces bag AI-inferens, som forklaret af IBM Research: "Under inferens arbejder en AI-model med data i realtid og sammenligner brugerens forespørgsel med oplysninger, der er behandlet under træningen og gemt i dens vægte eller parametre. Det svar, modellen kommer tilbage med, afhænger af opgaven, hvad enten det drejer sig om at identificere spam, konvertere tale til tekst eller sammenfatte et langt dokument til de vigtigste pointer. Målet med AI-inferens er at beregne og levere et resultat, der kan omsættes til handling."  Med andre ord kræver AI-inferens og brugen heraf, at organisationer supplerer det, modellen er blevet trænet på, med relevante virksomhedsdata. 
• Skal være nemt for alle medarbejdere, ikke kun dataforskere: Mens modeludvikling er et højt specialiseret AI-marked for dataforskere, henvender AI-inferens sig til alle brugere og skal derfor være nemt at bruge og implementere. Hvordan kan du gøre det nemt for medarbejdere at finde og tilføre de korrekte virksomhedsdata til den rette AI-proces? Hvordan kan du sikre, at dataarbejdsgangen registreres med henblik på revision? Træning af AI-modeller er som at bygge et kraftværk; meget få har den specialiserede ekspertise og de ressourcer, der kræves for at bygge AI-modeller. Men AI-inferens bør være lige så nemt som at forbruge elektricitet. Alle bør kunne tænde eller slukke for kontakten efter behov.  
• Behov for at søge i og tilføre ustrukturerede data til AI: I dag handler AI og ML i høj grad om ustrukturerede data – millioner eller milliarder af filer såsom dokumenter, beskeder, billeder, videoer og maskindata, der er spredt på tværs af mapper og delte placeringer i virksomheden. På grund af den store mængde og fordelingen på tværs af mange datasiloer i virksomheden er det ikke rentabelt at flytte dem til ét system, hverken økonomisk eller tidsmæssigt. Brugere er afhængige af mange AI-værktøjer frem for et gigantisk datalager. 
• Det fungerer ikke længere at flytte data først: Da ustrukturerede data nemt kan fylde petabytes og er dyre at flytte, fungerer det traditionelle paradigme for udtræk, transformation og indlæsning (ETL), hvor data først flyttes til en datasø eller et datasøhus og derefter behandles, ikke længere. IT-teams har brug for en måde systematisk at tilgå og administrere ustrukturerede data på uden at flytte dem til ét sted. De har også brug for automatiserede værktøjer til at klargøre deres data – fra at filtrere overflødige data fra, tilføje kontekst og struktur via berigelse med metadata samt oprette sikre arbejdsgange til at finde og flytte de rigtige datasæt til de rigtige værktøjer. Et samlet globalt indeks er et fornuftigt udgangspunkt for at opnå datasynlighed og hurtig søgning på tværs af hybride datamiljøer. 
• Automatiseret datastyring: Derudover er styring af AI-data ved at blive en afgørende funktion inden for dataadministration. For at undgå lækage af følsomme data til AI-værktøjer, fejlagtige resultater, hallucinationer og retssager som følge af krænkelse af ophavsret får organisationer brug for metoder til at overvåge og spore data, der flyttes til AI-værktøjer. De har brug for automatiserede metoder til at lokalisere følsomme data såsom personhenførbare oplysninger og flytte dem til placeringer, hvor medarbejdere ikke kan få adgang til dem med henblik på AI. Ved at automatisere arbejdsgangene, som brugere anvender til at få adgang til AI, kan du sikre, at automatiseringen sporer og administrerer datastyringen.
• En ny datamodel til AI: Det fremvoksende "database"-lag til ustrukturerede data er virtuelt og gemmer ikke alle dataene rent faktisk. Vi vil se det udvikle sig til at omfatte ovenstående funktioner og mere til. Det skal fungere på tværs af alle lagringsteknologier og miljøer – fra datacentret til kanten og videre til skyen – og fungere effektivt under den enorme belastning fra petabytes af fil- og objektdata.

Kritiske spørgsmål, der skal stilles før implementering

Før man investerer i ny teknologi til AI, skal interessenterne samles for at fastlægge de vigtigste mål og begrænsninger, som de ser for at håndtere risici. Her er nogle spørgsmål, man bør overveje:

1. Hvilke afdelinger og/eller anvendelsesområder vil give hurtige resultater og læringsmuligheder med den laveste risiko?
2. Hvad er de vigtigste langsigtede mål og forventede resultater ved brug af AI, især ved brug af virksomhedsdata sammen med AI?
3. Hvordan ønsker de, at brugerne skal kunne interagere med AI-systemer? Vil der være specifikke AI-værktøjer, som er godkendt til brug, eller kan brugerne selv bestemme? 
4. Hvilke interne politikker vil være nødvendige for brug af AI, og hvordan vil de blive håndhævet? En organisation kan for eksempel ønske at fastlægge, hvilke AI-værktøjer der må bruges på arbejdet, og/eller hvilke typer data der må tilføres systemer. Den kan eksempelvis ønske at begrænse adgangen til referater fra bestyrelsesmøder, F&U-sessioner eller samtaler med de største kunder.
5. Hvilke branchebestemmelser skal følges ved brug af virksomhedsdata sammen med AI?
6. Hvordan vil resultater eller afledte værker fra AI blive vurderet med hensyn til nøjagtighed og legitimitet?
7. Hvordan kan afledte værker udnyttes internt eller eksternt?
8. Hvilken ramme for AI-styring og sikkerhed vil være nødvendig, og hvilke mangler i sikkerhedsteknologiinfrastrukturen skal udfyldes? 
9. Hvilke systemer kan køre i skyen, og hvilke bør forblive lokalt installerede?
10. Hvordan vil brugerne søge efter, finde og tilføre virksomhedsdata til AI?
11. Hvordan gemmes resultatet af AI?

Når AI-inferens anvendes korrekt, kan det hjælpe organisationer med at opnå en betydelig konkurrencefordel. Det kan dog også skabe datarisici, da virksomhedsdata skal eksponeres. AI-inferens kræver en ny dataarkitektur, fordi den traditionelle model, hvor data indlæses i et datavarehus eller en datasø og behandles ét sted, ikke længere fungerer. AI-inferens kræver effektiv indeksering, søgning, kuratering og mobilisering af ustrukturerede data til AI med automatiseret revision og sporing.

Tilmeld dig The CTO Clubs nyhedsbrev for at få flere dataindsigter og bedste praksis.