KI-inferens: Hvorfor dataplattformen din trenger en oppgradering

Inntil nylig har de fleste AI-overskriftene dreid seg om konkurransen om å utvikle og forbedre LLM-er og andre AI-modeller, samt NVIDIAs fremvekst som den foretrukne AI-prosessoren. Etter hvert som AI-bransjen modnes, to år etter lanseringen av ChatGPT, ser vi nå at fokuset dreier mer mot det endelige målet: å ta AI i bruk – eller inferens. De fleste IT-organisasjoner i virksomheter må bygge om datahåndteringen sin for å sikre riktig datastyring av AI-inferens.

La oss se nærmere på hvorfor.

Forretningsverdien av AI-inferens

AI-inferens er ikke det samme i alle sammenhenger. Selv om enkelte oppgaver, som å skrive innhold til sosiale medier, kan utføres ganske enkelt ved å åpne favorittapplikasjonen din for generativ AI og skrive inn en ledetekst, ligger den største verdien for virksomheter i å utnytte interne data for å tilpasse resultater til virksomhetens og kundenes behov. Du kan se forretningsverdien av AI med virksomhetsdata.

Det kan for eksempel være å analysere chatlogger for å kartlegge kunders følelser og tilfredshetstrender, eller å legge inn kliniske notater fra pasientmøter på sykehus for å oppsummere tilfeller og avdekke trender innen behandling og forebygging av sykdommer.

Hvorfor AI-inferens krever en ny dataarkitektur

AI-inferens ser ut til å bli et enormt marked med omfattende konsekvenser for IT-infrastrukturen. «Flere kilder, inkludert selskaper i teknologisektoren som Amazon og NVIDIA, anslår at inferens kan overstige kostnadene ved trening i utbredte systemer, og at inferens står for opptil 90 % av maskinlæringskostnadene for distribuerte AI-systemer», ifølge forskere publisert i Science Direct.

Med så mye tid, kostnader og energi investert i AI-inferens vil IT-ledere ønske å se nærmere på den underliggende teknologistakken – fra dataplattformer til datasenterinfrastruktur, enten den er lokal eller skybasert – samt bærbare datamaskiner og telefoner, som vil bli optimalisert for AI-behandling. De må potensielt oppgradere systemene sine for å oppnå effektivitet, ytelse og kostnadsoptimalisering, slik at de er rustet for fremtiden.

En gjennomgang av de nye kravene

Selv om AI-inferens er det neste steget etter modellutvikling, er kravene til AI-inferens såpass annerledes at det kreves et nytt dataparadigme – spesielt for ustrukturerte data:

• Administrere rutinemessig bruk av virksomhetsdata: La oss først se på prosessen på høyt nivå bak AI-inferens, slik den forklares av IBM Research: «Under inferens arbeider en AI-modell med sanntidsdata og sammenligner brukerens forespørsel med informasjon som ble behandlet under treningen og lagret i vektene eller parameterne. Svaret modellen kommer tilbake med, avhenger av oppgaven – enten det gjelder å identifisere søppelpost, konvertere tale til tekst eller trekke ut de viktigste poengene fra et langt dokument. Målet med AI-inferens er å beregne og levere et resultat som kan settes ut i handling.»  Med andre ord krever AI-inferens og bruken av den at organisasjoner supplerer det modellen er trent på, med relevante virksomhetsdata. 
• Må være enkelt for alle ansatte, ikke bare dataforskere: Mens modellutvikling er et høyt spesialisert AI-marked for dataforskere, retter AI-inferens seg mot alle brukere og må derfor være enkel å bruke og ta i bruk. Hvordan kan du gjøre det enkelt for ansatte å finne og tilføre de riktige virksomhetsdataene til den korrekte AI-prosessen? Hvordan kan du sørge for at dataarbeidsflyten blir dokumentert for revisjoner? Opplæring av AI-modeller er som å bygge et kraftverk; svært få har den spesialiserte kompetansen og ressursene som kreves for å bygge AI-modeller. Men AI-inferens bør være like enkelt som å forbruke elektrisitet. Alle bør kunne slå strømmen av eller på etter behov.  
• Trenger å søke i og tilføre ustrukturerte data til AI: I dag, med AI og ML, handler alt om de ustrukturerte dataene – millioner eller milliarder av filer, som dokumenter, meldinger, bilder, videoer og maskindata, spredt på kataloger og delte områder i virksomheten. På grunn av den store mengden og spredningen på tvers av mange datasiloer i virksomheten er det ikke gjennomførbart å flytte dem til ett system, både kostnadsmessig og med tanke på tiden det ville ta. Brukerne er avhengige av mange AI-verktøy i stedet for et enormt datavarehus. 
• Det fungerer ikke lenger å flytte data først: Siden ustrukturerte data lett kan utgjøre petabyte og er kostbare å flytte, fungerer ikke lenger det tradisjonelle paradigmet for å hente ut, transformere og laste inn (ETL), der data først flyttes til en datasjø eller et datasjøhus, og deretter behandles der. IT-team trenger en måte å få systematisk tilgang til og administrere ustrukturerte data på uten å flytte dem til ett sted. De trenger også automatiserte verktøy for å klargjøre dataene – fra å filtrere bort overflødig innhold, tilføre kontekst og struktur gjennom berikelse med metadata, til å opprette sikre arbeidsflyter for å finne og flytte de riktige datasettene til de riktige verktøyene. En enhetlig global indeks gir et fornuftig utgangspunkt for å oppnå datasynlighet og raskt søk på tvers av hybride datamiljøer. 
• Automatisert datastyring: I tillegg blir styring av AI-data en avgjørende funksjon innen dataadministrasjon. For å unngå lekkasje av sensitive data til AI-verktøy, feilaktige resultater, hallusinasjoner og søksmål på grunn av brudd på opphavsretten, trenger organisasjoner metoder for å overvåke og spore dataflytting inn i AI-verktøy. De trenger automatiserte metoder for å lokalisere sensitive data, som PII, og flytte dem til steder der ansatte ikke kan få tilgang til dem for bruk i AI. Ved å automatisere arbeidsflytene for brukernes tilgang til AI kan du sørge for at automatiseringen sporer og administrerer datastyringen.
• En ny dataadministrasjonsmodell for AI: Det fremvoksende «databaselaget» for ustrukturerte data er virtuelt og lagrer faktisk ikke alle dataene. Vi vil se at det utvikler seg til å omfatte funksjonene ovenfor og mer. Det må fungere på tvers av alle lagringsteknologier og -miljøer – fra datasenteret via ytterkanten til skyen – og fungere effektivt under den tunge belastningen fra petabyte med fil- og objektdata.

Viktige spørsmål som bør stilles før innføring

Før man investerer i ny teknologi for AI, må interessentene samles for å fastsette de viktigste målene og begrensningene de ser for seg for å håndtere risiko. Her er noen spørsmål man bør vurdere:

1. Hvilke avdelinger og/eller bruksområder vil gi raske gevinster og læringsmuligheter med lavest risiko?
2. Hva er de viktigste langsiktige målene og forventede resultatene ved bruk av AI, særlig ved bruk av virksomhetsdata med AI?
3. Hvordan ønsker de at brukerne skal kunne samhandle med AI-systemer? Vil det være bestemte AI-verktøy som er godkjent for bruk, eller kan brukerne bestemme selv? 
4. Hvilke interne retningslinjer vil være nødvendige for bruk av AI, og hvordan skal de håndheves? En organisasjon kan for eksempel ønske å bestemme hvilke AI-verktøy som kan brukes på arbeidsplassen, og/eller hvilke typer data som kan mates inn i systemene. Den kan for eksempel ønske å begrense bruk av møtenotater fra styremøter, forsknings- og utviklingsmøter eller samtaler med de viktigste kundene.
5. Hvilke bransjeregler må følges når virksomhetsdata brukes med AI?
6. Hvordan skal resultater eller avledede verk fra AI vurderes med hensyn til nøyaktighet og legitimitet?
7. Hvordan kan avledede verk utnyttes internt eller eksternt?
8. Hvilket rammeverk for AI-styring og sikkerhet vil være nødvendig, og hvilke mangler i den teknologiske sikkerhetsinfrastrukturen må fylles? 
9. Hvilke systemer kan kjøres i skyen, og hvilke bør forbli lokalt?
10. Hvordan skal brukerne søke etter, finne og tilføre virksomhetsdata til AI?
11. Hvordan lagres resultatet fra AI?

Ved riktig bruk kan AI-inferens hjelpe organisasjoner med å oppnå et betydelig konkurransefortrinn. Det kan imidlertid også skape datarisiko, ettersom virksomhetsdata må eksponeres. AI-inferens krever en ny dataarkitektur fordi den tradisjonelle modellen med å laste data inn i et datavarehus eller en datasjø og behandle dem på ett sted, ikke lenger fungerer. AI-inferens krever effektiv indeksering, søk, kuratering og mobilisering av ustrukturerte data til AI, med automatisert revisjon og sporing.

Abonner på nyhetsbrevet til The CTO Club for flere datainnsikter og beste praksis.