Mange tekniske beslutninger inngår i støtten av AI – fra hvilke LLM-er som skal brukes, hvor de skal distribueres, hvilken infrastruktur som kreves, og hvordan ansatte skal læres opp. Nylig undersøkte vi IT-beslutningstakere i amerikanske virksomheter, og nesten halvparten (44 %) sa at oppretting av AI-klar datainfrastruktur er dagens høyeste prioritet. IT-organisasjoner spesialtrener også eksisterende modeller (37 %), bruker skytjenester til AI (32 %), bygger egne læringsmodeller (32 %), lar ansatte bruke kommersielt tilgjengelige AI-modeller (29 %) og lærer opp ansatte (33 %).
I denne artikkelen skal jeg se nærmere på disse ulike områdene og presentere noen vurderinger for virksomheter som bygger sin såkalte AI-klare infrastruktur. Som alltid spiller budsjettet en stor rolle i beslutninger om AI-teknologi, men det gjør også sikkerhet, etterlevelse av styringskrav og tilgjengeligheten av IT-medarbeidere med de riktige ferdighetene innen AI og ML.
Oppretting av AI-klar datainfrastruktur
Å starte et AI-initiativ i virksomheten kan kreve modellutvikling og opplæring hvis du trenger å bygge din egen generative AI-modell. Dette begynner vanligvis med å skaffe tilstrekkelige databehandlingsressurser med høy ytelse – de kostbare CPU-ene, GPU-ene og TPU-ene som kreves for å være vert for maskinlæringsmodeller og behandle data i svært høy hastighet. Selv om ferdig konfigurert infrastruktur, offentlige modeller og skytjenester gir fordeler når det gjelder kostnader og brukervennlighet, må IT-organisasjoner også veie fordelene ved å holde AI internt for å få bedre kontroll, eller i stedet etablere en hybridmodell som gir riktige nivåer av datastyring, åpenhet og sikkerhet.
Gjennomsnittskostnaden for en AI-server er 32 000 dollar. «Gartner-analytikeren John-David Lovelock påpeker at et rack med AI-servere vil koste over 1 million dollar.» Flashbaserte lagringsteknologier som er utviklet for AI, kan også øke kostnadene. I tillegg kommer støtte og vedlikehold av alt dette utstyret, noe som krever heltidsansatte innen IT og et toppmoderne datasenter.
Have an account? Log In
Bruk av virksomhetsdata med AI
Uansett om du bygger din egen modell fra grunnen av eller, mer sannsynlig, finjusterer og bruker ferdigbygde modeller, trenger du datahåndtering for å gjøre de riktige ustrukturerte dataene tilgjengelige for AI. Håndtering av ustrukturerte data automatiserer AI-dataarbeidsflyter og styrer virksomhetens dataforvaltning, spesielt når det gjelder sensitive data.
Ustrukturerte data, som ifølge IDC utgjør 90 % av alle data, er vanligvis spredt over mange siloer, og det er en del av datahåndteringens rolle: å legge til rette for rask søking, merking og tilførsel av de riktige dataene til AI-modeller.
Skytjenester for AI
De største skyleverandørene har bygget komplette tjenester for å støtte AI for organisasjoner som ikke kan eller ønsker å håndtere teknologien internt. Komponentene omfatter raske lagrings- og databehandlingsressurser samt maskinlæring, GenAI og utviklingsverktøy. Selv om skybasert AI har klare kostnadsfordeler – du trenger ikke kjøpe servere eller lagring eller betale for den økte energibruken, som vil øke datasenterets fotavtrykk – kan du enkelt overprovisjonere og bruke for mye penger i skyen. Det finnes også et kompetansegap innen skyteknologi.
En AI-strategi i skyen kan være både vellykket og kostnadseffektiv hvis du kan håndtere data på riktig måte. Hvis du for eksempel kopierer petabyte med ustrukturerte data til skyen og deretter prøver å finne ut hvilke data som er nyttige for AI, vil regningen raskt bli svært høy.
Du bør også unngå å mate en AI-applikasjon uten først å rydde opp i datarotet: De fleste organisasjoner har store mengder dupliserte, utdaterte eller zombiedata som bør slettes. Sørg for at dataene dine er i god stand – klassifisert og organisert – før du flytter dem, og flytt bare data du vet faller innenfor prosjektets rammer. Det er også lurt å vurdere utfordringer knyttet til dataforvaltning i skyen.
Velg brukstilfeller med forutsigbar ROI, og sørg for at du kan måle resultatene senere. Krav til sikkerhet og etterlevelse kan utelukke muligheten for å være vert for AI i skyen. Som et minimum er det avgjørende å forstå risikoene ved dataene dine i enhver AI-tjeneste og vite hvordan prosjekter skal revideres med hensyn til datarisiko, før du starter et prosjekt.
Beslutninger om maskinlæringsmodeller
Populære maskinlæringsmodeller som GPT, Claude, Gemini, TensorFlow og PyTorch er avhengige av enorme offentlige datasett for opplæring. For å gjøre AI nyttig og troverdig i virksomhetsprosjekter som har som mål å forbedre driften, forskning og utvikling eller kunderelasjoner, ønsker du imidlertid å lære opp en modell med dine egne proprietære data og holde den privat.
Opplæring og/eller utvikling av en modell krever ferdigheter hos spesialiserte dataforskere som forstår de viktigste programmeringsspråkene, som Python og R, modellering og analyse av stordata, kunnskap om maskinlæringsmodeller samt sikkerhet og nettskyberegning.
Et ambisiøst og godt finansiert analyse- og datavitenskapsteam kan til og med velge å utvikle en modell fra grunnen av. Dette kan skyldes et ønske om full kontroll over arkitektur og sikkerhet og/eller behovet for å støtte et svært sensitivt og konkurranseutsatt prosjekt. Selv om det finnes fellesskap som Hugging Face og OpenAI, som hjelper med å velge komponenter og samarbeide med andre, er dette en svært omfattende oppgave. Den innebærer å rense og klargjøre data, velge og trene algoritmer og finjustere modellen for nøyaktighet og pålitelighet. Dere må anskaffe ikke bare infrastrukturen, men også et team av ingeniører som kan utføre arbeidet.
På grunn av ressursbegrensningene i de fleste organisasjoner er bruk av forhåndstrente proprietære ML-modeller eller åpen kildekode-modeller med bedriftsdata sannsynligvis den vanligste veien til AI. AI-inferens er et langt større og bredere marked enn AI-trening. Derfor investerer IT-organisasjoner i økende grad i å skape den nødvendige datainfrastrukturen for å finne, kuratere, revidere og mate bedriftsdata inn i AI, samtidig som datastyringen opprettholdes.
More Articles
Fremveksten av ferdige AI-verktøy
Komprise-undersøkelsen viste at bare 30 % av organisasjonene har satt av et budsjett til AI, noe som innebærer at 70 % fortsatt eksperimenterer med og undersøker teknologien. I dag betyr det sannsynligvis bruk av rimelige applikasjoner som OpenAI ChatGPT, Anthropic Claude, Microsoft Copilot eller Google Gemini. Ansatte på tvers av avdelinger bruker disse verktøyene til å besvare spørsmål, skrive tekst, lage grafikk og bilder eller skrive programvarekode – med lynrask hastighet og gode nok resultater.
Det som mangler, er standarder og allment anerkjent beste praksis. Hvilke prosjekter er trygge og hensiktsmessige for GenAI? Hvilke data bør brukes, og hvilke bør beskyttes mot å bli tatt inn? Hvordan bør arbeider som er laget med GenAI, evalueres med hensyn til nøyaktighet og legitimitet? Hva skjer hvis IP eller kundedata lekker inn i en LLM for generell bruk? Hvordan kan en virksomhet beskytte seg mot søksmål om opphavsrett eller ærekrenkelse basert på arbeid produsert med GenAI?
Begynn med å forstå datalandskapet deres når det gjelder dataegenskaper og mengden sensitive data, for eksempel PII og IP. Denne analysen vil hjelpe organisasjonen med å utarbeide retningslinjer for bruk av GenAI som regulerer data og bruksområder. Dere trenger et verktøy for å overvåke etterlevelse og undersøke problemer som oppstår ved bruk av GenAI, når og hvis de oppstår.
Kan dere spore hvilke data som er sendt inn i AI-verktøyet, og hvilke brukere eller avdelinger som har sendt dem? Kan dere finne og flytte sensitive data ut av kataloger der de kan oppdages og hentes inn i et AI-verktøy? Enkelte løsninger for håndtering av ustrukturerte data tilbyr denne funksjonaliteten; styring av AI-data er et område med økende etterspørsel for å forhindre negative konsekvenser av AI som kan skade kundenes tillit, lojalitet og troverdighet i markedet.
Behovet for GenAI-styring
Med tanke på de generelle bekymringene i markedet rundt AI, den kjente evnen teknologien har til å skape falske resultater og skadelige hallusinasjoner, risikoen for at bedriftsdata lekker inn i LLM-er for generell bruk, samt kostnadene ved å utvikle og implementere AI-teknologier, vil IT-ledere ønske en vanntett plan og prosess for å evaluere og ta i bruk AI-teknologistakken.
Vil du ha mer innsikt i AI? Abonner på nyhetsbrevet til The CTO Club for tips og verktøy rett i innboksen!
