AI-inferens: Varför din dataplattform behöver en makeover

Det kan till exempel handla om att analysera chattloggar för att identifiera trender inom kundernas känslor och nöjdhet, eller att mata in kliniska anteckningar från patientmöten på sjukhus för att sammanfatta fall och upptäcka trender inom behandling och förebyggande av sjukdomar.

Varför AI-inferens kräver en ny dataarkitektur

AI-inferens håller på att utvecklas till en enorm marknad med omfattande konsekvenser för IT-infrastrukturen. ”Flera källor, däribland företag inom tekniksektorn som Amazon och NVIDIA, uppskattar att inferens kan överstiga kostnaden för träning i utbredda system och att inferens står för upp till 90 % av kostnaderna för maskininlärning i distribuerade AI-system”, enligt forskare som publicerats i Science Direct.

Med så mycket tid, kostnader och energi som investeras i AI-inferens kommer IT-ledare att vilja granska den teknikstack som stöder den – från dataplattformar till datacentersinfrastruktur, oavsett om den finns lokalt eller i molnet – samt bärbara datorer och telefoner, som kommer att optimeras för AI-bearbetning. De kan behöva uppgradera sina system för att förbättra effektivitet och prestanda samt optimera kostnaderna inför framtiden.

De bästa AI-plattformarna!

1. 

   Snowflake Data Cloud

   This rating combines scores from multiple user review sites to reflect overall customer sentiment about the product.

   4.7

   Visit Website
2. 

   Dataiku

   This rating combines scores from multiple user review sites to reflect overall customer sentiment about the product.

   4.6

   Visit Website
3. 

   Gradient Labs

   Visit Website

De nya kraven i detalj

Även om AI-inferens är nästa steg efter modellutvecklingen skiljer sig kraven för AI-inferens tillräckligt mycket för att kräva ett nytt dataparadigm – särskilt för ostrukturerade data:

• Hantera rutinmässig användning av företagsdata: Först ska vi titta på processen på hög nivå bakom AI-inferens, som förklaras av IBM Research: ”Under inferens börjar en AI-modell arbeta med realtidsdata och jämför användarens fråga med information som har bearbetats under träningen och lagrats i dess vikter eller parametrar. Svaret som modellen ger beror på uppgiften, oavsett om det handlar om att identifiera skräppost, omvandla tal till text eller sammanfatta ett långt dokument till de viktigaste slutsatserna. Målet med AI-inferens är att beräkna och generera ett handlingsbart resultat.”  Med andra ord kräver AI-inferens och dess användning att organisationer kompletterar det modellen har tränats på med relevanta företagsdata. 
• Måste vara enkelt för alla medarbetare, inte bara dataforskare: Medan modellutveckling är en högspecialiserad AI-marknad för dataforskare riktar sig AI-inferens till alla användare och måste därför vara enkel att använda och implementera. Hur kan du göra det enkelt för medarbetare att hitta och mata in rätt företagsdata i den korrekta AI-processen? Hur kan du säkerställa att dataarbetsflödet dokumenteras för revisioner? Att träna en AI-modell är som att bygga ett kraftverk; mycket få har den specialiserade kompetens och de resurser som krävs för att bygga AI-modeller. Men AI-inferens bör vara lika enkelt som att förbruka elektricitet. Alla bör kunna slå på eller av strömbrytaren för sina ändamål.  
• Behöver söka efter och mata in ostrukturerade data för AI: I dag, med AI och ML, handlar allt om ostrukturerade data – miljontals eller miljarder filer, såsom dokument, meddelanden, bilder, videor och maskindata, som är spridda över kataloger och delade resurser i företaget. Eftersom datamängden är stor och fördelad över många datasilos i företaget är det inte genomförbart att flytta den till ett system, både ur kostnadssynpunkt och med tanke på den tid det skulle ta. Användare förlitar sig på många AI-verktyg i stället för ett enormt datalager. 
• Att flytta data först fungerar inte längre: Eftersom ostrukturerade data lätt kan uppgå till petabyte och är dyra att flytta fungerar det traditionella paradigmet för extrahering, transformering och inläsning (ETL), där data först flyttas till en datasjö eller ett datalakehouse och därefter bearbetas, inte längre. IT-team behöver ett sätt att systematiskt komma åt och hantera ostrukturerade data utan att flytta dem till en enda plats. De behöver också automatiserade verktyg för att förbereda sina data – från att filtrera bort överflödigt material och lägga till sammanhang och struktur genom berikning med metadata, till att skapa säkra arbetsflöden för att hitta och flytta rätt datauppsättningar till rätt verktyg. Ett enhetligt globalt index ger en förnuftig utgångspunkt för att uppnå datasynlighet och snabb sökning över hybrida datamiljöer. 
• Automatiserad datastyrning: Dessutom håller datastyrning för AI på att bli en avgörande funktion inom datahantering. För att undvika läckage av känsliga data till AI-verktyg, felaktiga resultat, hallucinationer och stämningar på grund av upphovsrättsintrång behöver organisationer kunna övervaka och spåra data som flyttas till AI-verktyg. De behöver automatiserade metoder för att lokalisera känsliga data, såsom personligt identifierbar information (PII), och flytta dem till platser där de inte kan nås av medarbetare för användning i AI. Genom att automatisera arbetsflödena för användares åtkomst till AI kan du säkerställa att automatiseringen spårar och hanterar datastyrningen.
• En ny datahanteringsmodell för AI: Det framväxande ”databaslagret” för ostrukturerade data är virtuellt och lagrar inte faktiskt alla data. Vi kommer att se det utvecklas så att det omfattar ovanstående funktioner och mer därtill. Det måste fungera över alla lagringstekniker och miljöer – från datacentret till kanten och molnet – och fungera effektivt under den stora belastningen av petabyte med fil- och objektdata.

Viktiga frågor att ställa före införandet

Innan man investerar i någon ny teknik för AI måste berörda parter samlas för att fastställa de viktigaste målen och begränsningarna som de ser framför sig för att hantera risker. Här är några frågor att överväga:

1. Vilka avdelningar och/eller användningsfall kommer att ge snabba resultat och lärandemöjligheter med lägst risk?
2. Vilka är de viktigaste långsiktiga målen och förväntade resultaten av att använda AI, särskilt när det gäller att använda företagsdata med AI?
3. Hur vill de att användare ska kunna interagera med AI-system? Kommer det att finnas specifika AI-verktyg som är godkända för användning, eller kan användarna själva bestämma? 
4. Vilka interna policyer krävs för AI-användning, och hur ska de upprätthållas? En organisation kan till exempel vilja bestämma vilka AI-verktyg som får användas på arbetet och/eller vilka typer av data som får matas in i systemen. Den kan exempelvis vilja begränsa mötesanteckningar från ledningsgruppens möten, forsknings- och utvecklingsmöten eller samtal med viktiga kunder.
5. Vilka branschregler måste följas när företagsdata används med AI?
6. Hur ska resultat eller härledda verk från AI bedömas med avseende på korrekthet och legitimitet?
7. Hur kan härledda verk utnyttjas internt eller externt?
8. Vilket ramverk för AI-styrning och säkerhet behövs, och vilka luckor i den tekniska säkerhetsinfrastrukturen behöver fyllas? 
9. Vilka system kan köras i molnet och vilka bör förbli lokala?
10. Hur ska användare söka efter, hitta och mata in företagsdata i AI?
11. Hur bevaras resultatet från AI?

När AI-inferens används korrekt kan den hjälpa organisationer att uppnå betydande konkurrensfördelar. Den kan dock också skapa datarisker, eftersom företagsdata måste exponeras. AI-inferens kräver en ny dataarkitektur eftersom den traditionella modellen, där data läses in i ett datalager eller en datasjö och hanteras på ett ställe, inte längre fungerar. AI-inferens kräver effektiv indexering, sökning, kuratering och överföring av ostrukturerad data till AI, med automatiserad granskning och spårning.

Prenumerera på The CTO Clubs nyhetsbrev för fler insikter om data och bästa praxis.