AI-inferentie: waarom je dataplatform een makeover nodig heeft

Je kunt bijvoorbeeld chatgesprekken analyseren op klantgevoelens en tevredenheidstrends, of klinische notities van ziekenhuiscontacten met patiënten invoeren om casussen samen te vatten en trends in ziektebehandeling en -preventie aan het licht te brengen.

Waarom AI-inferentie een nieuwe dataarchitectuur vereist

AI-inferentie lijkt uit te groeien tot een enorme markt met ingrijpende gevolgen voor de IT-infrastructuur. "Verschillende bronnen, waaronder bedrijven in de technologiesector zoals Amazon en NVIDIA, schatten dat inferentie in grootschalige systemen meer kan kosten dan training en dat inferentie tot 90% van de machinelearningkosten van geïmplementeerde AI-systemen voor zijn rekening neemt", aldus onderzoekers die zijn gepubliceerd in Science Direct.

Nu er zoveel tijd, geld en energie wordt geïnvesteerd in AI-inferentie, zullen IT-leiders hun ondersteunende technologiestack nauwkeurig willen bekijken – van dataplatforms tot datacentruminfrastructuur, zowel lokaal als in de cloud – en laptops en telefoons, die worden geoptimaliseerd voor AI-verwerking. Mogelijk moeten ze hun systemen upgraden voor meer efficiëntie, betere prestaties en kostenoptimalisatie, zodat deze klaar zijn voor de toekomst.

Beste AI-platforms!

1. 

   Dataiku

   This rating combines scores from multiple user review sites to reflect overall customer sentiment about the product.

   4.6

   Visit Website
2. 

   Gradient Labs

   Visit Website
3. 

   Trustible

   This rating combines scores from multiple user review sites to reflect overall customer sentiment about the product.

   5

   Visit Website

De nieuwe vereisten ontleed

Hoewel AI-inferentie de volgende stap is na modelontwikkeling, verschillen de vereisten voor AI-inferentie voldoende dat hiervoor een nieuw dataparadigma nodig is – vooral voor ongestructureerde gegevens:

• Routinegebruik van bedrijfsgegevens beheren: Laten we eerst kijken naar het proces op hoofdlijnen achter AI-inferentie, zoals uitgelegd door IBM Research: “Tijdens inferentie gaat een AI-model aan de slag met realtimegegevens en vergelijkt het de vraag van de gebruiker met informatie die tijdens de training is verwerkt en in de gewichten of parameters ervan is opgeslagen. Het antwoord dat het model geeft, hangt af van de taak: spam identificeren, spraak naar tekst omzetten of een lang document samenvatten tot de belangrijkste conclusies. Het doel van AI-inferentie is een bruikbaar resultaat te berekenen en uit te voeren.”  Met andere woorden: AI-inferentie en het gebruik ervan vereisen dat organisaties hetgeen waarop het model is getraind, aanvullen met relevante bedrijfsgegevens. 
• Moet eenvoudig zijn voor elke medewerker, niet alleen voor datawetenschappers: Waar modelontwikkeling een zeer gespecialiseerde AI-markt voor datawetenschappers is, richt AI-inferentie zich op elke gebruiker en moet deze daarom eenvoudig te gebruiken en te implementeren zijn. Hoe kunt u het medewerkers gemakkelijk maken om de juiste bedrijfsgegevens te vinden en aan het juiste AI-proces te leveren? Hoe kunt u ervoor zorgen dat de gegevensworkflow voor audits wordt vastgelegd? AI-modeltraining is als het bouwen van een elektriciteitscentrale; maar heel weinig mensen beschikken over de gespecialiseerde kennis en middelen om AI-modellen te bouwen. AI-inferentie zou echter net zo eenvoudig moeten zijn als het verbruiken van elektriciteit. Iedereen moet de schakelaar voor zijn of haar doeleinden aan of uit kunnen zetten.  
• Moet ongestructureerde gegevens kunnen doorzoeken en aan AI kunnen leveren: Vandaag de dag draait het bij AI en ML allemaal om ongestructureerde gegevens: de miljoenen of miljarden bestanden, zoals documenten, berichten, afbeeldingen, video’s en machinegegevens, die verspreid zijn over mappen en gedeelde opslaglocaties binnen de onderneming. Omdat deze gegevens omvangrijk zijn en over veel datasilo’s binnen de onderneming zijn verspreid, is het vanuit kostenoogpunt en vanwege de benodigde tijd niet haalbaar om ze naar één systeem te verplaatsen. Gebruikers vertrouwen op veel AI-tools in plaats van op één enorm datawarehouse. 
• Gegevens eerst verplaatsen werkt niet langer: Omdat ongestructureerde gegevens gemakkelijk petabytes groot kunnen zijn en het verplaatsen ervan duur is, werkt het traditionele paradigma van extractie, transformatie en laden (ETL), waarbij gegevens eerst naar een datameer of datalakehouse worden verplaatst en er vervolgens mee wordt gewerkt, niet langer. IT-teams hebben een manier nodig om systematisch toegang te krijgen tot ongestructureerde gegevens en deze te beheren zonder ze naar één locatie te verplaatsen. Ze hebben ook geautomatiseerde tools nodig om hun gegevens voor te bereiden: van het filteren van overbodige gegevens en het toevoegen van context en structuur via verrijking met metagegevens tot het creëren van veilige workflows om de juiste gegevenssets te vinden en naar de juiste tools te verplaatsen. Een uniforme globale index biedt een verstandig uitgangspunt voor zichtbaarheid van gegevens en snel zoeken in hybride gegevensomgevingen. 
• Geautomatiseerd gegevensbeheer: Daarnaast wordt AI-gegevensbeheer een cruciale mogelijkheid voor gegevensbeheer. Om te voorkomen dat gevoelige gegevens uitlekken naar AI-tools, dat er onjuiste resultaten en hallucinaties ontstaan en dat er rechtszaken wegens inbreuk op het auteursrecht worden aangespannen, hebben organisaties manieren nodig om het verplaatsen van gegevens naar AI-tools te bewaken en te volgen. Ze hebben geautomatiseerde methoden nodig om gevoelige gegevens, zoals PII, te lokaliseren en te verplaatsen naar locaties waar medewerkers er geen toegang toe hebben voor AI. Door de workflows waarmee gebruikers toegang krijgen tot AI te automatiseren, kunt u ervoor zorgen dat automatisering het gegevensbeheer bijhoudt en beheert.
• Een nieuw model voor gegevensbeheer voor AI: De opkomende “databaselaag” voor ongestructureerde gegevens is virtueel en slaat niet daadwerkelijk alle gegevens op. We zullen zien dat deze zich ontwikkelt en bovenstaande mogelijkheden en meer gaat omvatten. De laag moet kunnen werken met alle opslagtechnologieën en -omgevingen, van het datacenter tot de edge en de cloud, en efficiënt functioneren onder de zware belasting van petabytes aan bestands- en objectgegevens.

Kritische vragen die u vóór adoptie moet stellen

Voordat belanghebbenden investeren in nieuwe technologie voor AI, moeten zij samenkomen om de belangrijkste doelen en beperkingen vast te stellen die zij voor ogen hebben om risico’s te beheersen. Hier zijn enkele vragen om te overwegen:

1. Welke afdelingen en/of gebruiksscenario’s leveren snelle successen op voor leermogelijkheden met het laagste risico?
2. Wat zijn de belangrijkste langetermijndoelen en verwachte resultaten van het gebruik van AI, vooral bij het gebruik van bedrijfsgegevens met AI?
3. Hoe willen zij dat gebruikers met AI-systemen kunnen communiceren? Zullen er specifieke AI-tools zijn die voor gebruik zijn geautoriseerd, of kunnen gebruikers dat zelf bepalen? 
4. Welke interne beleidsregels zijn nodig voor het gebruik van AI en hoe worden deze gehandhaafd? Een organisatie kan bijvoorbeeld willen voorschrijven welke AI-tools op het werk mogen worden gebruikt en/of welke soorten gegevens in systemen mogen worden ingevoerd. De organisatie kan bijvoorbeeld vergadernotulen van bestuursvergaderingen, R&D-sessies of gesprekken met belangrijke klanten willen beperken.
5. Welke sectorvoorschriften moeten worden nageleefd wanneer bedrijfsgegevens met AI worden gebruikt?
6. Hoe worden resultaten of afgeleide werken van AI beoordeeld op nauwkeurigheid en rechtmatigheid?
7. Hoe kunnen afgeleide werken intern of extern worden benut?
8. Welk AI-governance- en beveiligingskader is nodig en welke hiaten in de beveiligingstechnologische infrastructuur moeten worden opgevuld? 
9. Welke systemen kunnen in de cloud draaien en welke moeten on-premises blijven?
10. Hoe zullen gebruikers bedrijfsgegevens zoeken, vinden en aan AI leveren?
11. Hoe wordt het resultaat van AI bewaard?

Bij correct gebruik kan AI-inferentie organisaties helpen een aanzienlijk concurrentievoordeel te behalen. Het kan echter ook datarisico's creëren, omdat bedrijfsgegevens moeten worden blootgesteld. Voor AI-inferentie is een nieuwe dataarchitectuur nodig, omdat het traditionele model waarbij gegevens in een datawarehouse of datameer worden geladen en op één plek worden verwerkt, niet langer werkt. AI-inferentie vereist efficiënte indexering, zoekfuncties, curatie en het beschikbaar maken van ongestructureerde gegevens voor AI, met geautomatiseerde auditing en tracking.

Abonneer je op de nieuwsbrief van The CTO Club voor meer inzichten in data en best practices.