Uw AI-klare infrastructuur bouwen: een gids voor IT in ondernemingen
Veel technische beslissingen zijn nodig om AI te ondersteunen: van welke LLM's u moet gebruiken en waar u ze moet implementeren tot welke infrastructuur vereist is en hoe u medewerkers moet opleiden. Onlangs ondervroegen we IT-besluitvormers in ondernemingen in de VS, en bijna de helft (44%) gaf aan dat het creëren van een AI-klare data-infrastructuur momenteel de hoogste prioriteit heeft. IT-organisaties trainen ook bestaande modellen op maat (37%), gebruiken clouddiensten voor AI (32%), bouwen hun eigen leermodellen (32%), staan medewerkers toe commercieel beschikbare AI-modellen te gebruiken (29%) en leiden medewerkers op (33%).
In dit artikel bespreek ik deze verschillende gebieden en geef ik enkele aandachtspunten voor ondernemingen die hun zogenoemde AI-klare infrastructuur opbouwen. Zoals altijd spelen budgettaire factoren een belangrijke rol bij beslissingen over AI-technologie, maar dat geldt ook voor beveiliging, naleving van governancevereisten en de beschikbaarheid van IT-medewerkers met de juiste vaardigheden op het gebied van AI en ML.
Een AI-klare data-infrastructuur creëren
Het lanceren van een AI-initiatief binnen uw onderneming kan modelontwikkeling en training vereisen als u uw eigen generatieve AI-model moet bouwen. Dit begint doorgaans met het aanschaffen van voldoende krachtige computerresources: de dure CPU's, GPU's en TPU's die nodig zijn om machinelearningmodellen te hosten en gegevens razendsnel te verwerken. Hoewel kant-en-klare infrastructuur, openbare modellen en clouddiensten voordelen bieden op het gebied van kosten en gebruiksgemak, moeten IT-organisaties ook de voordelen afwegen van het intern houden van AI voor betere controle of juist het opzetten van een hybride model dat de juiste niveaus van datagovernance, transparantie en beveiliging biedt.
Want more from The CTO Club?
Create a free account to finish this piece and join a community of CTOs and engineering leaders sharing real-world frameworks, tools, and insights for designing, deploying, and scaling AI-driven technology.
Have an account? Log In
De gemiddelde kosten van een AI-server bedragen $32,000. “Vooraanstaand Gartner-analist John-David Lovelock wijst erop dat een rek met AI-servers meer dan $1 miljoen zal kosten.” Flashgebaseerde opslagtechnologieën die zijn ontworpen voor AI kunnen ook aan de kosten bijdragen. Daarnaast zijn er de ondersteuning en het onderhoud van al deze apparatuur, waarvoor fulltime IT-medewerkers en een ultramodern datacenter nodig zijn.
-
Robin Autonomous IT
Visit WebsiteThis rating combines scores from multiple user review sites to reflect overall customer sentiment about the product.4.5 -
SuperAnnotate
Visit WebsiteThis rating combines scores from multiple user review sites to reflect overall customer sentiment about the product.4.9 -
Nanonets
Visit WebsiteThis rating combines scores from multiple user review sites to reflect overall customer sentiment about the product.4.9
Bedrijfsgegevens gebruiken met AI
Ongeacht of u uw eigen model vanaf nul bouwt of, waarschijnlijker, vooraf gebouwde modellen fijn afstelt en gebruikt, hebt u databeheer nodig om de juiste ongestructureerde gegevens naar AI te brengen. Beheer van ongestructureerde gegevens automatiseert AI-gegevensworkflows en beheert de governance van bedrijfsgegevens, vooral bij gevoelige gegevens.
Ongestructureerde gegevens, die volgens IDC goed zijn voor 90% van alle gegevens, zijn doorgaans verspreid over veel silo's. Een deel van de rol van databeheer is dan ook het faciliteren van snel zoeken, taggen en aanleveren van de juiste gegevens aan AI-modellen.
Clouddiensten voor AI
De belangrijkste cloudproviders hebben complete diensten gebouwd om AI te ondersteunen voor organisaties die de technologie niet intern kunnen of willen beheren. De componenten variëren van snelle opslag- en rekenresources tot resources voor machinaal leren, GenAI en ontwikkeltools. Hoewel AI in de cloud duidelijke kostenvoordelen biedt – u hoeft geen servers of opslag aan te schaffen en ook niet te betalen voor de verhoogde energieconsumptie, die uw cloudvoetafdruk vergroot – kunt u in de cloud gemakkelijk te veel resources toewijzen en te veel uitgeven. Daarnaast is er het probleem van lacunes in cloudvaardigheden.
Een AI-strategie in de cloud kan zowel succesvol als kostenefficiënt zijn als u gegevens op de juiste manier kunt beheren. Het kopiëren van petabytes aan ongestructureerde gegevens naar de cloud en vervolgens proberen te bepalen welke gegevens nuttig zijn voor AI zou bijvoorbeeld al snel tot een enorme rekening leiden.
U wilt ook voorkomen dat u een AI-toepassing voedt zonder eerst de gegevenschaos op te ruimen: de meeste organisaties beschikken over grote hoeveelheden dubbele, verouderde of zombiegegevens die moeten worden verwijderd. Zorg ervoor dat uw gegevens op orde zijn – geclassificeerd en georganiseerd – voordat u ze verplaatst, en verplaats alleen de gegevens waarvan u weet dat ze binnen de reikwijdte van uw project vallen. Het is ook een goed idee om kwesties rond cloud-datagovernance te overwegen.
Kies gebruiksscenario's met een voorspelbaar rendement op investering en zorg ervoor dat u de resultaten later kunt meten. Beveiligings- en compliancevereisten kunnen de mogelijkheid uitsluiten om AI in de cloud te hosten. Op zijn minst zijn inzicht in de risico's van uw gegevens in elke AI-dienst en kennis van het auditen van projecten op datarisico kritieke stappen voordat u aan een project begint.
-
Oracle
Visit WebsiteThis rating combines scores from multiple user review sites to reflect overall customer sentiment about the product.4.6 -
Red Hat
Visit WebsiteThis rating combines scores from multiple user review sites to reflect overall customer sentiment about the product.4.5 -
Kamatera
Visit WebsiteThis rating combines scores from multiple user review sites to reflect overall customer sentiment about the product.4.2
Beslissingen over modellen voor machinaal leren
Populaire modellen voor machinaal leren, zoals GPT, Claude, Gemini, TensorFlow en PyTorch, zijn voor hun training afhankelijk van enorme openbare gegevensverzamelingen. Om AI echter nuttig en geloofwaardig te maken voor bedrijfsprojecten die gericht zijn op het verbeteren van activiteiten, R&D of klantrelaties, wilt u een model trainen met uw eigen bedrijfseigen gegevens en deze privé houden.
Voor het trainen en/of ontwikkelen van een model zijn de vaardigheden nodig van gespecialiseerde datawetenschappers die vertrouwd zijn met belangrijke programmeertalen zoals Python en R, het modelleren en analyseren van big data, kennis van modellen voor machinaal leren en beveiliging en cloudcomputing.
Een ambitieus, goed gefinancierd team voor analyse en datawetenschap kan er zelfs voor kiezen om een model vanaf de grond op te bouwen. Dit kan voortkomen uit de wens om volledige controle te hebben over architectuur en beveiliging en/of om een zeer gevoelig, concurrerend project te ondersteunen. Hoewel er gemeenschappen zoals Hugging Face en OpenAI zijn die helpen bij het kiezen van de componenten en het samenwerken met anderen, is dit een enorme inspanning. Het omvat het opschonen en voorbereiden van gegevens, het selecteren en trainen van algoritmen en het afstemmen van het model voor nauwkeurigheid en betrouwbaarheid. U moet niet alleen de infrastructuur regelen, maar ook een team van technici samenstellen om het werk uit te voeren.
Vanwege de beperkte middelen van de meeste organisaties is het gebruik van vooraf getrainde propriëtaire of opensourcemodellen voor machinaal leren met bedrijfsgegevens waarschijnlijk de meest gebruikelijke weg naar AI. AI-inferentie is een veel grotere en bredere markt dan AI-training. Daarom investeren IT-organisaties steeds meer in het creëren van de juiste gegevensinfrastructuur om bedrijfsgegevens te vinden, te beheren, te controleren en aan AI te leveren, terwijl ze gegevensbeheer handhaven.
De opkomst van kant-en-klare AI-tools
Uit het onderzoek van Komprise bleek dat slechts 30% van de organisaties een budget voor AI heeft vastgesteld, wat erop wijst dat 70% nog steeds met de technologie experimenteert en er onderzoek naar doet. Tegenwoordig betekent dit waarschijnlijk het gebruik van goedkope toepassingen zoals OpenAI ChatGPT, Anthropic Claude, Microsoft Copilot of Google Gemini. Werknemers op verschillende afdelingen gebruiken deze tools om vragen te beantwoorden, tekst te schrijven, grafieken en afbeeldingen te maken of softwarecode te schrijven – razendsnel en met resultaten die goed genoeg zijn.
Wat ontbreekt, zijn standaarden en gangbare best practices. Welke projecten zijn veilig en geschikt voor GenAI? Welke gegevens moeten worden gebruikt en welke moeten tegen opname worden beschermd? Hoe moeten werken die met GenAI zijn gemaakt, worden beoordeeld op nauwkeurigheid en rechtmatigheid? Wat gebeurt er als intellectueel eigendom of klantgegevens in een LLM voor algemene doeleinden terechtkomen? Hoe kan een bedrijf zichzelf beschermen tegen rechtszaken wegens auteursrechtschending of smaad op basis van door GenAI geproduceerd werk?
Begin met inzicht in uw gegevenslandschap wat betreft de kenmerken en hoeveelheid gevoelige gegevens, zoals persoonsgegevens en intellectueel eigendom. Die analyse helpt de organisatie bij het ontwikkelen van beleid voor het gebruik van GenAI, waarin gegevens en gebruiksscenario's worden gereguleerd. U hebt een tool nodig om naleving te controleren en problemen te onderzoeken die voortkomen uit het gebruik van GenAI, wanneer en als die zich voordoen.
Kunt u bijhouden welke gegevens door welke gebruikers of afdelingen naar de AI-tool zijn verzonden? Kunt u gevoelige gegevens vinden en verplaatsen uit mappen waarin ze kunnen worden ontdekt en in een AI-tool kunnen worden geladen? Sommige oplossingen voor ongestructureerd gegevensbeheer bieden deze functionaliteit; gegevensbeheer voor AI is een groeiend aandachtsgebied om negatieve gevolgen van AI te voorkomen die het vertrouwen, de loyaliteit en de geloofwaardigheid van een organisatie in de markt kunnen schaden.
De noodzaak van GenAI-governance
Gezien de algemene zorgen op de markt over AI, het bekende vermogen ervan om onjuiste resultaten en schadelijke hallucinaties te creëren, het risico dat bedrijfsgegevens in LLM's voor algemene doeleinden lekken en de kosten van het ontwikkelen en implementeren van AI-technologieën, zullen IT-leiders een waterdicht plan en proces willen om de AI-stack te evalueren en in te zetten.
Wilt u meer inzichten over AI? Abonneer u op de nieuwsbrief van The CTO Club voor tips en tools in uw inbox!
