Costruire un’Infrastruttura Pronta per l’IA: Guida per l’IT Aziendale
Molte decisioni tecniche sono necessarie per supportare l’IA: dalla scelta dei LLM da utilizzare, a dove distribuire, quale infrastruttura è richiesta e come formare i dipendenti. Recentemente, abbiamo intervistato i responsabili IT aziendali negli Stati Uniti e quasi la metà (44%) ha dichiarato che creare un’infrastruttura dati pronta per l’IA è la priorità principale di oggi. Le organizzazioni IT stanno anche addestrando su misura i modelli esistenti (37%), utilizzando servizi cloud per l’IA (32%), costruendo i propri modelli di apprendimento (32%), consentendo ai dipendenti di utilizzare modelli di IA commerciali disponibili (29%) e formando i dipendenti (33%).
In questo articolo, esaminerò queste diverse aree, offrendo alcune considerazioni per le aziende che vogliono costruire la cosiddetta infrastruttura pronta per l’IA. Come sempre, il budget incide fortemente sulle decisioni tecnologiche in ambito IA, ma anche sicurezza, conformità alle normative di governance e la disponibilità di personale IT con le giuste competenze in AI e ML sono fattori chiave.
Creare un’infrastruttura dati pronta per l’IA
Lanciare un’iniziativa IA in azienda può richiedere lo sviluppo e l’addestramento di modelli, se serve costruire un modello generativo di IA proprietario. Questo tipicamente inizia con l’acquisizione di risorse computazionali adeguate e performanti: le costose CPU, GPU e TPU necessarie per ospitare i modelli di machine learning e processare i dati ad alta velocità. Sebbene le infrastrutture preconfigurate, i modelli pubblici e i servizi cloud offrano vantaggi in termini di costo e semplicità d’uso, le organizzazioni IT devono anche valutare i benefici di mantenere l’IA internamente per un maggiore controllo o, in alternativa, adottare un modello ibrido che offra i giusti livelli di governance dei dati, trasparenza e sicurezza.
Want more from The CTO Club?
Create a free account to finish this piece and join a community of CTOs and engineering leaders sharing real-world frameworks, tools, and insights for designing, deploying, and scaling AI-driven technology.
Have an account? Log In
Il costo medio di un server per IA è di 32.000 dollari. “John-David Lovelock, distinguished analyst di Gartner, sottolinea che un rack di server IA supera 1 milione di dollari.” Anche le tecnologie di archiviazione basate su flash progettate per l’IA possono aumentare i costi. Poi ci sono il supporto e la manutenzione di tutta questa attrezzatura, che richiedono personale IT a tempo pieno e un data center all’avanguardia.
-
Robin Autonomous IT
Visit WebsiteThis is an aggregated rating for this tool including ratings from Crozdesk users and ratings from other sites.4.5 -
SuperAnnotate
Visit WebsiteThis is an aggregated rating for this tool including ratings from Crozdesk users and ratings from other sites.4.9 -
Nanonets
Visit WebsiteThis is an aggregated rating for this tool including ratings from Crozdesk users and ratings from other sites.4.9
Utilizzare i dati aziendali con l’IA
Indipendentemente dal fatto che si stia costruendo un proprio modello da zero o, più probabilmente, si stiano perfezionando e utilizzando modelli preesistenti, è necessario gestire i dati per portare i giusti dati non strutturati all’IA. La gestione dei dati non strutturati automatizza i flussi di lavoro dei dati per l’IA e gestisce la governance dei dati aziendali, soprattutto quando si tratta di dati sensibili.
I dati non strutturati, che secondo IDC rappresentano il 90% di tutti i dati, sono solitamente dispersi in molti silos, e parte del ruolo della gestione dei dati è proprio facilitare la ricerca rapida, l’etichettatura e l’alimentazione dei dati più adatti ai modelli di IA.
Servizi cloud per l’IA
I principali fornitori di servizi cloud hanno realizzato soluzioni complete per supportare l’IA nelle organizzazioni che non possono o non vogliono gestire la tecnologia internamente. I componenti vanno dall’archiviazione e risorse di calcolo veloci, al machine learning, GenAI e strumenti di sviluppo. Anche se l’IA basata su cloud offre vantaggi economici ben evidenti – non serve comprare server o storage, né pagare l’energia aggiuntiva che aumenterebbe l’impronta del data center – si può facilmente sovradimensionare l’ambiente e sforare con i costi. Esiste anche il problema della carenza di competenze cloud.
Una strategia di IA in cloud può risultare efficace e conveniente purché si gestiscano i dati in modo appropriato. Ad esempio, copiare petabyte di dati non strutturati nel cloud e poi cercare di capire quali siano utili per l’IA creerebbe rapidamente enormi costi.
Bisognerebbe inoltre evitare di alimentare un’applicazione IA senza prima ripulire il disordine nei dati: la maggior parte delle organizzazioni possiede una grande quantità di dati duplicati, obsoleti o zombie che dovrebbero essere eliminati. Assicuratevi che i dati siano ben organizzati e classificati prima di trasferirli e spostate solo i dati che sapete essere in linea con l’ambito del vostro progetto. È inoltre consigliabile valutare le questioni legate alla governance dei dati in cloud.
Scegliete casi d’uso con un ROI prevedibile e assicuratevi di poter misurare i risultati successivamente. I requisiti di sicurezza e conformità possono rendere impossibile l’opzione di ospitare l’IA nel cloud. Al minimo, comprendere i rischi relativi ai dati in qualsiasi servizio IA e sapere come eseguire audit dei progetti per valutarne i rischi sono passaggi fondamentali prima di iniziare qualsiasi progetto.
-
Oracle
Visit WebsiteThis is an aggregated rating for this tool including ratings from Crozdesk users and ratings from other sites.4.6 -
Red Hat
Visit WebsiteThis is an aggregated rating for this tool including ratings from Crozdesk users and ratings from other sites.4.5 -
Kamatera
Visit WebsiteThis is an aggregated rating for this tool including ratings from Crozdesk users and ratings from other sites.4.2
Decisioni sui modelli di machine learning
I modelli di machine learning più diffusi, come GPT, Claude, Gemini, TensorFlow e PyTorch, si basano su enormi set di dati pubblici per l’addestramento. Tuttavia, per rendere l’IA utile e credibile nei progetti aziendali volti a migliorare operazioni, R&S o le relazioni con i clienti, conviene addestrare un modello utilizzando dati proprietari e mantenerli privati.
L’addestramento e/o lo sviluppo di un modello richiede le competenze di data scientist specializzati che conoscano i principali linguaggi di programmazione come Python e R, sappiano modellare ed analizzare big data, conoscano i modelli di machine learning, nonché la sicurezza e il cloud computing.
Un team di analisi e data science ambizioso e ben finanziato può persino scegliere di sviluppare un modello da zero. I motivi di questa scelta includono il desiderio di avere il pieno controllo sull'architettura e sulla sicurezza e/o di supportare un progetto altamente sensibile e competitivo. Sebbene esistano comunità come Hugging Face e OpenAI che aiutano nella scelta dei componenti e nella collaborazione con altri, si tratta di un'impresa titanica. Comprende la pulizia e la preparazione dei dati, la selezione e l'addestramento degli algoritmi e l'affinamento del modello per garantire precisione e affidabilità. Sarà necessario procurarsi non solo l'infrastruttura, ma anche un team di ingegneri che esegua il lavoro.
A causa delle limitazioni di risorse della maggior parte delle organizzazioni, l'utilizzo di modelli ML proprietari o open-source pre-addestrati con dati aziendali è probabilmente il percorso più comune verso l'IA. L'inferenza dell'IA rappresenta un mercato molto più ampio e articolato rispetto all'addestramento dei modelli. Pertanto, le organizzazioni IT investono sempre di più nella creazione dell'infrastruttura dati adeguata per trovare, curare, controllare e alimentare i dati aziendali all'IA, mantenendo al contempo la governance dei dati.
L'ascesa degli strumenti AI pronti all'uso
Il sondaggio di Komprise ha rilevato che solo il 30% delle organizzazioni ha destinato un budget specifico per l'IA, il che implica che il 70% sta ancora sperimentando e facendo ricerca sulla tecnologia. E oggi ciò probabilmente significa utilizzare applicazioni a basso costo come OpenAI ChatGPT, Anthropic Claude, Microsoft Copilot o Google Gemini. I dipendenti di diversi dipartimenti usano questi strumenti per rispondere a domande, scrivere testi, creare grafiche e immagini o scrivere codice software – con velocità impressionante e risultati sufficientemente soddisfacenti.
Ciò che manca sono standard e best practice diffuse. Quali progetti sono sicuri e opportuni per la GenAI? Quali dati dovrebbero essere utilizzati e quali dovrebbero essere protetti dall'ingestione? Come dovrebbero essere valutati i lavori derivati da GenAI in termini di accuratezza e legittimità? Cosa succede se IP o dati dei clienti vengono divulgati in un LLM ad uso generale? Come può un'azienda proteggersi da cause legali per copyright o diffamazione basate su lavori prodotti dalla GenAI?
Inizia comprendendo il tuo patrimonio di dati in termini di caratteristiche dei dati e quantità di dati sensibili come PII e proprietà intellettuale (IP). Questa analisi aiuterà l'organizzazione a sviluppare politiche per l'uso della GenAI che regolino dati e casi d'uso. Sarà necessario dotarsi di uno strumento per monitorare la conformità e indagare sulle problematiche che possono sorgere dall'utilizzo della GenAI, qualora si presentino.
Riesci a tracciare quali dati sono stati inviati allo strumento AI da quali utenti o reparti? Puoi individuare e spostare dati sensibili fuori da directory dove potrebbero essere scoperti e utilizzati da uno strumento AI? Alcune soluzioni di gestione dei dati non strutturati offrono questa funzionalità; la governance dei dati AI è un'area in forte crescita per prevenire ricadute dall'IA che possono danneggiare la fiducia, la lealtà dei clienti e la credibilità sul mercato.
La necessità di governance della GenAI
Considerate le diffuse preoccupazioni di mercato nei confronti dell'IA, la sua nota capacità di produrre risultati errati e allucinazioni dannose, il rischio di perdita di dati aziendali in LLM ad uso generale e i costi legati allo sviluppo e all'implementazione di tecnologie IA, i responsabili IT vorranno un piano e un processo ineccepibili per valutare e implementare la stack IA.
Vuoi più approfondimenti sull'IA? Iscriviti alla newsletter di The CTO Club per ricevere suggerimenti e strumenti direttamente nella tua casella di posta!
