Mic Drop sull’Integrazione dei Dati: 5 Tendenze da Tenere d’Occhio
Dati, dati e ancora dati: sono la valuta comune di praticamente qualsiasi azienda o settore oggi. Ma il valore di questi dati dipende in gran parte dagli strumenti di integrazione dei dati. Senza di essi, la maggior parte delle organizzazioni fa fatica a organizzare, analizzare, archiviare e proteggere i propri dati.
Per quanto si possa essere bravi nella raccolta dei dati, questi hanno poco valore se non si è in grado di interpretarli. Infatti, molti dei benefici dell'integrazione dei dati si concentrano proprio su questo obiettivo fondamentale: aumentare il valore di tutte le informazioni a disposizione.
Questo spiega anche perché l'integrazione dei dati sia diventata un settore da miliardi di dollari a sé stante. Le organizzazioni gestiscono quantità di dati in crescita costante, provenienti da fonti sempre più diversificate. Raccogliere tutto in modo comprensibile e utilizzabile, tra le altre esigenze, è fondamentale.
Want more from The CTO Club?
Create a free account to finish this piece and join a community of CTOs and engineering leaders sharing real-world frameworks, tools, and insights for designing, deploying, and scaling AI-driven technology.
Have an account? Log In
-
Coefficient
Visit Website -
Ketch
Visit WebsiteThis is an aggregated rating for this tool including ratings from Crozdesk users and ratings from other sites.4.5 -
Cleo Integration Cloud
Visit WebsiteThis is an aggregated rating for this tool including ratings from Crozdesk users and ratings from other sites.4.3
"L'integrazione dei dati è la pietra angolare delle aziende moderne, permettendo una collaborazione e un processo decisionale senza intoppi tra sistemi e fonti disparate”, afferma Rohit Maheshwari, co-fondatore di NMG Technologies.
Come i dati stessi, anche l'integrazione dei dati si adatta e si evolve costantemente verso nuove capacità ed esigenze.
“Lo scenario si è trasformato in modo notevole dai primi giorni dei semplici processi ETL alle attuali soluzioni avanzate di integrazione in tempo reale,” afferma Maheshwari.
Tenendo questo a mente, abbiamo chiesto a Maheshwari e ad altri esperti di dati quali siano i trend più rilevanti sull'integrazione dei dati nel 2024 e oltre. Ecco cosa ci hanno detto.
Trend n.1: Le organizzazioni stanno consolidando le proprie operazioni e la gestione dei dati
Sempre più spesso, dove c'è integrazione dei dati, c'è anche consolidamento: più precisamente, la capacità di riunire diverse pratiche di gestione dei dati su una piattaforma unica, anche se i dati stessi provengono da fonti sempre più variegate.
“Stiamo assistendo a una spinta verso il consolidamento,” afferma Erik Duffield, co-fondatore e CEO di Hakkoda, una società di consulenza specializzata nel cloud Snowflake. Il team di Duffield ha recentemente intervistato 500 leader e decisori in ambito dati di grandi aziende statunitensi; quasi tre intervistati su quattro (74%) hanno dichiarato di voler implementare un cloud centralizzato per le operazioni sui dati nel 2024.
Lucas Wyland, fondatore della società di analisi di videogiochi Steambase, rileva che unire diverse operazioni di dati in un unico luogo comporta una certa complessità iniziale e richiede in genere una pianificazione attenta, la migrazione e la compatibilità dei sistemi, oltre ad altre esigenze. Tuttavia, i vantaggi spesso ripagano lo sforzo.
“La ridondanza dei dati è una sfida significativa per le organizzazioni,” afferma Wyland. “Per questo motivo, semplificano le operazioni consolidando pipeline di dati, processi ETL e sistemi di data warehousing. Questo semplifica la gestione e riduce la ridondanza.”
Duffield di Hakkoda condivide un esempio tratto da un recente cliente, una banca regionale i cui dati erano sostanzialmente suddivisi in tre silos distinti. Ciò ha causato una frammentazione nella strategia complessiva di gestione dei dati dell'istituto.
“Abbiamo lavorato a stretto contatto con il cliente per consolidare le sue fonti di dati isolate in un'unica fonte di verità, il che ha permesso non solo una visione più completa dei dati, ma anche la creazione di una base solida, flessibile e scalabile per l’innovazione futura, inclusa l'integrazione dell'AI," afferma Duffield.
(Tieni in mente l’integrazione dell’AI: ne parleremo tra poco.)
Trend n.2: Le architetture cloud ibride e multi-cloud sottolineano la necessità dell’integrazione dei dati
Anche se più organizzazioni consolidano la loro gestione dei dati e le operazioni, non si può dire lo stesso per l’insieme più ampio delle infrastrutture e delle applicazioni. In molte aziende, infrastrutture e applicazioni sono sempre più distribuite su vari ambienti: ciò sottolinea la necessità di strumenti e pratiche di integrazione dei dati robusti.
Questo probabilmente alimenta anche il trend verso il consolidamento. Maheshwari osserva che l'integrazione di dati distribuiti in ambienti cloud differenti può creare sfide proprie, generando la necessità di “soluzioni [di integrazione dei dati] che offrano flessibilità, scalabilità e interoperabilità.”
Le infrastrutture e le applicazioni distribuite evidenziano inoltre il crescente ruolo dell'integrazione dei dati nella governance e nella sicurezza dei dati, secondo Maheshwari, che aggiunge come i leader del settore diano priorità a privacy, conformità normativa e gestione dei rischi.
Tendenza n.3: L'AI (alla fine) diventerà pervasiva nei data stack
Sì, l'AI è già "ovunque" (ma non davvero). Ma in termini di stack tecnologici dei dati, siamo solo all'inizio.
L'indagine di Hakoda tra i leader del settore dati ha rilevato che la stragrande maggioranza (85%) prevede di mettere in produzione strumenti di AI generativa nel 2024, ad esempio, e Duffield afferma che circa la metà di queste aziende già utilizza l'AI in varie forme di automazione.
-
Snowflake Data Cloud
Visit WebsiteThis is an aggregated rating for this tool including ratings from Crozdesk users and ratings from other sites.4.7 -
Dataiku
Visit WebsiteThis is an aggregated rating for this tool including ratings from Crozdesk users and ratings from other sites.4.6 -
Nanonets
Visit WebsiteThis is an aggregated rating for this tool including ratings from Crozdesk users and ratings from other sites.4.9
"Ma vediamo usare casi avanzati come AI copilots, ETL/ELT, e matching e integrazione di schemi molto meno spesso – almeno per ora,” spiega Duffield.
Enfasi su per ora: "Le organizzazioni IT sono in una posizione fantastica per sfruttare l'AI nei processi interni per cambiare il modo in cui l'IT viene progettato, costruito e supportato", aggiunge Duffield.
Allo stesso modo, Maheshwari prevede una crescente adozione di algoritmi di AI e machine learning nei processi di integrazione dei dati e l'automazione di attività di gestione dei dati come la pulizia, la trasformazione e la riconciliazione dei dati.
L'azienda di Maheshwari ha collaborato con una grande azienda di e-commerce per implementare capacità di AI nei loro processi di integrazione dei dati, mirando a migliorare l’esperienza di acquisto dei consumatori.
"Integrando i dati delle interazioni in tempo reale dei clienti con l’inventario dei prodotti e la cronologia delle vendite, abbiamo permesso al nostro cliente di offrire raccomandazioni di prodotto personalizzate, aumentando significativamente i tassi di conversione", dice Maheshwari.
Tendenza n.4: L'automazione guidata dai metadati velocizzerà e migliorerà anche la gestione e l'integrazione dei dati
Non tutta l'automazione necessita di AI—nemmeno lontanamente. I processi di gestione e integrazione dei dati offrono opportunità per ridurre sforzi manuali che richiedono molto tempo (e soggetti a errori). Per le organizzazioni che non sono ancora pronte a tuffarsi a capofitto nell'AI, Duffield indica l’automazione guidata dai metadati come un’altra tendenza importante.
"Vediamo un sacco di opportunità per l’automazione basata sui metadati nell’acquisizione, integrazione e fornitura di soluzioni di analytics ad alto valore", afferma Duffield.
Metadati robusti possono facilitare l’integrazione dei dati nelle prime fasi dei processi delle piccole imprese e comportare vantaggi a valle in termini di affidabilità, accuratezza, provenienza e usabilità.
"Le piattaforme cloud che contengono una quantità significativa di metadati tecnici consentono una rapida implementazione e scalabilità delle pipeline di dati, oltre a fornire automaticamente informazioni sulla provenienza dei dati – offrendo così ai fruitori la certezza che i dati siano accurati e provengano dalla fonte giusta", aggiunge Duffield.
Wyland di Steambase sottolinea che questa capacità – metadati e governance robusti – sarà essenziale man mano che più aziende adotteranno LLM e altre forme di AI.
"Comprendere il flusso dei dati è fondamentale," afferma Wyland.
Prevede una tendenza sovrapposta: la crescita di modelli "rosso-ambra-verde" (RAG) che rappresentano visivamente la provenienza e la qualità dei dati.
"Aiutano i professionisti a comprendere il flusso dei dati tra i sistemi e a individuare potenziali colli di bottiglia o problemi,” conclude Wyland.
Tendenza n.5: La verticalizzazione arriverà anche all'integrazione dei dati
Data la natura dinamica dell'integrazione dei dati e dei dati stessi, Wyland vede anche importanti opportunità ancora non sfruttate per soluzioni su misura per i requisiti e i casi d’uso specifici dei vari settori.
Anche se ci possono essere fondamentali di gestione e integrazione dei dati validi per quasi ogni settore, approcci "taglia unica" potrebbero non cogliere le sfumature – o vere e proprie differenze – dell'integrazione dati in, ad esempio, ambiti produttivi e sanitari. Di conseguenza, Wyland
"Verticalizzazione significa adattare [o] personalizzare le soluzioni di infrastruttura dati a specifici settori o casi d’uso," afferma Wyland. "Permette alle organizzazioni di allineare meglio i dati alle esigenze di business."
Per farlo efficacemente serviranno competenze di dominio e flessibilità per adattarsi a requisiti specifici – il che significa ampie opportunità per i professionisti dei dati e i fornitori di integrazione dati che sapranno rispondere.
Conclusioni
L'integrazione dei dati è un tema caldo – e a ragione. È uno strumento fondamentale per dare senso ai dati e generare valore tangibile. Altrimenti, si sta solo accumulando dati senza uno scopo.
Quali di queste tendenze nell’integrazione dei dati sono più rilevanti per la tua attività? Iscriviti alla newsletter di The CTO Club per altre notizie di settore e approfondimenti!
