Colpo di scena dell’integrazione dei dati: 5 tendenze da tenere d’occhio

I migliori strumenti di integrazione dei dati

1. 

   Nexla

   This rating combines scores from multiple user review sites to reflect overall customer sentiment about the product.

   4.9

   Visit Website
2. 

   Celigo

   Visit Website
3. 

   Ketch

   This rating combines scores from multiple user review sites to reflect overall customer sentiment about the product.

   4.5

   Visit Website

"L'integrazione dei dati è la pietra angolare delle aziende moderne, poiché consente una collaborazione e un processo decisionale senza soluzione di continuità tra sistemi e fonti differenti", afferma Rohit Maheshwari, cofondatore di NMG Technologies.

Come i dati stessi, anche l'integrazione dei dati si adatta ed evolve costantemente in base a nuove funzionalità e requisiti.

"Il panorama si è trasformato notevolmente dai primi tempi dei semplici processi ETL alle sofisticate soluzioni di integrazione in tempo reale di oggi", afferma Maheshwari.

Tenendo presente questo, abbiamo chiesto a Maheshwari e ad altri esperti di dati di esprimersi sulle tendenze più importanti nell'integrazione dei dati che si stanno affermando nel 2024 e oltre. Ecco cosa hanno detto.

Tendenza n. 1: le organizzazioni stanno consolidando le proprie operazioni e la gestione dei dati

Sempre più spesso, dove si trova l'integrazione dei dati, si trova anche il consolidamento dei dati: nello specifico, la possibilità di riunire più pratiche di gestione dei dati su un'unica piattaforma, anche se i dati stessi provengono da una gamma sempre più ampia di fonti.

"Stiamo assistendo a una spinta verso il consolidamento", afferma Erik Duffield, cofondatore e CEO di Hakkoda, una società di consulenza sui dati specializzata nel cloud Snowflake. Recentemente, la società di Duffield ha intervistato 500 responsabili e decisori nel settore dei dati di grandi aziende con sede negli Stati Uniti; quasi tre intervistati su quattro (74%) hanno dichiarato di voler implementare un cloud centralizzato per le proprie operazioni sui dati nel 2024.

Lucas Wyland, fondatore della società di analisi di videogiochi Steambase, osserva che riunire operazioni sui dati eterogenee in un unico luogo comporta una certa complessità iniziale e di solito richiede un'attenta pianificazione, migrazione e compatibilità dei sistemi, oltre ad altre esigenze. Tuttavia, i vantaggi spesso valgono lo sforzo.

"La ridondanza dei dati è una sfida significativa per le organizzazioni", afferma Wyland. "Pertanto, esse semplificano le operazioni sui dati consolidando pipeline di dati, processi ETL e data warehouse. Questo semplifica la gestione e riduce la ridondanza."

I migliori strumenti ETL

1. 

   Hevo

   This rating combines scores from multiple user review sites to reflect overall customer sentiment about the product.

   4.7

   Visit Website
2. 

   Adverity

   This rating combines scores from multiple user review sites to reflect overall customer sentiment about the product.

   4.5

   Visit Website
3. 

   Integrate.io

   This rating combines scores from multiple user review sites to reflect overall customer sentiment about the product.

   4.3

   Visit Website

Duffield di Hakkoda condivide l'esempio di un cliente recente, una banca regionale i cui dati erano sostanzialmente suddivisi in tre silos diversi. Ciò aveva causato una frammentazione nella strategia complessiva di gestione dei dati della banca.

"Abbiamo lavorato a stretto contatto con il cliente per consolidare le sue fonti di dati isolate in un'unica fonte di verità, consentendogli non solo di ricostruire una visione più completa dei propri dati, ma anche di gettare basi solide, flessibili e scalabili per l'innovazione futura, inclusa l'integrazione dell'IA", afferma Duffield.

(Tenete a mente il tema dell'integrazione dell'IA: ci torneremo tra poco.)

Tendenza n. 2: le architetture di cloud ibrido e multicloud sottolineano la necessità dell'integrazione dei dati

Anche se sempre più organizzazioni consolidano la gestione dei dati e le proprie operazioni, non si può dire lo stesso del portafoglio più ampio di infrastrutture e applicazioni. In molte organizzazioni, infrastrutture e applicazioni sono sempre più distribuite tra diversi ambienti, evidenziando la necessità di solidi strumenti e pratiche di integrazione dei dati.

Probabilmente questo alimenta anche la tendenza al consolidamento. Maheshwari osserva che l'integrazione di dati distribuiti in diversi ambienti cloud può creare sfide specifiche, catalizzando la necessità di "[soluzioni di integrazione dei dati] che offrano flessibilità, scalabilità e interoperabilità".

Secondo Maheshwari, l'infrastruttura e le applicazioni distribuite evidenziano anche il ruolo crescente dell'integrazione dei dati nella governance dei dati e nella sicurezza; aggiunge che i leader tecnologici danno priorità alla privacy dei dati, alla conformità normativa e alla gestione dei rischi.

Tendenza n. 3: l'IA diventerà (prima o poi) onnipresente negli stack di dati

Sì, l'IA è già “ovunque” (non proprio). Ma per quanto riguarda gli stack tecnologici dei dati, siamo solo all'inizio.

Ad esempio, il sondaggio di Hakoda tra i responsabili dei dati ha rilevato che la stragrande maggioranza (85%) prevede di utilizzare strumenti di IA generativa in produzione nel 2024, e Duffield afferma che circa la metà di queste aziende utilizza già l'IA in varie forme di automazione.

Le migliori piattaforme di IA

1. 

   Snowflake Data Cloud

   This rating combines scores from multiple user review sites to reflect overall customer sentiment about the product.

   4.7

   Visit Website
2. 

   Dataiku

   This rating combines scores from multiple user review sites to reflect overall customer sentiment about the product.

   4.6

   Visit Website
3. 

   Gradient Labs

   Visit Website

“Tuttavia, vediamo molto meno spesso casi d'uso sofisticati come i copiloti IA, ETL/ELT e la corrispondenza e l'integrazione degli schemi, almeno per ora”, afferma Duffield.

È importante sottolineare per ora: “Le organizzazioni IT si trovano in una posizione straordinaria per sfruttare l'IA nei processi interni e cambiare il modo in cui l'IT viene progettato, realizzato e supportato”, aggiunge Duffield.

Maheshwari prevede analogamente una crescente adozione degli algoritmi di IA e apprendimento automatico nei processi di integrazione dei dati e l'automazione di attività di gestione dei dati come la pulizia, la trasformazione e la riconciliazione dei dati.

L'azienda di Maheshwari ha collaborato con una grande azienda di commercio elettronico per implementare funzionalità di IA nei propri processi di integrazione dei dati, con l'obiettivo di migliorare le esperienze di acquisto dei consumatori.

“Integrando i dati sulle interazioni con i clienti in tempo reale con l'inventario dei prodotti e lo storico delle vendite, abbiamo consentito al nostro cliente di fornire consigli personalizzati sui prodotti, aumentando significativamente i tassi di conversione”, afferma Maheshwari.

Tendenza n. 4: anche l'automazione basata sui metadati velocizzerà e migliorerà la gestione e l'integrazione dei dati

Non tutta l'automazione ha bisogno dell'IA, tutt'altro. I processi di gestione e integrazione dei dati offrono opportunità per ridurre il lavoro manuale dispendioso in termini di tempo (e soggetto a errori). Per le organizzazioni che non sono ancora pronte a immergersi completamente nell'IA, Duffield indica l'automazione basata sui metadati come un'altra tendenza importante.

“Vediamo molte opportunità per l'automazione basata sui metadati durante l'acquisizione, l'integrazione e la distribuzione di soluzioni di analisi ad alto valore”, afferma Duffield. 

Metadati solidi possono favorire le fasi iniziali dell'integrazione dei dati nei processi delle piccole imprese e offrire vantaggi a valle in termini di affidabilità, accuratezza, provenienza e usabilità.

“Le piattaforme cloud che contengono una quantità significativa di metadati tecnici consentono una rapida implementazione e scalabilità delle pipeline di dati, oltre a fornire automaticamente informazioni sulla provenienza dei dati, dando ai consumatori di dati la certezza che i dati siano accurati e provengano dalla fonte corretta”, afferma Duffield.

Wyland di Steambase sottolinea che questa funzionalità, ovvero metadati e governance solidi, sarà fondamentale man mano che un numero maggiore di aziende adotterà gli LLM e altre forme di IA. 

“Comprendere il flusso dei dati è fondamentale”, afferma Wyland.

Prevede qui una tendenza sovrapposta: la crescita dei modelli “rosso-giallo-verde” (RAG), che rappresentano visivamente la provenienza e la qualità dei dati. 

“Aiutano i professionisti a comprendere il flusso dei dati tra i sistemi e a identificare potenziali colli di bottiglia o problemi”, afferma Wyland.

Tendenza n. 5: la verticalizzazione arriverà nell'integrazione dei dati

Considerata la natura dinamica dell'integrazione dei dati e dei dati stessi, Wyland vede anche significative opportunità ancora inesplorate per soluzioni adattate ai requisiti e ai casi d'uso specifici dei vari settori. 

Sebbene possano esistere alcuni principi fondamentali di gestione e integrazione dei dati applicabili praticamente a qualsiasi settore, gli approcci standardizzati potrebbero non cogliere le sfumature, o le differenze sostanziali, dell'integrazione dei dati, ad esempio, in un contesto manifatturiero rispetto a uno sanitario. Di conseguenza, Wyland 

“La verticalizzazione consiste nell'adattare [o] personalizzare le soluzioni di infrastruttura dei dati per settori o casi d'uso specifici”, afferma Wyland. “Consente alle organizzazioni di ottenere un migliore allineamento con le proprie esigenze aziendali.”

Per farlo in modo efficace saranno necessarie competenze specifiche del settore e la flessibilità di adattarsi a requisiti unici, il che significa notevoli opportunità per i professionisti dei dati e i fornitori di soluzioni di integrazione dei dati in grado di offrire questi risultati.

In sintesi

L'integrazione dei dati è un tema caldo, e per una buona ragione. È un mezzo fondamentale per dare un senso ai propri dati e generare valore tangibile. Altrimenti, si raccolgono semplicemente dati fine a se stessi.

Quali di queste tendenze dell'integrazione dei dati sono più rilevanti per la tua azienda? Iscriviti alla newsletter di The CTO Club per ulteriori notizie e discussioni sul settore!