¡Impacto de la integración de datos: 5 tendencias que debes observar!

Las mejores herramientas de integración de datos

1. 

   Nexla

   This rating combines scores from multiple user review sites to reflect overall customer sentiment about the product.

   4.9

   Visit Website
2. 

   Celigo

   Visit Website
3. 

   Ketch

   This rating combines scores from multiple user review sites to reflect overall customer sentiment about the product.

   4.5

   Visit Website

"La integración de datos es la piedra angular de las empresas modernas, ya que permite una colaboración y una toma de decisiones fluidas entre sistemas y fuentes dispares", afirma Rohit Maheshwari, cofundador de NMG Technologies.

Al igual que los propios datos, la integración de datos también se adapta y evoluciona constantemente para responder a nuevas capacidades y requisitos.

“El panorama se ha transformado notablemente desde los primeros días de los procesos ETL básicos hasta las sofisticadas soluciones de integración en tiempo real actuales”, afirma Maheshwari.

Con esto en mente, pedimos a Maheshwari y a otros expertos en datos que comentaran las tendencias más importantes en integración de datos que se están desarrollando en 2024 y más allá. Esto es lo que nos dijeron.

Tendencia n.º 1: las organizaciones están consolidando sus operaciones y gestión de datos

Cada vez más, allí donde encuentras integración de datos, también encuentras consolidación de datos: concretamente, la capacidad de reunir varias prácticas de gestión de datos en una única plataforma, aunque los propios datos procedan de una variedad cada vez mayor de fuentes.

“Estamos viendo un impulso hacia la consolidación”, afirma Erik Duffield, cofundador y director ejecutivo de Hakkoda, una consultora de datos especializada en la nube de Snowflake. La empresa de Duffield encuestó recientemente a 500 responsables y encargados de la toma de decisiones en materia de datos de grandes empresas estadounidenses; casi tres de cada cuatro encuestados (74 %) afirmaron tener previsto implementar una nube centralizada para sus operaciones de datos en 2024.

Lucas Wyland, fundador de la empresa de análisis de videojuegos Steambase, señala que fusionar operaciones de datos dispares en un único lugar conlleva cierta complejidad inicial y suele requerir una planificación minuciosa, migración y compatibilidad entre sistemas, entre otras necesidades. Pero los beneficios suelen compensarlo.

“La redundancia de datos es un desafío importante para las organizaciones”, afirma Wyland. “Por ello, optimizan las operaciones de datos consolidando las canalizaciones de datos, los procesos ETL y los almacenes de datos. Esto simplifica la gestión y reduce la redundancia.”

Principales herramientas ETL

1. 

   Hevo

   This rating combines scores from multiple user review sites to reflect overall customer sentiment about the product.

   4.7

   Visit Website
2. 

   Adverity

   This rating combines scores from multiple user review sites to reflect overall customer sentiment about the product.

   4.5

   Visit Website
3. 

   Integrate.io

   This rating combines scores from multiple user review sites to reflect overall customer sentiment about the product.

   4.3

   Visit Website

Duffield, de Hakkoda, comparte el ejemplo de un cliente reciente, un banco regional cuyos datos estaban esencialmente divididos en tres silos diferentes. Esto provocaba una fragmentación en la estrategia general de gestión de datos del banco.

“Trabajamos estrechamente con el cliente para consolidar sus fuentes de datos aisladas en una única fuente de información fiable, lo que les permitió no solo reunir una visión más integral de sus datos, sino también sentar unas bases sólidas, flexibles y escalables para futuras innovaciones, incluida la integración de IA”, afirma Duffield.

(Recuerda esto sobre la integración de IA: volveremos a ello en un momento).

Tendencia n.º 2: las arquitecturas de nube híbrida y multinube subrayan la necesidad de la integración de datos

Aunque cada vez más organizaciones consolidan su gestión y operaciones de datos, no puede decirse lo mismo de su cartera más amplia de infraestructuras y aplicaciones. En muchas organizaciones, las infraestructuras y aplicaciones están cada vez más distribuidas entre múltiples entornos, lo que subraya la necesidad de contar con herramientas y prácticas sólidas de integración de datos.

Esto probablemente también está impulsando la tendencia hacia la consolidación. Maheshwari señala que integrar datos distribuidos entre diversos entornos en la nube puede generar sus propios desafíos, lo que cataliza la necesidad de “soluciones de [integración de datos] que ofrezcan flexibilidad, escalabilidad e interoperabilidad”.

La infraestructura y las aplicaciones distribuidas también ponen de relieve el papel cada vez más importante de la integración de datos en la gobernanza de datos y la seguridad, según Maheshwari, quien añade que los líderes tecnológicos priorizan la privacidad de los datos, el cumplimiento normativo y la gestión de riesgos.

Tendencia n.º 3: la IA acabará estando presente en todas las pilas de datos

Sí, la IA ya está “en todas partes” (en realidad, no). Pero, en lo que respecta a las pilas de tecnología de datos, apenas estamos empezando a explorar sus posibilidades.

La encuesta de Hakoda a líderes de datos reveló, por ejemplo, que la inmensa mayoría (85 %) tiene previsto poner en producción herramientas de IA generativa en 2024, y Duffield afirma que aproximadamente la mitad de esas empresas ya utiliza la IA en diversas formas de automatización.

Mejores plataformas de IA

1. 

   Snowflake Data Cloud

   This rating combines scores from multiple user review sites to reflect overall customer sentiment about the product.

   4.7

   Visit Website
2. 

   Dataiku

   This rating combines scores from multiple user review sites to reflect overall customer sentiment about the product.

   4.6

   Visit Website
3. 

   Gradient Labs

   Visit Website

“Pero estamos viendo con mucha menos frecuencia casos de uso sofisticados, como copilotos de IA, ETL/ELT y correspondencia e integración de esquemas, al menos por ahora”, afirma Duffield.

Énfasis en por ahora: “Las organizaciones de TI se encuentran en una posición extraordinaria para aprovechar la IA en los procesos internos y cambiar la forma en que se diseña, se desarrolla y se mantiene la TI”, añade Duffield.

Asimismo, Maheshwari prevé una adopción cada vez mayor de algoritmos de IA y aprendizaje automático en los procesos de integración de datos y la automatización de tareas de gestión de datos, como la limpieza, la transformación y la conciliación de datos.

La empresa de Maheshwari trabajó con una gran compañía de comercio electrónico para implementar capacidades de IA en sus procesos de integración de datos, con el objetivo de mejorar la experiencia de compra de los consumidores.

“Al integrar datos de interacción con los clientes en tiempo real con el inventario de productos y el historial de ventas, permitimos que nuestro cliente ofreciera recomendaciones de productos personalizadas, lo que aumentó significativamente las tasas de conversión”, afirma Maheshwari.

Tendencia n.º 4: la automatización basada en metadatos también acelerará y mejorará la gestión y la integración de datos

No toda automatización necesita IA, ni mucho menos. Los procesos de gestión e integración de datos ofrecen oportunidades para reducir el trabajo manual, que consume mucho tiempo y es propenso a errores. Para las organizaciones que aún no están preparadas para lanzarse de lleno a la IA, Duffield señala la automatización basada en metadatos como otra tendencia importante.

“Estamos viendo muchas oportunidades para la automatización basada en metadatos al incorporar, integrar y proporcionar soluciones de análisis de alto valor”, afirma Duffield. 

Unos metadatos sólidos pueden impulsar las primeras etapas de los procesos de integración de datos para pequeñas empresas y ofrecer ventajas posteriores en términos de confianza, precisión, trazabilidad y facilidad de uso.

“Las plataformas en la nube que contienen una cantidad considerable de metadatos técnicos permiten implementar y escalar rápidamente las canalizaciones de datos, además de proporcionar información sobre la trazabilidad de los datos de forma automática, lo que ofrece a los consumidores de datos la confianza de que los datos son precisos y proceden de la fuente correcta”, afirma Duffield.

Wyland, de Steambase, señala que esta capacidad —unos metadatos y una gobernanza sólidos— será vital a medida que más empresas adopten los LLM y otras formas de IA. 

“Comprender el flujo de datos es fundamental”, afirma Wyland.

Prevé aquí otra tendencia relacionada: el crecimiento de los modelos “rojo-ámbar-verde” (RAG), que representan visualmente la trazabilidad y la calidad de los datos. 

“Ayudan a los profesionales a comprender el flujo de datos entre sistemas e identificar posibles cuellos de botella o problemas”, afirma Wyland.

Tendencia n.º 5: la verticalización llegará a la integración de datos

Dada la naturaleza dinámica de la integración de datos y de los propios datos, Wyland también observa importantes oportunidades aún sin explotar para soluciones adaptadas a requisitos y casos de uso específicos de cada sector. 

Aunque puede haber algunos fundamentos de gestión e integración de datos aplicables a prácticamente cualquier sector, los enfoques universales quizá no capten los matices —o las diferencias fundamentales— de la integración de datos, por ejemplo, en un entorno de fabricación y en uno sanitario. Como resultado, Wyland 

“La verticalización consiste en adaptar [o] personalizar las soluciones de infraestructura de datos para sectores o casos de uso específicos”, afirma Wyland. “Permite a las organizaciones lograr una mejor alineación con sus necesidades empresariales”.

Para hacerlo de forma eficaz será necesario contar con conocimientos especializados del sector y con la flexibilidad para adaptarse a requisitos únicos, lo que supone importantes oportunidades para los profesionales de datos y los proveedores de integración de datos capaces de ofrecer estas soluciones.

En resumen

La integración de datos está en auge, y por buenas razones. Es un medio fundamental para dar sentido a los datos y generar un valor tangible. De lo contrario, solo se recopilan datos por el mero hecho de hacerlo.

¿Cuáles de estas tendencias de integración de datos son más relevantes para tu empresa? ¡Únete al boletín de The CTO Club para recibir más noticias y debates del sector!