Mic Drop de la Integración de Datos: 5 Tendencias a Observar
Datos, datos y más datos: Es la moneda común de prácticamente cualquier empresa o sector hoy en día. Pero el valor de esos datos depende en gran medida de las herramientas de integración de datos. Sin ellas, la mayoría de las organizaciones tienen dificultades para organizar, analizar, almacenar y proteger sus datos.
No importa cuán bueno seas recopilando datos, esos datos tienen poco valor a menos que puedas darles sentido. De hecho, muchos de los beneficios de la integración de datos giran en torno a ese objetivo fundamental: aumentar el valor de toda la información a tu alcance.
Eso también explica por qué la integración de datos se ha convertido en una industria multimillonaria por sí sola. Las organizaciones gestionan cantidades de datos cada vez mayores, además de fuentes de datos cada vez más diversas. Reunir toda esa información de una manera comprensible y utilizable, entre otras necesidades, es crucial.
Want more from The CTO Club?
Create a free account to finish this piece and join a community of CTOs and engineering leaders sharing real-world frameworks, tools, and insights for designing, deploying, and scaling AI-driven technology.
Have an account? Log In
"La integración de datos es la piedra angular de los negocios modernos, permitiendo una colaboración y una toma de decisiones sin contratiempos entre sistemas y fuentes diversas", afirma Rohit Maheshwari, cofundador de NMG Technologies.
Al igual que los propios datos, la integración de datos también se adapta y evoluciona constantemente ante nuevas capacidades y requerimientos.
"El panorama ha cambiado notablemente desde los primeros días de los procesos básicos de ETL hasta las sofisticadas soluciones de integración en tiempo real actuales", dice Maheshwari.
Con esto en mente, pedimos a Maheshwari y a otros expertos en datos que opinen sobre las tendencias más importantes de integración de datos que se están formando en 2024 y más allá. Esto fue lo que nos dijeron.
Tendencia #1: Las organizaciones están consolidando sus operaciones y gestión de datos
Cada vez más, donde encuentras integración de datos, también encontrarás consolidación de datos: Específicamente, la capacidad de reunir varias prácticas de gestión de datos en una sola plataforma, incluso si los propios datos provienen de una gama cada vez más amplia de fuentes.
"Estamos viendo un empuje hacia la consolidación", dice Erik Duffield, cofundador y CEO de Hakkoda, una consultora de datos especializada en la nube de Snowflake. La firma de Duffield encuestó recientemente a 500 líderes y responsables de datos en grandes empresas de EE.UU.; casi tres de cada cuatro encuestados (74%) informaron que planean implementar una nube centralizada para sus operaciones de datos en 2024.
Lucas Wyland, fundador de la firma de analítica de videojuegos Steambase, señala que fusionar operaciones de datos dispares en un solo lugar conlleva cierta complejidad inicial y generalmente requiere planificación cuidadosa, migración y compatibilidad de sistemas, entre otras necesidades. Pero los beneficios suelen valer la pena.
"La redundancia de datos es un desafío importante para las organizaciones", dice Wyland. "Por ello, optimicen las operaciones de datos consolidando los flujos de datos, procesos ETL y almacenamiento de datos. Así se simplifica la gestión y se reduce la redundancia".
Duffield, de Hakkoda, comparte un ejemplo de un cliente reciente, un banco regional cuyos datos estaban esencialmente divididos en tres silos diferentes. Eso provocó una fragmentación en la estrategia general de gestión de datos del banco.
"Trabajamos estrechamente con el cliente para consolidar sus fuentes de datos aisladas en una sola fuente de verdad, lo que les permitió no solo tener una visión más holística de sus datos, sino también establecer una base sólida, flexible y escalable para la innovación futura, incluida la integración con IA", dice Duffield.
(Guarda esa idea sobre la integración con IA; volveremos a ello en un momento).
Tendencia #2: Las arquitecturas de nube híbrida y multinube destacan la necesidad de integración de datos
Aunque cada vez más organizaciones consolidan su gestión de datos y operaciones, no puede decirse lo mismo de su cartera general de infraestructuras y aplicaciones. En muchas organizaciones, la infraestructura y las aplicaciones están cada vez más distribuidas en múltiples entornos, lo que subraya la necesidad de herramientas y prácticas robustas de integración de datos.
Esto probablemente también está alimentando la tendencia de consolidación. Maheshwari señala que integrar datos repartidos en entornos de nube diversos puede suponer sus propios retos, lo que impulsa la necesidad de "[soluciones de integración de datos] que ofrezcan flexibilidad, escalabilidad e interoperabilidad".
Las infraestructuras y aplicaciones distribuidas también resaltan el papel creciente de la integración de datos en la gobernanza de datos y la seguridad, según Maheshwari, quien añade que los líderes tecnológicos priorizan la privacidad de los datos, el cumplimiento regulatorio y la gestión de riesgos.
Tendencia n.º 3: La IA (eventualmente) se volverá omnipresente en los entornos de datos
Sí, la IA ya está “en todas partes” (realmente no). Pero en cuanto a los entornos tecnológicos de datos, solo estamos arañando la superficie.
La encuesta de Hakoda a líderes de datos reveló que la gran mayoría (85 %) planea poner en producción herramientas de IA generativa en 2024, por ejemplo, y Duffield señala que aproximadamente la mitad de esas empresas ya usan IA en varias formas de automatización.
“Pero estamos viendo casos de uso sofisticados, como asistentes de IA, ETL/ELT y la coincidencia e integración de esquemas, mucho menos a menudo—al menos por ahora”, dice Duffield.
Énfasis en por ahora: “Las organizaciones de TI están en una posición increíble para aprovechar la IA en procesos internos y cambiar la manera en que se diseña, construye y soporta la TI”, agrega Duffield.
Maheshwari igualmente anticipa una mayor adopción de algoritmos de IA y aprendizaje automático en los procesos de integración de datos y la automatización de tareas de gestión de datos como limpieza, transformación y reconciliación de datos.
La empresa de Maheshwari colaboró con una gran compañía de comercio electrónico para implementar capacidades de IA en sus procesos de integración de datos, con el objetivo de mejorar la experiencia de compra de los consumidores.
“Al integrar datos de interacción del cliente en tiempo real con inventario de productos e historial de ventas, permitimos a nuestro cliente ofrecer recomendaciones personalizadas de productos, incrementando significativamente las tasas de conversión”, comenta Maheshwari.
Tendencia n.º 4: La automatización basada en metadatos también acelerará y mejorará la gestión e integración de datos
No toda la automatización necesita IA—ni mucho menos. Los procesos de gestión e integración de datos ofrecen oportunidades para reducir el esfuerzo manual que consume tiempo (y propenso a errores). Para las organizaciones que aún no están listas para lanzarse de lleno a la IA, Duffield señala la automatización basada en metadatos como otra tendencia importante.
“Estamos viendo muchas oportunidades para la automatización impulsada por metadatos al ingerir, integrar y ofrecer soluciones analíticas de alto valor”, afirma Duffield.
Metadatos robustos pueden catalizar la integración de datos en procesos de pequeñas empresas en etapas tempranas y ofrecer ventajas posteriores en términos de confianza, precisión, linaje y facilidad de uso.
“Las plataformas en la nube que contienen metadatos técnicos significativos permiten un despliegue y escalamiento rápido de canalizaciones de datos, además de proporcionar información automática sobre el linaje de datos—brindando a los consumidores de datos la confianza de que los datos son precisos y provienen de la fuente correcta”, comenta Duffield.
Wyland de Steambase destaca que esta capacidad—metadatos robustos y gobernanza—será vital a medida que más empresas adopten LLMs y otras formas de IA.
“Comprender el flujo de datos es fundamental”, señala Wyland.
Él anticipa una tendencia superpuesta aquí: el crecimiento de modelos "rojo-ámbar-verde" (RAG) que representan visualmente el linaje y la calidad de los datos.
“Ayudan a los profesionales a entender el flujo de datos a través de los sistemas e identificar posibles cuellos de botella o problemas”, dice Wyland.
Tendencia n.º 5: La verticalización llegará a la integración de datos
Dada la naturaleza dinámica de la integración de datos y de los propios datos, Wyland también ve oportunidades significativas no explotadas para soluciones adaptadas a requisitos y casos de uso específicos de la industria.
Si bien pueden existir fundamentos de gestión e integración de datos que se apliquen prácticamente a cualquier sector, los enfoques generales pueden no captar los matices—o diferencias significativas—de la integración de datos en, por ejemplo, un entorno de manufactura frente a uno de salud. Como resultado, Wyland
“La verticalización implica adaptar [o] personalizar las soluciones de infraestructura de datos a industrias o casos de uso específicos”, explica Wyland. “Permite a las organizaciones lograr una mejor alineación con sus necesidades empresariales.”
Hacerlo eficazmente requerirá experiencia en el área y flexibilidad para adaptarse a requisitos únicos—lo que supone considerables oportunidades para profesionales y proveedores de integración de datos que puedan entregar estos servicios.
En resumen
La integración de datos está en auge, y con buena razón. Es un medio fundamental para dar sentido a tus datos y generar valor tangible. De lo contrario, solo estarías recolectando datos por el simple hecho de hacerlo.
¿Cuáles de estas tendencias en integración de datos son más relevantes para tu negocio? ¡Suscríbete al boletín de The CTO Club para más novedades del sector y debates!
