Cómo construir una infraestructura preparada para la IA: Guía para TI empresarial
Muchas decisiones técnicas intervienen en el respaldo de la IA: desde qué LLM utilizar, dónde desplegar, qué infraestructura se requiere y cómo capacitar a los empleados. Recientemente, encuestamos a responsables de TI empresarial en EE. UU., y casi la mitad (44%) dijo que crear una infraestructura de datos preparada para IA es la principal prioridad actual. Las organizaciones de TI también están entrenando modelos existentes (37%), utilizando servicios en la nube para IA (32%), creando sus propios modelos de aprendizaje (32%), permitiendo a los empleados usar modelos comerciales de IA (29%) y capacitando a empleados (33%).
En este artículo, reviso estas diferentes áreas, ofreciendo algunas consideraciones para las empresas que están construyendo su llamada infraestructura preparada para IA. Como siempre, el presupuesto es un factor importante en la toma de decisiones tecnológicas relacionadas con IA, pero también lo son la seguridad, el cumplimiento de gobernanza y la disponibilidad de personal de TI con las competencias adecuadas en IA y ML.
Creando una Infraestructura de Datos Preparada para IA
Lanzar una iniciativa de IA en su empresa puede requerir desarrollo y entrenamiento de modelos si necesita construir su propio modelo generativo de IA. Esto normalmente empieza adquiriendo recursos computacionales de alto rendimiento: las costosas CPU, GPU y TPU que se requieren para alojar modelos de aprendizaje automático y procesar los datos a gran velocidad. Si bien la infraestructura preconfigurada, los modelos públicos y los servicios en la nube ofrecen ventajas de coste y facilidad de uso, las organizaciones de TI deben sopesar también los beneficios de mantener la IA internamente para un mejor control o, en su caso, establecer un modelo híbrido que proporcione los niveles correctos de gobernanza de datos, transparencia y seguridad.
Want more from The CTO Club?
Create a free account to finish this piece and join a community of CTOs and engineering leaders sharing real-world frameworks, tools, and insights for designing, deploying, and scaling AI-driven technology.
Have an account? Log In
El costo promedio de un servidor de IA es de $32,000. “El analista distinguido de Gartner, John-David Lovelock, señala que un rack de servidores de IA costará más de $1 millón.” Las tecnologías de almacenamiento basadas en flash diseñadas para IA también podrían incrementar los costes. Además está el soporte y mantenimiento de todo este equipo, que requiere personal de TI a tiempo completo y un centro de datos de última generación.
Uso de Datos Corporativos con IA
Independientemente de si está construyendo su propio modelo desde cero o, más probablemente, ajustando y utilizando modelos ya preparados, necesita gestión de datos para llevar los datos no estructurados correctos a la IA. La gestión de datos no estructurados automatiza los flujos de trabajo de datos para IA y administra la gobernanza de datos empresariales, especialmente cuando se trata de información sensible.
Los datos no estructurados, que según IDC representan el 90% de todos los datos, suelen estar dispersos en muchos silos, y esa es parte de la función de la gestión de datos: facilitar la búsqueda rápida, el etiquetado y la alimentación de los datos correctos a los modelos de IA.
Servicios en la Nube para IA
Los principales proveedores de nube han construido servicios integrales para respaldar la IA en organizaciones que no pueden o no quieren gestionar la tecnología internamente. Los componentes van desde almacenamiento y recursos de cómputo rápidos hasta aprendizaje automático, GenAI y herramientas de desarrollo. Si bien la IA basada en la nube tiene ventajas claras de coste—no necesita comprar servidores ni almacenamiento, ni cubrir el aumento de energía que añadiría a su centro de datos—es fácil sobreprovisionar y gastar de más en la nube. También existe el problema de la falta de habilidades en la nube.
Una estrategia de IA en la nube puede ser exitosa y rentable si se puede gestionar adecuadamente los datos. Por ejemplo, copiar petabytes de datos no estructurados en la nube y luego tratar de averiguar qué datos son útiles para IA generaría rápidamente una factura enorme.
También querrá evitar alimentar una aplicación de IA sin limpiar primero el desorden de datos: la mayoría de las organizaciones cuentan con grandes cantidades de datos duplicados, obsoletos o "zombis" que deberían eliminarse. Asegúrese de que sus datos estén en buen estado—clasificados y organizados—antes de moverlos, y solo traslade aquellos datos que sepa que encajan en el alcance de su proyecto. También es recomendable considerar los problemas de gobernanza de datos en la nube.
Elija casos de uso con un ROI predecible y asegúrese de poder medir los resultados más adelante. Los requisitos de seguridad y cumplimiento pueden excluir la opción de alojar IA en la nube. Como mínimo, comprender los riesgos de sus datos en cualquier servicio de IA y saber cómo auditar los proyectos en busca de riesgos de datos es fundamental antes de iniciar cualquier proyecto.
-
Oracle
Visit WebsiteThis is an aggregated rating for this tool including ratings from Crozdesk users and ratings from other sites.4.6 -
Red Hat
Visit WebsiteThis is an aggregated rating for this tool including ratings from Crozdesk users and ratings from other sites.4.5 -
Kamatera
Visit WebsiteThis is an aggregated rating for this tool including ratings from Crozdesk users and ratings from other sites.4.2
Decisiones sobre Modelos de Aprendizaje Automático
Los modelos de aprendizaje automático populares, como GPT, Claude, Gemini, TensorFlow y PyTorch, dependen de enormes conjuntos de datos públicos para su entrenamiento. Sin embargo, para que la IA sea útil y creíble en proyectos empresariales enfocados en mejorar operaciones, I+D o relaciones con clientes, querrá entrenar un modelo con sus propios datos propietarios y mantenerlo privado.
El entrenamiento y/o desarrollo de un modelo requiere las habilidades de científicos de datos especializados que dominen lenguajes de programación como Python y R, modelado y análisis de grandes datos, conocimientos de modelos de aprendizaje automático, así como de seguridad y computación en la nube.
Un equipo de análisis y ciencia de datos ambicioso y bien financiado puede incluso optar por desarrollar un modelo desde cero. Las razones para esto incluyen el deseo de tener un control total sobre la arquitectura y la seguridad y/o para apoyar un proyecto altamente sensible y competitivo. Si bien existen comunidades como Hugging Face y OpenAI que ayudan a elegir los componentes y a colaborar con otros, esto supone un enorme esfuerzo. Implica limpiar y preparar los datos, seleccionar y entrenar algoritmos, y ajustar el modelo para lograr precisión y confiabilidad. Se necesitará no solo la infraestructura, sino un equipo de ingenieros para realizar el trabajo.
Debido a las limitaciones de recursos en la mayoría de las organizaciones, el uso de modelos de ML propietarios o de código abierto preentrenados con datos corporativos es probablemente la vía más común hacia la IA. La inferencia de IA es un mercado mucho más grande y amplio que el entrenamiento de IA. Por lo tanto, las organizaciones de TI están invirtiendo cada vez más en crear la infraestructura de datos adecuada para encontrar, curar, auditar y alimentar los datos corporativos a la IA mientras mantienen la gobernanza de los datos.
El auge de las herramientas de IA listas para usar
La encuesta de Komprise encontró que solo el 30% de las organizaciones han designado un presupuesto para IA, lo que implica que el 70% todavía está experimentando e investigando la tecnología. Y hoy, eso probablemente significa usar aplicaciones de bajo costo como OpenAI ChatGPT, Anthropic Claude, Microsoft Copilot o Google Gemini. Empleados de distintos departamentos utilizan estas herramientas para responder preguntas, redactar textos, crear gráficos e imágenes, o programar código de software, todo ello con una rapidez sorprendente y resultados suficientemente buenos.
Lo que falta son estándares y buenas prácticas generalizadas. ¿Qué proyectos son seguros y apropiados para la GenAI? ¿Qué datos deberían usarse y cuáles deberían protegerse de la ingestión? ¿Cómo deberían evaluarse los trabajos derivados de GenAI en cuanto a precisión y legitimidad? ¿Qué sucede si la propiedad intelectual o datos de clientes se filtran a un LLM de uso general? ¿Cómo puede una empresa protegerse contra demandas por derechos de autor o difamación basadas en trabajos producidos por GenAI?
Comience por comprender su patrimonio de datos en términos de las características de los datos y la cantidad de datos sensibles, como PII y propiedad intelectual. Ese análisis ayudará a guiar a la organización en el desarrollo de políticas para el uso de GenAI que rijan los datos y los casos de uso. Será necesario contar con una herramienta para monitorear el cumplimiento e investigar los problemas que puedan surgir del uso de GenAI, si es que surgen.
¿Puede rastrear qué datos han sido enviados a la herramienta de IA por qué usuarios o departamentos? ¿Puede encontrar y mover datos sensibles fuera de directorios donde puedan ser descubiertos y extraídos por una herramienta de IA? Algunas soluciones de gestión de datos no estructurados ofrecen esta funcionalidad; la gobernanza de datos para IA es un área de demanda en crecimiento para prevenir repercusiones negativas de la IA que puedan dañar la confianza del cliente, la lealtad y la credibilidad en el mercado.
La necesidad de una gobernanza para GenAI
Dadas las preocupaciones generales del mercado con la IA, su conocida capacidad para crear resultados falsos y alucinaciones dañinas, el riesgo de fuga de datos corporativos hacia LLMs de uso general y el costo de desarrollar e implementar tecnologías de IA, los líderes de TI querrán un plan y un proceso a prueba de fallos para evaluar y desplegar el stack de IA.
¿Quiere más ideas sobre IA? Suscríbase al boletín de The CTO Club para recibir consejos y herramientas directamente en su bandeja de entrada.
