Director de Ingeniería de Datos en la Nube comparte cómo utiliza los CustomGPT para capacitar a los ingenieros

Subash D'Souza es el director de Ingeniería de Datos en la Nube de la Universidad Estatal de California. También es el fundador de Data Con LA y Data 4 Good. Además, ha ocupado puestos de liderazgo en Headspace y Warner Bros.

Nos reunimos con Subash para saber cómo está capacitando a los ingenieros mientras mantiene la gobernanza y las revisiones. Esto es lo que nos contó.

Una carrera en datos

Soy el fundador de Data Con LA y Data 4 Good, un grupo de reflexión sin ánimo de lucro público-privado que trabaja con organizaciones para abordar problemas sociales mediante el uso de datos, incluidos asuntos como la falta de vivienda y la equidad digital, al tiempo que impulsa la innovación tecnológica, los datos y el análisis, y las asociaciones público-privadas.

Actualmente también soy el director de Ingeniería de Datos en la Nube de la Oficina del Rector de la Universidad Estatal de California. Formo parte de la Linux Foundation como miembro del PMC de Gobernanza de Datos. Antes de esto, fui responsable de Ingeniería de Datos en Headspace y director de macrodatos y Operaciones en Warner Bros.

Liderazgo en ingeniería de datos e IA

Lidero la organización de Ingeniería de Datos e IA/ML dentro de la Oficina del Rector de la Universidad Estatal de California, donde apoyo las iniciativas de datos de todo el sistema de la CSU.

Analizamos cómo la IA podría mejorar la experiencia del estudiante desde la solicitud hasta la graduación. Al aprovechar nuestra plataforma de datos existente y los datos de los estudiantes, nuestro objetivo es utilizar la IA para identificar patrones que mejoren la conversión de solicitudes, reconocer a los estudiantes que necesitan apoyo con mayor antelación y, en última instancia, mejorar las tasas de retención y graduación. Esto nos permite pasar de informar simplemente sobre lo que ocurrió a utilizar de forma proactiva los datos y la IA para ayudar a nuestros campus a tomar decisiones mejores y más tempranas que respalden el éxito de los estudiantes.

Nuestra arquitectura basada en la nube utiliza AWS, Databricks, Snowflake y plataformas de análisis para crear canalizaciones y productos de datos escalables. Mi equipo trabaja en un entorno complejo con múltiples campus, donde desarrollamos soluciones compartidas, establecemos estándares de ingeniería y permitimos que los campus creen e implementen sus propios productos de datos mediante nuestro modelo de Centro de Excelencia de Datos.

Cómo la IA puede capacitar a los ingenieros manteniendo la revisión y la gobernanza

Introduje la IA directamente en nuestro modelo de capacitación de ingeniería mediante el CustomGPT del Centro de Excelencia de Datos de la CSU.

Anteriormente, los desarrolladores dependían principalmente de la documentación y de los responsables de ingeniería para recibir orientación y resolver problemas. Creamos un mentor de IA específico para la CSU, basado en nuestras prácticas y documentación de ingeniería de datos, para ayudar a los desarrolladores a comprender nuestra arquitectura, nuestros estándares de desarrollo y nuestros flujos de trabajo.

Ayuda de tres maneras:

• En cuanto al conocimiento, el CustomGPT proporciona a los ingenieros acceso inmediato a orientación específica de la CSU sobre nuestra arquitectura, nuestros estándares y nuestros procesos de desarrollo, en lugar de tener que buscar en la documentación o esperar a un experto.
• En cuanto al desarrollo, ayuda a los ingenieros a comprender los patrones establecidos y a desenvolverse en nuestros flujos de trabajo de Databricks, Git, pruebas e implementación.
• En cuanto a la resolución de problemas, los ingenieros pueden describir un error o problema y utilizar la IA para identificar las causas probables y los siguientes pasos potenciales.

Esto proporcionó a los equipos un acceso más rápido a una orientación técnica coherente, redujo la dependencia de expertos individuales y nos ayudó a ampliar los conocimientos de ingeniería de datos entre los campus de la CSU, manteniendo nuestros procesos de revisión y gobernanza establecidos.

Por qué la IA acelera el trabajo mientras las personas siguen siendo responsables

Por lo tanto, cada vez utilizamos más la IA para respaldar actividades como el desarrollo de código, la resolución de problemas, la documentación, la orientación sobre pruebas y la ayuda a los ingenieros para desenvolverse en nuestros estándares de ingeniería de datos de CSU mediante herramientas como CustomGPT, que mencioné anteriormente.

Sin embargo, la IA todavía no ha sustituido el criterio humano en decisiones complejas de arquitectura, seguridad o producción. También hemos comprobado que a la IA le cuesta responder a preguntas que dependen de un contexto muy específico o de documentación técnica que cambia rápidamente.

Por ejemplo, puede sugerir un enfoque técnicamente válido para un problema de implementación o de seguridad sin comprender plenamente nuestros requisitos específicos de AWS, Databricks, Snowflake, control de acceso o aprobación.

Por eso, las decisiones de arquitectura, las implementaciones en producción, las decisiones sobre seguridad y acceso, y las revisiones finales del código siguen estando explícitamente bajo responsabilidad humana. Nuestro proceso de desarrollo exige revisión por pares, pruebas, validación integral y aprobaciones definidas antes de que el código avance hacia producción.

Utilizamos la IA para acelerar la ingeniería y mejorar la coherencia, mientras que los seres humanos siguen siendo responsables de las decisiones que afectan a la seguridad, la arquitectura, la gobernanza y los sistemas de producción.

Por qué los CTO deben crear una estructura de gobernanza antes de integrar la IA

Todo CTO debe comprender que la transformación mediante la IA no es principalmente un problema tecnológico: es un problema de personas, conocimiento y gobernanza.

La IA puede acelerar de forma drástica la manera en que los equipos aprenden, desarrollan y resuelven problemas, pero su valor depende de un conocimiento organizativo fiable y de una responsabilidad humana clara.

Sinceramente, me habría gustado reconocer antes que el valor de la IA depende en gran medida de la calidad y la organización del conocimiento que la sustenta. Por ejemplo, con nuestro CustomGPT, podríamos haber evitado parte de la experimentación inicial si nos hubiéramos centrado antes en seleccionar y organizar el conocimiento adecuado, definir en qué aspectos se debe confiar en la IA y en cuáles no, y establecer puntos de control humanos claros.

Mi mayor aprendizaje de todo esto fue que no basta con implementar una herramienta de IA. Primero hay que construir el conocimiento, la gobernanza y la responsabilidad humana que la rodean.

Por qué los CTO deben invertir tanto en la IA como en sus equipos

Aconsejo a los CTO que traten la IA como un acelerador, no como una estrategia de sustitución.

Empiecen por casos de uso prácticos en los que la IA elimine obstáculos, mejore la productividad de los desarrolladores y haga que el conocimiento organizativo sea más accesible. Pero mantengan la responsabilidad humana sobre las decisiones de arquitectura, seguridad y producción.

Igualmente importante es invertir en las personas. Nuestra experiencia con el CSU Data COE demuestra que combinar la IA con el aprendizaje práctico y la colaboración entre equipos crea una capacidad técnica más sólida.

Las organizaciones que tengan éxito con la IA combinarán la experimentación rápida con una sólida disciplina de ingeniería, una gobernanza eficaz y resultados medibles.

Sigue su trayectoria

Puedes seguir el trabajo de Subash D'Souza en LinkedIn. También puedes visitar Data Con LA y Data 4 Good.

¡Próximamente habrá más entrevistas con expertos en The CTO Club!