Diretor de Engenharia de Dados na Nuvem partilha como está a utilizar GPTs personalizados para capacitar engenheiros

Subash D'Souza é o Diretor de Engenharia de Dados na Nuvem da California State University. É também o fundador da Data Con LA e da Data 4 Good. Ocupou ainda cargos de liderança na Headspace e na Warner Bros.

Conversámos com Subash para saber como capacita os engenheiros, mantendo simultaneamente a governação e as revisões. Eis o que nos disse.

Uma carreira nos dados

Sou o fundador da Data Con LA e da Data 4 Good, um grupo de reflexão sem fins lucrativos, público-privado, que trabalha com organizações para enfrentar problemas sociais através da utilização de dados, incluindo questões como a falta de habitação e a equidade digital, promovendo simultaneamente a inovação tecnológica, os dados e a análise, bem como as parcerias público-privadas.

Sou também atualmente Diretor de Engenharia de Dados na Nuvem no Gabinete do Chanceler da California State University. Faço parte da Linux Foundation como membro do PMC de Governação de Dados. Antes disso, fui Diretor de Engenharia de Dados na Headspace e Diretor de Megadados e Operações na Warner Bros.

Liderar a engenharia de dados e a IA

Lidero a organização de Engenharia de Dados e IA/ML no Gabinete do Chanceler da California State University, apoiando iniciativas de dados em todo o sistema CSU.

Exploramos de que forma a IA pode melhorar a jornada do estudante, desde a candidatura até à conclusão do curso. Ao tirar partido da nossa plataforma de dados existente e dos dados dos estudantes, pretendemos utilizar a IA para identificar padrões que melhorem a conversão de candidaturas, reconhecer os estudantes que necessitam de apoio mais cedo e, em última análise, melhorar as taxas de retenção e de conclusão. Isto faz-nos passar de uma abordagem que se limita a comunicar o que aconteceu para uma utilização proativa dos dados e da IA, ajudando os nossos campus a tomar decisões melhores e mais atempadas que apoiem o sucesso dos estudantes.

A nossa arquitetura baseada na nuvem utiliza AWS, Databricks, Snowflake e plataformas de análise para criar pipelines e produtos de dados escaláveis. A minha equipa apoia um ambiente complexo com vários campus, onde desenvolvemos soluções partilhadas, estabelecemos normas de engenharia e permitimos que os campus criem e implementem os seus próprios produtos de dados através do nosso modelo de Centro de Excelência de Dados.

Como a IA pode capacitar os engenheiros, mantendo a revisão e a governação

Introduzi a IA diretamente no nosso modelo de capacitação da engenharia através do CustomGPT de Dados da CSU.

Anteriormente, os programadores dependiam sobretudo da documentação e dos responsáveis de engenharia para obter orientação e resolver problemas. Criámos um mentor de IA específico da CSU, baseado nas nossas práticas e documentação de engenharia de dados, para ajudar os programadores a compreender a nossa arquitetura, as normas de desenvolvimento e os fluxos de trabalho.

Ajuda de três formas:

• Ao nível do conhecimento, o CustomGPT proporciona aos engenheiros acesso imediato a orientações específicas da CSU sobre a nossa arquitetura, normas e processos de desenvolvimento, em vez de terem de procurar na documentação ou esperar por um especialista.
• Ao nível do desenvolvimento, ajuda os engenheiros a compreender padrões estabelecidos e a navegar pelos nossos fluxos de trabalho de Databricks, Git, testes e implementação.
• Ao nível da resolução de problemas, os engenheiros podem descrever um erro ou problema e utilizar a IA para identificar causas prováveis e possíveis passos seguintes.

Isto proporcionou às equipas um acesso mais rápido a orientações técnicas consistentes, reduziu a dependência de especialistas individuais e ajudou-nos a expandir o conhecimento de engenharia de dados pelos campus da CSU, mantendo os nossos processos de revisão e governação estabelecidos.

Porque a IA acelera o trabalho, enquanto os seres humanos continuam responsáveis

Assim, utilizamos cada vez mais a IA para apoiar atividades como o desenvolvimento de código, a resolução de problemas, a documentação, a orientação em matéria de testes e para ajudar os engenheiros a navegar pelas nossas normas de engenharia de dados da CSU através de ferramentas como o CustomGPT que mencionei acima.

No entanto, a IA ainda não substituiu o discernimento humano em decisões complexas relacionadas com a arquitetura, a segurança ou os ambientes de produção. Também descobrimos que a IA tem dificuldades com questões que dependem de um contexto altamente específico ou de documentação técnica em rápida mudança.

Por exemplo, pode sugerir uma abordagem tecnicamente válida para um problema de implementação ou de segurança sem compreender totalmente os nossos requisitos específicos da AWS, do Databricks, do Snowflake, do controlo de acessos ou das aprovações.

É por isso que as decisões de arquitetura, as implementações em produção, as decisões de segurança e de acesso e as revisões finais de código continuam a ser explicitamente humanas. O nosso processo de desenvolvimento exige revisão por pares, testes, validação de ponta a ponta e aprovações definidas antes de o código avançar para a produção.

Utilizamos a IA para acelerar a engenharia e melhorar a consistência, enquanto os humanos continuam responsáveis pelas decisões que afetam a segurança, a arquitetura, a governação e os sistemas de produção.

Porque é que os CTO têm de criar governação antes de integrar a IA

Todos os CTO devem compreender que a transformação com IA não é principalmente um problema tecnológico — é um problema relacionado com as pessoas, o conhecimento e a governação.

A IA pode acelerar significativamente a forma como as equipas aprendem, desenvolvem e resolvem problemas, mas o seu valor depende de conhecimento organizacional de confiança e de uma responsabilização humana clara.

Sinceramente, gostaria de ter reconhecido mais cedo que o valor da IA depende fortemente da qualidade e da organização do conhecimento que lhe está subjacente. Por exemplo, com o nosso CustomGPT, poderíamos ter evitado alguma da experimentação inicial se nos tivéssemos concentrado mais cedo na seleção do conhecimento adequado, na definição das situações em que a IA deve ou não ser considerada fiável e no estabelecimento de pontos de controlo humanos claros.

A minha maior aprendizagem foi que não se deve simplesmente implementar uma ferramenta de IA. Primeiro, é necessário criar o conhecimento, a governação e a responsabilização humana em torno dela.

Porque é que os CTO têm de investir tanto na IA como nas suas pessoas

Aconselho os CTO a encarar a IA como um acelerador, não como uma estratégia de substituição.

Comece por casos de utilização práticos em que a IA elimina obstáculos, melhora a produtividade dos programadores e torna o conhecimento organizacional mais acessível. No entanto, mantenha os humanos responsáveis pelas decisões de arquitetura, segurança e produção.

Igualmente importante, invista nas suas pessoas. A nossa experiência com o CSU Data COE demonstra que combinar a IA com aprendizagem prática e colaboração entre equipas contribui para desenvolver capacidades técnicas mais sólidas.

As organizações que tiverem sucesso com a IA combinarão a experimentação rápida com uma forte disciplina de engenharia, governação e resultados mensuráveis.

Acompanhe

Pode acompanhar o trabalho de Subash D'Souza no LinkedIn. Consulte também a Data Con LA e a Data 4 Good.

Em breve, mais entrevistas com especialistas no The CTO Club!