Directeur Cloud Data Engineering deelt hoe hij CustomGPT’s inzet om ingenieurs te ondersteunen

Subash D'Souza is directeur Cloud Data Engineering aan California State University. Hij is ook de oprichter van Data Con LA en Data 4 Good. Daarnaast bekleedde hij leidinggevende functies bij Headspace en Warner Bros.

We spraken met Subash om te horen hoe hij data-engineers in staat stelt zelfstandig te werken en tegelijkertijd governance en beoordelingen handhaaft. Dit is wat hij vertelde.

Een carrière in data

Ik ben de oprichter van Data Con LA en Data 4 Good, een publiek-private non-profitdenktank die samenwerkt met organisaties om maatschappelijke problemen met behulp van data aan te pakken, waaronder dakloosheid en digitale gelijkheid, en tegelijkertijd technologische innovatie, data en analytics en publiek-private samenwerkingen bevordert.

Momenteel ben ik ook directeur Cloud Data Engineering bij het kantoor van de rector van California State University. Ik ben lid van de Data Governance PMC van de Linux Foundation. Daarvoor was ik hoofd Data Engineering bij Headspace en directeur Big Data & Ops bij Warner Bros.

Leidinggeven aan data-engineering en AI

Ik geef leiding aan de organisatie voor Data Engineering en AI/ML binnen het kantoor van de rector van California State University en ondersteun data-initiatieven binnen het CSU-systeem.

We onderzoeken hoe AI de studentreis van aanmelding tot afstuderen kan verbeteren. Door voort te bouwen op ons bestaande dataplatform en studentgegevens willen we AI gebruiken om patronen te identificeren die de conversie van aanmeldingen verbeteren, studenten te herkennen die eerder ondersteuning nodig hebben en uiteindelijk retentie- en afstudeerpercentages te verbeteren. Hierdoor verschuiven we van het simpelweg rapporteren van wat er is gebeurd naar het proactief gebruiken van data en AI om onze campussen te helpen betere, eerdere beslissingen te nemen die het succes van studenten ondersteunen.

Onze cloudgebaseerde architectuur maakt gebruik van AWS, Databricks, Snowflake en analyseplatforms om schaalbare datapijplijnen en dataproducten te bouwen. Mijn team ondersteunt een complexe omgeving met meerdere campussen, waarin we gedeelde oplossingen ontwikkelen, engineeringstandaarden vaststellen en campussen in staat stellen hun eigen dataproducten te bouwen en te implementeren via ons model van een excellentiecentrum voor data.

Hoe AI data-engineers kan ondersteunen en tegelijkertijd beoordeling en governance kan handhaven

Ik heb AI rechtstreeks geïntroduceerd in ons model voor het ondersteunen van data-engineers via de CSU Data COE CustomGPT.

Voorheen waren ontwikkelaars voornamelijk aangewezen op documentatie en leidinggevenden op het gebied van engineering voor begeleiding en het oplossen van problemen. We hebben een CSU-specifieke AI-mentor gecreëerd die is gebaseerd op onze data-engineeringpraktijken en documentatie, zodat ontwikkelaars onze architectuur, ontwikkelingsstandaarden en workflows beter kunnen begrijpen.

Dit helpt op drie manieren:

• Voor kennis geeft de CustomGPT data-engineers direct toegang tot CSU-specifieke richtlijnen over onze architectuur, standaarden en ontwikkelingsprocessen, in plaats van dat ze door documentatie moeten zoeken of op een expert moeten wachten.
• Voor ontwikkeling helpt de tool data-engineers om gevestigde patronen te begrijpen en hun weg te vinden in onze workflows voor Databricks, Git, testen en implementatie.
• Voor probleemoplossing kunnen data-engineers een fout of probleem beschrijven en AI gebruiken om waarschijnlijke oorzaken en mogelijke vervolgstappen te identificeren.

Hierdoor kregen teams sneller toegang tot consistente technische begeleiding, werd hun afhankelijkheid van individuele experts verminderd en konden we onze kennis over data-engineering over de CSU-campussen heen opschalen, terwijl we onze bestaande beoordelings- en governanceprocessen in stand hielden.

Waarom AI versnelt terwijl mensen verantwoordelijk blijven

We gebruiken AI dus steeds vaker om activiteiten te ondersteunen zoals codeontwikkeling, probleemoplossing, documentatie, testbegeleiding en om engineers te helpen navigeren door onze CSU-standaarden voor data-engineering via tools zoals de CustomGPT die ik hierboven noemde.

AI heeft menselijk inzicht in complexe architectuur-, beveiligings- of productie beslissingen echter nog niet vervangen. We hebben ook vastgesteld dat AI moeite heeft met vragen die afhankelijk zijn van zeer specifieke context of snel veranderende technische documentatie.

AI kan bijvoorbeeld een technisch geldige aanpak voorstellen voor een implementatie- of beveiligingsprobleem zonder onze specifieke vereisten voor AWS, Databricks, Snowflake, toegangsbeheer of goedkeuringen volledig te begrijpen.

Daarom blijven architectuurbeslissingen, productie-implementaties, beslissingen over beveiliging en toegang en definitieve codebeoordelingen expliciet menselijke verantwoordelijkheden. Ons ontwikkelproces vereist collegiale beoordeling, testen, end-to-endvalidatie en vastgelegde goedkeuringen voordat code richting productie gaat.

We gebruiken AI om engineering te versnellen en de consistentie te verbeteren, terwijl mensen verantwoordelijk blijven voor beslissingen die invloed hebben op beveiliging, architectuur, governance en productiesystemen.

Waarom CTO's governance moeten opbouwen voordat ze AI integreren

Elke CTO moet begrijpen dat AI-transformatie niet in de eerste plaats een technologisch probleem is — het is een probleem van mensen, kennis en governance.

AI kan de manier waarop teams leren, ontwikkelen en problemen oplossen drastisch versnellen, maar de waarde ervan hangt af van betrouwbare organisatorische kennis en duidelijke menselijke verantwoordelijkheid.

Eerlijk gezegd had ik eerder willen inzien dat de waarde van AI sterk afhankelijk is van de kwaliteit en organisatie van de kennis erachter. Met onze CustomGPT hadden we bijvoorbeeld enkele vroege experimenten kunnen vermijden door ons eerder te richten op het verzamelen en beheren van de juiste kennis, te bepalen waar AI wel en niet vertrouwd zou moeten worden en duidelijke menselijke controlepunten in te stellen.

Mijn belangrijkste les hieruit was dat je niet zomaar een AI-tool moet uitrollen. Eerst moet je de kennis, governance en menselijke verantwoordelijkheid eromheen opbouwen.

Waarom CTO's zowel in AI als in hun mensen moeten investeren

Ik adviseer CTO's om AI als versneller te beschouwen, niet als vervangingsstrategie.

Begin met praktische toepassingen waarbij AI belemmeringen wegneemt, de productiviteit van ontwikkelaars verbetert en organisatorische kennis toegankelijker maakt. Houd mensen echter verantwoordelijk voor beslissingen over architectuur, beveiliging en productie.

Investeer daarnaast in je mensen. Onze ervaring met het CSU Data COE laat zien dat het combineren van AI met praktijkgericht leren en samenwerking tussen teams sterkere technische vaardigheden opbouwt.

Organisaties die succesvol zijn met AI combineren snelle experimenten met sterke engineeringdiscipline, governance en meetbare resultaten.

Volg ons

Je kunt het werk van Subash D'Souza volgen op LinkedIn. Bekijk ook Data Con LA en Data 4 Good.

Er volgen nog meer expertinterviews op The CTO Club!