Bestrijd gegevensvergiftiging met deze 5 stappen

In dit artikel deel ik deskundig advies over kernstrategieën om het risico op datavergiftiging in je AI-trainingsdatasets te beperken.

Wat is datavergiftiging?

Een voorbeeld van datavergiftiging, afkomstig van NIST, dat, net als veel andere organisaties die veiligheid hoog in het vaandel hebben staan, duidelijk aandacht besteedt aan de dreiging: “[Aanvallers kunnen] talloze voorbeelden van ongepast taalgebruik in gespreksverslagen invoegen, zodat een chatbot deze voorbeelden interpreteert als gangbaar taalgebruik en ze vervolgens gebruikt in zijn eigen klantinteracties.”

Plotseling gebruikt je vertrouwde chatbot voor klantenservice scheldwoorden (of zelfs erger taalgebruik) in gesprekken met je echte menselijke klanten. Dat is waarschijnlijk niet wat iemand voor ogen heeft wanneer die praat over het gebruik van AI om productiviteit, efficiëntie of innovatie te vergroten.

Ongeacht de toepassing moeten CTO's die generatieve AI of andere AI-gebaseerde toepassingen in hun SaaS-producten integreren, stappen ondernemen om hun trainingsgegevens te beschermen tegen kwaadaardige toevoegingen, verwijderingen of andere manipulaties die alles kunnen beïnvloeden, van modelprestaties tot gebruikerservaring, merkreputatie en meer.

Ook zijn deskundigen het er over het algemeen over eens dat preventie de beste aanpak is bij datavergiftiging. Het is meestal gemakkelijker om te voorkomen dat het gebeurt dan om de gevolgen van een incident te beperken.

Hoe bestrijd je datavergiftiging? – 5 principes om risico's te beperken

1. Ken je gegevens.

Het versterken van je verdediging tegen datavergiftiging begint met inzicht in wat je beschermt – je kunt niet beschermen wat je niet kent.

"Het eerste onderdeel van het bestrijden van datavergiftiging in AI-gestuurde SaaS-producten is een duidelijk begrip van de gegevens waarop je je model traint,” zegt Ian Ahl, SVP van P0 Labs, de afdeling voor onderzoek naar dreigingen van identiteitsbeveiligingsleverancier Permiso. “Het is cruciaal om modellen te trainen met gegevens waarover je controle hebt.”

Om wat voor gegevens gaat het? Waar komen ze vandaan? Wie heeft er toegang toe? Als je geen duidelijke antwoorden hebt op dit soort vragen, loop je waarschijnlijk een groter risico op een vergiftigingsaanval.

Een goed begrip van je trainingsgegevens is ook een voorwaarde voor goed gegevensbeheer, waar we hieronder dieper op ingaan. Voor nu volstaat het om te zeggen dat er controles moeten zijn op de manier waarop mensen, teams en processen met trainingsgegevens omgaan en deze gebruiken.

“Door de gegevens zelf te evalueren, kun je strengere controles instellen voor de gebruikers die deze bijwerken en strikte waarborgen invoeren voor de manier waarop klanten met die gegevens kunnen omgaan,” Ahl zegt. “Het is een combinatie van toezicht op mensen, processen en gegevens.”

2. Heroverweeg je strategie voor gegevenstransformatie.

Je moet ook nadenken over – en mogelijk heroverwegen – de manier waarop je gegevens van hun oorspronkelijke bronnen naar je modellen gaan, ook wel een datapijplijn genoemd.

“De beslissingen die CTO's nemen over hun strategie voor gegevenstransformatie hebben rechtstreeks invloed op de beveiliging van hun AI-aangedreven SaaS-producten, omdat die beslissingen bepalen hoe kwetsbaar datapijplijnen kunnen zijn voor vergiftiging,” zegt Dave Jenkins, VP Product en Onderzoek bij Iterate.ai.

Jenkins zegt specifiek dat we midden in een bredere verschuiving zitten van ETL (Extraheren, Transformeren, Laden) naar ELT (Extraheren, Laden, Transformeren)-architectuur voor datapijplijnen. Er zijn meerdere redenen voor deze trend, maar een voordeel van de laatstgenoemde strategie is dat deze beter geschikt is om het risico op problemen zoals datavergiftiging te beperken.

“De reden hiervoor is dat wanneer AI-gegevens vroeg worden getransformeerd en het model slecht is afgestemd of datasets nog onvolledig zijn, zoals soms gebeurt bij ETL, die mogelijk slechte gegevens worden ingebakken,” zegt Jenkins. “Fouten en hallucinaties kunnen zich vanaf dat moment vermenigvuldigen en het kan vrijwel onmogelijk zijn om de bron van de vergiftigde gegevens te vinden – en te corrigeren.”

Daarom, voegt Jenkins toe, wil je voorkomen dat verschillende toepassingen hun eigen transformaties uitvoeren voordat de gegevens naar een datameer worden verplaatst. Het ELT-model draait de volgorde van de bewerkingen als het ware om en geeft je meer controle en een meer uniform transformatieproces.

“Door in plaats daarvan alle transformaties naar een datawarehouseomgeving zoals Snowflake te verplaatsen, krijgen CTO's en hun teams meer inzicht en controle terwijl ze hun producten ontwikkelen,” zegt Jenkins.

3. Geef prioriteit aan goed databeheer.

Inzicht en controle zijn cruciaal, maar zonder sterk beleid en goed beheer in uw datastromen en processen zijn ze niet toereikend.

“Dit goed aanpakken vereist natuurlijk ook duidelijk beheer,” zegt Jenkins. “CTO's moeten specificeren waar AI-datatransformaties mogen plaatsvinden. Ze zullen auditsporen, validatiekaders, referentiedatasets voor vergelijkingstests en idealiter transformatiesandboxen willen hebben om vóór productie op fouten of hallucinaties te testen en opnieuw te testen.”

Ahl merkt op dat het beheer ook mensen moet omvatten, met name in de vorm van duidelijk beleid en duidelijke beperkingen rond wie toegang heeft tot trainingsgegevens, welke gegevens zij mogen gebruiken enzovoort: “Wie de mogelijkheid heeft om bestanden toe te voegen om een model te trainen, of dat nu een gebruiker of een team is, er moeten beperkingen gelden voor de gegevens die zij mogen benutten.”

4. Versterk uw algehele beveiligingspositie.

Het is ook belangrijk om te onthouden dat AI in het algemeen het aanvalsoppervlak van veel organisaties opnieuw uitbreidt. Datavergiftiging is slechts één potentiële bedreiging – zij het een belangrijke. Al het bovenstaande moet plaatsvinden binnen de context van een bredere beveiligingsstrategie.

Als u beveiligingsbasisprincipes zoals patchen, goede wachtwoordhygiëne, identiteitsbeheer en het principe van minimale bevoegdheden al negeert, spreekt het voor zich dat ook uw AI-modellen en trainingsgegevens nog vatbaarder zullen zijn voor risico's.

5. Overweeg training met tegenstanders.

Wanneer nieuwere bedreigingen zoals datavergiftiging ontstaan, volgen er doorgaans nieuwe strategieën en hulpmiddelen om zich tegen die bedreigingen te verdedigen. Dat gebeurt nu met AI, die een hele reeks nieuwe risico's met zich meebrengt, niet alleen datavergiftiging. Deze worden soms samengevat onder de term “vijandige AI”, oftewel het kwaadwillig gebruik van machinaal leren en andere vormen van AI om andere AI-systemen aan te vallen. Datavergiftiging is één vorm van vijandige AI.

U kunt het scenario hier omdraaien en training met tegenstanders gebruiken, waarbij uw modellen in essentie leren om potentiële patronen en afwijkingen te herkennen die kunnen wijzen op datavergiftiging of andere vormen van vijandige AI, en vervolgens stappen te zetten om deze te beperken. 

Training met tegenstanders wint steeds meer terrein als belangrijke aanpak voor AI-beveiliging. Zo biedt dit wetenschappelijke artikel een kader voor het beperken van vooroordelen die mogelijk tijdens gegevensverzameling in de gezondheidszorg zijn ontstaan, waar de mogelijke gevolgen van datavergiftiging en andere aanvallen bijzonder ernstig zijn. Een ander artikel stelt een trainingskader met tegenstanders voor, specifiek ter verdediging tegen datavergiftiging.

Wat komt hierna?

Als u generatieve AI en andere door AI aangestuurde mogelijkheden in uw SaaS-productportfolio opneemt, moet u ervoor zorgen dat uw trainingsgegevens schoon, nauwkeurig en veilig zijn.

Anders vergroot u het risico op datavergiftiging en andere problemen – en die problemen zijn doorgaans gemakkelijker te voorkomen dan achteraf op te lossen.

Schrijf u voordat u vertrekt in voor onze nieuwsbrief om de nieuwste inzichten te ontvangen!