Når det gælder cyberangreb, passer datagiftning lige ind i billedet. Det lyder bare dårligt, især fordi erhvervslivet i stigende grad betragter data som den digitale pendant til et ædelmetal.
Det giver mening, for datagiftning er dårligt. Begrebet henviser til en ny risiko for AI-modeller, hvor en angriber – som kan være ekstern eller intern – med vilje ødelægger træningsdatasæt for at påvirke modellens funktion eller output. Det kan omfatte tilføjelse af dårlige data, manipulation af eksisterende data eller sletning af rene data.
Hvis du udvikler AI-drevne SaaS-produkter – eksempelvis en app til marketingautomatisering, der indeholder et LLM-værktøj – skal du se nærmere på, hvordan du beskytter dine modeller.
I denne artikel deler jeg ekspertråd om de vigtigste strategier til at minimere risikoen for datagiftning i dine AI-træningsdatasæt.
Hvad er datagiftning?
Et eksempel på datagiftning kommer fra NIST, som ligesom mange andre sikkerhedsorienterede organisationer tydeligvis holder øje med truslen: “[Angribere kan indsætte] adskillige eksempler på upassende sprog i samtaleregistre, så en chatbot fortolker disse eksempler som almindeligt nok sprog til at bruge i sine egne kundeinteraktioner.”
Pludselig bruger din trofaste kundeservicechatbot bandeord (eller et endnu værre sprog) i samtaler med dine rigtige menneskelige kunder. Det er sandsynligvis ikke det, nogen har i tankerne, når de taler om at bruge AI til at øge produktivitet, effektivitet eller innovation.
Uanset anvendelsesområde skal CTO'er, der integrerer generativ AI eller andre AI-baserede applikationer i deres SaaS-produkter, tage skridt til at beskytte deres træningsdata mod ondsindede tilføjelser, sletninger eller andre manipulationer, der kan påvirke alt fra modellens ydeevne til brugeroplevelsen og brandets omdømme.
Desuden: Eksperter synes generelt at være enige om, at forebyggelse er den bedste tilgang til datagiftning. Det er som regel lettere at forhindre, at det sker, end at begrænse konsekvenserne af en hændelse.
Sådan bekæmper du datagiftning – 5 principper til at minimere risici
1. Kend dine data.
En styrkelse af dit forsvar mod datagiftning begynder med en forståelse af, hvad du beskytter – du kan ikke beskytte noget, du ikke kender.
"Den første del af bekæmpelsen af datagiftning i AI-drevne SaaS-produkter er at have en klar forståelse af, hvilke data du træner din model på,” siger Ian Ahl, SVP hos P0 Labs, forskningsafdelingen for trusler hos leverandøren af identitetssikkerhed Permiso. “Det er afgørende at træne modeller på data, du kan kontrollere.”
Hvilken slags data er der tale om? Hvor kommer de fra? Hvem har adgang til dem? Hvis du ikke har klare svar på spørgsmål som disse, har du sandsynligvis en højere risiko for et datagiftningsangreb.
En solid forståelse af dine træningsdata er også en forudsætning for god datastyring, som vi udfolder nedenfor. Men indtil videre er det tilstrækkeligt at sige, at der skal være kontroller for, hvordan personer, teams og processer interagerer med og bruger træningsdata.
“Ved at evaluere selve dataene kan du indføre strammere kontroller for de brugere, der opdaterer dem, og have strenge sikkerhedsrammer for, hvordan kunder kan interagere med disse data,” Ahl siger. “Det er en kombination af overvågning af personer, processer og data."
2. Genovervej din strategi for datatransformation.
Du skal også overveje – og potentielt genoverveje – hvordan dine data kommer fra deres oprindelige kilder til dine modeller, også kendt som en datapipeline.
“De beslutninger, CTO'er træffer om strategien for datatransformation, påvirker direkte sikkerheden i deres AI-drevne SaaS-produkter, fordi disse beslutninger påvirker, hvor sårbare datapipelines kan være over for datagiftning,” siger Dave Jenkins, VP for produkt og forskning hos Iterate.ai.
Konkret siger Jenkins, at vi befinder os midt i et bredere skift fra ETL (Extract, Transform, Load) til ELT (Extract, Load, Transform)-arkitektur for datapipelines. Der er flere grunde til denne udvikling, men en fordel ved sidstnævnte strategi er, at den er bedre egnet til at minimere risikoen for problemer som datagiftning.
“Baggrunden for dette er, at når AI-datatransformationer sker tidligt, og modellen er dårligt justeret, eller datasættene stadig er ufuldstændige, som det nogle gange sker med ETL, bliver disse potentielt dårlige data indbygget,” siger Jenkins. “Fejl og hallucinationer kan formere sig derfra, og det kan være næsten umuligt at finde – og korrigere – kilden til de forgiftede data.”
På grund af dette tilføjer Jenkins, at man bør undgå et scenarie, hvor forskellige applikationer udfører deres egne transformationer, før dataene flyttes ind i en datasø. ELT-modellen vender så at sige rækkefølgen af operationerne om og giver dig mere kontrol samt en mere samlet transformationsproces.
“Ved i stedet at flytte alle transformationer til et datalagermiljø som Snowflake får CTO'er og deres teams større synlighed og kontrol, når de udvikler deres produkter,” siger Jenkins.
3. Prioritér god datastyring.
Synlighed og kontrol er afgørende, men de er utilstrækkelige uden stærke politikker og styring gennem hele jeres datapipelines og processer.
“At få dette til at fungere kræver naturligvis også tydelig styring,” siger Jenkins. “CTO'er skal angive, hvor AI-datatransformationer må finde sted. De vil gerne have revisionsspor, valideringsrammer, referencedatasæt til sammenligningstest og ideelt set transformationssandkasser til at teste og genteste for fejl eller hallucinationer før produktion.”
Ahl bemærker, at styringen også skal omfatte mennesker, særligt i form af tydelige politikker og sikkerhedsrammer for, hvem der kan interagere med træningsdata, hvilke data de må bruge osv.: “Uanset om det er en bruger eller et team, skal der være begrænsninger for de data, som den eller dem, der har mulighed for at tilføje filer for at træne en model, må anvende.”
4. Styrk jeres overordnede sikkerhedsniveau.
Det er også vigtigt at huske, at AI generelt endnu en gang udvider angrebsfladen for mange organisationer. Dataforgiftning er blot én potentiel trussel – om end en vigtig en. Alt det ovenstående bør ske som en del af en bredere sikkerhedsstrategi.
Hvis I allerede nedprioriterer grundlæggende sikkerhed som programrettelser, god adgangskodehygiejne, identitetsstyring og princippet om mindst mulige privilegier, følger det, at jeres AI-modeller og træningsdata også vil være endnu mere udsatte for risici.
5. Overvej træning af modeller mod angreb.
Når nyere trusler som dataforgiftning opstår, følger der som regel nye strategier og værktøjer til at forsvare sig mod disse trusler. Det sker nu med AI, som har medført en hel række nye risici, ikke kun dataforgiftning. Disse samles undertiden under betegnelsen “fjendtlig AI” eller den ondsindede brug af maskinlæring og andre former for AI til at angribe andre AI-systemer. Dataforgiftning er én form for fjendtlig AI.
I dette tilfælde kan I vende situationen på hovedet og bruge træning mod angreb, som grundlæggende lærer jeres modeller at identificere potentielle mønstre og uregelmæssigheder, der kan indikere dataforgiftning eller andre former for fjendtlig AI, og derefter træffe foranstaltninger til at begrænse dem.
Træning mod angreb vinder fortsat frem som en vigtig tilgang til AI-sikkerhed. For eksempel tilbyder denne akademiske artikel en ramme til begrænsning af skævheder, der kan være opstået gennem dataindsamling i sundhedssektoren, hvor de potentielle konsekvenser af dataforgiftning og andre angreb er særligt alvorlige. En anden artikel foreslår en ramme for træning mod angreb, der specifikt skal beskytte mod dataforgiftning.
Hvad er det næste?
Hvis I bygger generativ AI og andre AI-drevne funktioner ind i jeres SaaS-produktportefølje, skal I sikre, at jeres træningsdata er rene, nøjagtige og sikre.
Ellers øger I risikoen for dataforgiftning og andre problemer – og disse problemer er som regel lettere at forebygge end at løse bagefter.
Inden I går, kan I tilmelde jer vores nyhedsbrev for at få de seneste indsigter!
