Quanto aos ciberataques, o envenenamento de dados está mesmo à altura do nome. Só soa mal, especialmente quando o mundo empresarial trata cada vez mais os dados como o equivalente digital de um metal precioso.
Isso faz sentido, porque o envenenamento de dados é mau. O termo refere-se a um risco emergente para modelos de IA no qual um atacante – que pode ser externo ou interno – corrompe deliberadamente conjuntos de dados de treino para afetar as operações ou os resultados do modelo. Isso pode incluir adicionar dados incorretos, manipular dados existentes ou eliminar dados íntegros.
Se está a desenvolver produtos SaaS baseados em IA – por exemplo, uma aplicação de automatização de marketing que inclui uma ferramenta de LLM – precisa de analisar mais atentamente a forma como está a proteger os seus modelos.
Neste artigo, partilharei conselhos de especialistas sobre estratégias fundamentais para minimizar o risco de envenenamento de dados nos seus conjuntos de dados de treino de IA.
O que é o envenenamento de dados?
Um exemplo de envenenamento de dados, cortesia do NIST, que, tal como muitas outras organizações preocupadas com a segurança, está claramente atento à ameaça: “[Os atacantes podem inserir] inúmeras ocorrências de linguagem inadequada nos registos de conversas, fazendo com que um chatbot interprete essas ocorrências como uma forma de expressão suficientemente comum para a utilizar nas suas próprias interações com os clientes.”
De repente, o seu chatbot de serviço de apoio ao cliente de confiança está a usar palavrões (ou linguagem ainda pior) em conversas com os seus verdadeiros clientes humanos. Provavelmente, não é isso que alguém tem em mente quando fala em utilizar a IA para aumentar a produtividade, a eficiência ou a inovação.
Independentemente do caso de utilização, os CTO que incorporam IA generativa ou outras aplicações baseadas em IA nos seus produtos SaaS precisam de tomar medidas para proteger os seus dados de treino contra adições, eliminações ou outras manipulações maliciosas que podem afetar tudo, desde o desempenho do modelo à experiência do utilizador, passando pela reputação da marca e muito mais.
Além disso: os especialistas parecem geralmente concordar que a prevenção é a melhor abordagem relativamente ao envenenamento de dados. Normalmente, é mais fácil impedir que aconteça do que mitigar os impactos de um incidente.
Como combater o envenenamento de dados – 5 princípios para minimizar os riscos
1. Conheça os seus dados.
Reforçar as suas defesas contra o envenenamento de dados começa por compreender o que está a proteger – não pode proteger aquilo que não conhece.
"A primeira parte do combate ao envenenamento de dados em produtos SaaS baseados em IA consiste em compreender claramente com que dados está a treinar o seu modelo,” afirma Ian Ahl, SVP da P0 Labs, o ramo de investigação de ameaças do fornecedor de segurança de identidades Permiso. “É fundamental treinar modelos com dados que possa controlar.”
Que tipo de dados são? De onde vêm? Quem tem acesso a eles? Se não tem respostas claras para perguntas como estas, provavelmente corre um risco maior de sofrer um ataque de envenenamento.
Uma compreensão sólida dos seus dados de treino é também um pré-requisito para uma boa governação de dados, que analisaremos mais abaixo. Mas, por agora, basta dizer que é necessário existirem controlos sobre a forma como as pessoas, as equipas e os processos interagem com os dados de treino e os utilizam.
“Ao avaliar os próprios dados, pode impor controlos mais rigorosos aos utilizadores que os atualizam e estabelecer limites de segurança estritos para a forma como os clientes podem interagir com esses dados,” Ahl afirma. “É uma combinação de supervisão sobre as pessoas, os processos e os dados."
2. Reavalie a sua estratégia de transformação de dados.
Também precisa de considerar – e potencialmente reconsiderar – a forma como os seus dados passam das fontes originais para os seus modelos, algo também conhecido como um pipeline de dados.
“As decisões que os CTO tomam relativamente à estratégia de transformação de dados afetam diretamente a segurança dos seus produtos SaaS baseados em IA, porque essas decisões influenciam o grau de vulnerabilidade dos pipelines de dados ao envenenamento,” afirma Dave Jenkins, VP de Produto e Investigação da Iterate.ai.
Especificamente, Jenkins afirma que estamos no meio de uma mudança mais ampla da arquitetura de pipelines de dados ETL (Extrair, Transformar, Carregar) para ELT (Extrair, Carregar, Transformar). Existem várias razões para esta tendência, mas uma vantagem da última estratégia é o facto de ser mais adequada para minimizar o risco de problemas como o envenenamento de dados.
“A razão para isto é que, quando as transformações dos dados de IA ocorrem numa fase inicial e o modelo está mal ajustado ou os conjuntos de dados ainda estão incompletos, como por vezes acontece com ETL, esses dados potencialmente incorretos ficam incorporados,” afirma Jenkins. “Os erros e as alucinações podem multiplicar-se a partir daí, e encontrar – e corrigir – a origem dos dados envenenados pode ser praticamente impossível.”
Por esse motivo, acrescenta Jenkins, deve evitar uma situação em que diferentes aplicações façam as suas próprias transformações antes de os dados serem transferidos para um lago de dados. O modelo ELT inverte a ordem das operações, por assim dizer, proporcionando-lhe mais controlo e um processo de transformação mais unificado.
“Ao transferirem, em vez disso, todas as transformações para um ambiente de armazém de dados como o Snowflake, os CTOs e as suas equipas ganham maior visibilidade e controlo à medida que desenvolvem os seus produtos,” afirma Jenkins.
3. Dê prioridade a uma boa governação de dados.
A visibilidade e o controlo são fundamentais, mas ficam incompletos sem políticas e governação sólidas em todas as suas condutas e processos de dados.
“Fazer isto corretamente exige, naturalmente, também uma governação clara,” afirma Jenkins. “Os CTOs têm de especificar onde podem ocorrer transformações de dados de IA. Deverão ter registos de auditoria, estruturas de validação, conjuntos de dados de referência para testes de comparação e, idealmente, ambientes de teste isolados de transformação para testar e voltar a testar a existência de erros ou alucinações antes da entrada em produção.”
Ahl salienta que a governação também precisa de incluir as pessoas, especialmente sob a forma de políticas e limites claros relativamente a quem pode interagir com os dados de treino, aos dados que pode utilizar, entre outros aspetos: “Quem tiver a capacidade de adicionar ficheiros para treinar um modelo, seja um utilizador ou uma equipa, tem de estar sujeito a restrições relativamente aos dados que pode utilizar.”
4. Reforce a sua postura geral de segurança.
Também é importante lembrar que a IA, em geral, está novamente a expandir a superfície de ataque de muitas organizações. O envenenamento de dados é apenas uma ameaça potencial – embora seja importante. Tudo o que foi referido acima deve ocorrer no contexto de uma estratégia de segurança mais abrangente.
Se já negligencia fundamentos de segurança como a aplicação de correções, boas práticas de palavras-passe, gestão de identidades e o princípio do privilégio mínimo, então é natural que os seus modelos de IA e dados de treino também estejam ainda mais suscetíveis a riscos.
5. Considere o treino adversarial de modelos.
Quando surgem ameaças mais recentes, como o envenenamento de dados, normalmente surgem também novas estratégias e ferramentas para as combater. É isso que está a acontecer agora com a IA, que trouxe consigo todo um conjunto de novos riscos, não apenas o envenenamento de dados. Estes riscos são por vezes agrupados sob o termo “IA adversária”, ou utilização maliciosa da aprendizagem automática e de outros tipos de IA para atacar outros sistemas de IA. O envenenamento de dados é uma forma de IA adversária.
Pode inverter a abordagem neste caso e utilizar o treino adversarial, que ensina essencialmente os seus modelos a identificar padrões e anomalias potenciais que possam indicar envenenamento de dados ou outras formas de IA adversária e, em seguida, a tomar medidas para as mitigar.
O treino adversarial continua a ganhar força como uma abordagem fundamental à segurança da IA. Por exemplo, este artigo académico apresenta uma estrutura para mitigar enviesamentos que possam ter sido adquiridos através da recolha de dados em contextos de cuidados de saúde, onde as potenciais consequências do envenenamento de dados e de outros ataques são especialmente graves. Outro artigo propõe uma estrutura de treino adversarial especificamente para a defesa contra o envenenamento de dados.
O que se segue?
Se está a integrar IA generativa e outras capacidades baseadas em IA no seu portefólio de produtos SaaS, tem de garantir que os seus dados de treino são limpos, precisos e seguros.
Caso contrário, aumenta os riscos de envenenamento de dados e de outros problemas – e esses problemas são normalmente mais fáceis de prevenir do que de resolver posteriormente.
Antes de sair, subscreva o nosso boletim informativo para receber as informações mais recentes!