En lo que respecta a los ciberataques, el envenenamiento de datos realmente hace honor a su nombre. Simplemente suena mal, especialmente ahora que el mundo empresarial trata los datos cada vez más como el equivalente digital de un metal precioso.
Tiene sentido, porque el envenenamiento de datos es malo. El término se refiere a un riesgo emergente para los modelos de IA en el cual un atacante —externo o interno— corrompe deliberadamente los conjuntos de datos de entrenamiento para afectar el funcionamiento o los resultados del modelo. Eso podría incluir la adición de datos erróneos, la manipulación de datos existentes o la eliminación de datos limpios.
Si estás construyendo productos SaaS impulsados por IA —por ejemplo, una aplicación de automatización de marketing que incluya una herramienta LLM— necesitas observar más de cerca cómo estás protegiendo tus modelos.
En este artículo, te compartiré consejos de expertos sobre las estrategias clave para reducir el riesgo de envenenamiento de datos en los conjuntos de datos de entrenamiento de IA.
¿Qué es el envenenamiento de datos?
Un ejemplo de envenenamiento de datos cortesía del NIST, que, como muchas otras organizaciones enfocadas en la seguridad, está claramente prestando atención a esta amenaza: “[Los atacantes pueden insertar] numerosas instancias de lenguaje inapropiado en los registros de conversación, para que un chatbot interprete estas instancias como un lenguaje lo suficientemente común como para usarlo en interacciones propias con sus clientes.”
De repente, tu confiable chatbot de atención al cliente está utilizando groserías (o incluso peores palabras) en conversación con tus clientes reales. Eso probablemente no es lo que nadie tiene en mente cuando habla de usar la IA para aumentar la productividad, la eficiencia o la innovación.
Independientemente del caso de uso, los CTO que integran IA generativa u otras aplicaciones basadas en IA en sus productos SaaS deben tomar medidas para proteger sus datos de entrenamiento ante adiciones, eliminaciones u otras manipulaciones maliciosas que puedan afectar desde el rendimiento del modelo hasta la experiencia del usuario y la reputación de marca, entre otros aspectos.
Además: los expertos generalmente coinciden en que la prevención es la mejor postura ante el envenenamiento de datos. Por lo general, es más fácil impedir que ocurra que mitigar los impactos de un incidente.
Cómo combatir el envenenamiento de datos – 5 principios para minimizar los riesgos
1. Conoce tus datos.
Reforzar tus defensas contra el envenenamiento de datos comienza por entender qué estás protegiendo: no puedes proteger lo que no conoces.
"La primera parte para combatir el envenenamiento de datos en productos SaaS impulsados por IA es tener una idea clara de con qué datos estás entrenando tu modelo,” dice Ian Ahl, vicepresidente sénior de P0 Labs, el brazo de investigación de amenazas del proveedor de seguridad de identidad Permiso. “Es fundamental entrenar modelos con datos que puedas controlar.”
¿Qué tipo de datos son? ¿De dónde provienen? ¿Quién tiene acceso a ellos? Si no tienes respuestas claras a preguntas como estas, probablemente estás en mayor riesgo de sufrir un ataque de envenenamiento.
También es requisito previo para una buena gobernanza de datos comprender a fondo tus datos de entrenamiento, algo que detallaremos a continuación. Pero basta decir por ahora que deben existir controles sobre cómo las personas, los equipos y los procesos interactúan con los datos de entrenamiento y los utilizan.
“Al evaluar los propios datos, puedes implementar controles más estrictos sobre los usuarios que los actualizan y establecer límites firmes sobre cómo los clientes pueden interactuar con esos datos,” afirma Ahl. “Es una mezcla de supervisión sobre personas, procesos y datos."
2. Revisa tu estrategia de transformación de datos.
También necesitas considerar —y posiblemente replantear— cómo llegan tus datos desde sus fuentes originales hasta tus modelos, también conocido como el pipeline de datos.
“Las decisiones que toman los CTO sobre la estrategia de transformación de datos impactan directamente en la seguridad de sus productos SaaS impulsados por IA, porque esas decisiones afectan cuán vulnerables pueden ser los pipelines de datos ante el envenenamiento,” comenta Dave Jenkins, vicepresidente de Producto e Investigación en Iterate.ai.
En concreto, Jenkins afirma que estamos en medio de un cambio más amplio desde la ETL (Extract, Transform, Load) hacia la ELT (Extract, Load, Transform) en la arquitectura del pipeline de datos. Hay múltiples razones para esta tendencia, pero una ventaja de la segunda estrategia es que se adapta mejor para reducir el riesgo de problemas como el envenenamiento de datos.
“La razón de esto es que cuando las transformaciones de datos de IA ocurren temprano, y el modelo está mal ajustado o los conjuntos de datos todavía están incompletos, como ocurre a veces con ETL, esos datos potencialmente malos quedan incorporados,” dice Jenkins. “Los errores y las alucinaciones pueden multiplicarse desde allí, y encontrar —y corregir— la fuente de los datos envenenados puede ser prácticamente imposible.”
Por ello, agrega Jenkins, debes evitar que diferentes aplicaciones realicen sus propias transformaciones antes de que los datos se muevan a un data lake. El modelo ELT invierte el orden de las operaciones, por así decirlo, y te da más control y un proceso de transformación más unificado.
“En su lugar, al trasladar todas las transformaciones a un entorno de almacén de datos como Snowflake, los CTO y sus equipos obtienen mayor visibilidad y control mientras desarrollan sus productos”, dice Jenkins.
3. Prioriza una buena gobernanza de datos.
La visibilidad y el control son fundamentales, pero quedan incompletos sin políticas sólidas y una buena gobernanza a lo largo de tus canalizaciones y procesos de datos.
“Hacer esto bien, por supuesto, también requiere una gobernanza clara,” dice Jenkins. “Los CTO deben especificar dónde pueden ocurrir las transformaciones de datos para IA. Deberán contar con registros de auditoría, marcos de validación, conjuntos de datos de referencia para pruebas comparativas y, idealmente, entornos sandbox de transformación para probar y volver a probar en busca de errores o alucinaciones antes de llegar a producción.”
Ahl señala que la gobernanza también debe incluir a las personas, especialmente a través de políticas claras y límites en torno a quién puede interactuar con los datos de entrenamiento, qué datos pueden usar, etcétera: “Quien tenga la capacidad de añadir archivos para entrenar un modelo, ya sea un usuario o un equipo, debe estar sujeto a restricciones sobre los datos que puede aprovechar.”
4. Refuerza tu postura general de seguridad.
También es importante recordar que la IA en general está ampliando nuevamente la superficie de ataque de muchas organizaciones. La manipulación maliciosa de datos es sólo una de las amenazas potenciales – aunque una importante. Todo lo anterior debería estar ocurriendo dentro del contexto de una estrategia de seguridad más amplia.
Si ya descuidas los fundamentos de la seguridad como el parchado, la buena gestión de contraseñas, la administración de identidades y el principio de mínimo privilegio, es lógico que tus modelos de IA y los datos de entrenamiento sean aún más susceptibles a riesgos.
5. Considera el entrenamiento adversarial de modelos.
Cuando surgen amenazas más nuevas como la manipulación maliciosa de datos, normalmente aparecen también nuevas estrategias y herramientas para defenderse. Es lo que está ocurriendo ahora con la IA, que trae consigo un conjunto de nuevos riesgos, no solo la manipulación de datos. A veces, estos riesgos se agrupan bajo el término “IA adversarial”, o el uso malicioso del aprendizaje automático y otros tipos de IA para atacar otros sistemas de IA. La manipulación de datos es una forma de IA adversarial.
Aquí puedes darle la vuelta a la situación y utilizar el entrenamiento adversarial, que esencialmente enseña a tus modelos a detectar posibles patrones y anomalías que puedan indicar manipulación maliciosa de datos u otras formas de IA adversarial y después tomar medidas para mitigarlas.
El entrenamiento adversarial continúa ganando fuerza como un enfoque clave para la seguridad de la IA. Por ejemplo, este artículo académico ofrece un marco para mitigar sesgos que podrían haberse adquirido mediante la recolección de datos en entornos de salud, donde las consecuencias potenciales de la manipulación maliciosa de datos y otros ataques son especialmente graves. Otro artículo propone un marco de entrenamiento adversarial específicamente para defenderse contra la manipulación de datos.
¿Qué sigue?
Si estás incorporando capacidades de IA generativa y otras funciones potenciadas por IA en tu portafolio de productos SaaS, debes asegurarte de que tus datos de entrenamiento sean limpios, precisos y seguros.
De lo contrario, aumentas el riesgo de manipulación maliciosa de datos y otros problemas, que por lo general son más fáciles de prevenir que de solucionar después.
Antes de irte, suscríbete a nuestro boletín para recibir los últimos análisis.
