La IA en la automatización de pruebas: así es como funciona

El uso de la inteligencia artificial (IA) en la automatización de pruebas es la última tendencia en el aseguramiento de la calidad. Las pruebas en general y la automatización de pruebas en particular parecen haber contraído el virus de que «todo es mejor con IA».

Dado que la IA, el aprendizaje automático y las redes neuronales son lo más popular del momento, quizá era inevitable que la IA acabara incorporándose de alguna forma a la automatización de pruebas.

Un poco de historia de la automatización de pruebas

Recuerdo una época, hace varios años, cuando la automatización de pruebas aún era algo nuevo y uno de mis equipos de aseguramiento de la calidad estaba trabajando en un proyecto para un cliente importante. Se trataba de una aplicación móvil con millones de usuarios y ciclos de lanzamiento mensuales. El equipo de QA solía estar relajado durante las dos primeras semanas del ciclo y trabajaba frenéticamente después hasta el lanzamiento: ¡uno de los peculiares efectos secundarios del desarrollo ágil de software de los que no se habla en los titulares!

Finalmente, uno de los responsables de QA, harto de matar el tiempo durante esas dos semanas tranquilas, empezó a trabajar en un marco para la automatización de pruebas. Escribió algunos scripts de prueba en Ruby con Selenium / Appium y Jenkins para crear una canalización rudimentaria, incluidos unos informes bastante atractivos con indicadores rojos, amarillos y verdes para señalar el fallo o el éxito de las pruebas.

Lo hizo con éxito durante un par de ciclos de lanzamiento. Fue entonces cuando se lo presentamos a nuestro director de calidad, quien se lo propuso a nuestros clientes y consiguió entusiasmarles lo suficiente como para que pagaran por las pruebas automatizadas como subproyecto. ¡Estábamos en una nube, a la vanguardia de todo!

Sin embargo, estar a la vanguardia adquirió un nuevo significado pocos meses después, cuando descubrimos esa verdad fundamental sobre la automatización de pruebas con la que cualquier ingeniero de automatización de QA que se precie lidia hoy en día:

¿Por qué digo esto? Porque al poco tiempo nos sentíamos como Alicia en el país de las maravillas, corriendo como locos con la Reina Roja:

Acabábamos de descubrir la cruda realidad de la trampa de la automatización de pruebas: uno de nuestros ingenieros de QA tenía que mantener actualizada la suite de automatización con respecto a la aplicación en casi todos los ciclos de lanzamiento, ¡porque los cambios llegaban rápidamente y en grandes cantidades!

Bastaba con cambiar el nombre de un campo para que nuestras pruebas de software automatizadas desaparecieran por el proverbial agujero del conejo. El comienzo de un nuevo lanzamiento era especialmente problemático, ya que el equipo de desarrollo de software realizaba montones de nuevas incorporaciones.

La automatización de pruebas no ha cambiado fundamentalmente desde entonces, porque sigue requiriendo supervisión y mantenimiento continuos. Cualquier posibilidad de mejora drástica en el enfoque y la implementación solo ha aparecido con los recientes avances en las capacidades de la IA.

El entusiasmo por la IA frente a la realidad

La tecnología de IA en su forma actual consiste principalmente en utilizar algoritmos de aprendizaje automático para entrenar modelos con volúmenes de datos más o menos grandes y, posteriormente, utilizar los modelos entrenados para realizar predicciones o generar algún resultado deseado. Casi toda la IA encaja en esta descripción, ciertamente simplificada en exceso. Sin embargo, en lo que a nosotros respecta, la gran pregunta aquí es:

¿Será realmente capaz la IA de ayudar a generar y actualizar casos de prueba automáticamente? ¿Encontrar errores? ¿Mejorar la cobertura del código?

La respuesta a esa pregunta está lejos de ser clara en este momento, porque nos encontramos en el punto álgido del ciclo de entusiasmo por la IA. Un campo específico, el aprendizaje profundo, ha provocado gran parte de esta expectación.

Lo que me parece más interesante de este gráfico es lo siguiente:

Si se supone que Siri ya ha superado la curva del entusiasmo, entonces aún estamos muy lejos de Kansas, Dorothy!

Quiero decir, conozco a muchas personas que tienen que repetirse para conseguir que Siri entienda lo que dicen (sin ánimo de ofender a los fans de Siri. En serio 😉).

La curva de expectativas nos indica que existe mucha expectación sobre el potencial de la IA, que se enfría antes de que todo el mundo adopte el modo cotidiano y rutinario del negocio. En términos sencillos, lo que el elegante gráfico de Gartner está diciendo es lo siguiente:

Sin embargo, aunque todavía estamos muy lejos de la singularidad, la IA en su forma actual aún tiene el potencial de mejorar significativamente la automatización de pruebas.

¿Cómo produce pruebas automatizadas el aprendizaje automático?

1. Entrenamiento: Durante la fase de entrenamiento, el modelo de aprendizaje automático debe entrenarse con un conjunto de datos específico de la organización, que incluya la base de código, la interfaz de la aplicación, los registros, los casos de prueba e incluso los documentos de especificaciones. No disponer de un conjunto de datos de entrenamiento suficientemente grande puede reducir la eficacia del algoritmo.
   
   Algunas herramientas cuentan con modelos preentrenados que se actualizan mediante aprendizaje continuo para aplicaciones específicas, como las pruebas de UI, de modo que el aprendizaje generalizado pueda utilizarse en una organización concreta.
   
   
2. Generación de resultados: En función del caso de uso, el modelo genera casos de prueba, comprueba los casos de prueba existentes en cuanto a cobertura de código, integridad y precisión, e incluso realiza pruebas. En todos los casos, un probador debe revisar el resultado generado para validarlo y asegurarse de que se puede utilizar.
   
   Si utilizamos la analogía de los vehículos autónomos, los resultados se parecen más a una asistencia a la conducción que a un vehículo realmente autónomo.
   
   
3. Mejora continua: A medida que una organización sigue utilizando la herramienta con regularidad, los datos de entrenamiento aumentan, lo que puede incrementar la precisión y la eficacia de las redes entrenadas existentes. En resumen, el sistema de IA sigue aprendiendo y mejorando.

Los algoritmos de aprendizaje automático están revolucionando la automatización de pruebas. Para encontrar herramientas que incorporen estos algoritmos avanzados, consulta nuestra guía de herramientas de pruebas de software de primer nivel

Aplicaciones de la IA en la automatización de pruebas

Veamos más de cerca algunas aplicaciones de la IA en la automatización de pruebas, como las pruebas unitarias, las pruebas de interfaz de usuario, las pruebas de API y el mantenimiento de un conjunto de pruebas automatizadas.

Creación y actualización de pruebas unitarias

Las pruebas unitarias, que suelen utilizarse como parte de las pruebas continuas y de la integración continua / entrega continua (CI / CD) en DevOps, pueden ser un auténtico dolor de cabeza, incluso en el cinturón de asteroides.

Normalmente, los desarrolladores dedican mucho tiempo a escribir y mantener pruebas unitarias, lo cual no es ni de lejos tan divertido como escribir código de aplicaciones. En este caso, los productos basados en IA para crear pruebas unitarias automatizadas pueden resultar útiles, especialmente para las organizaciones que planean introducir pruebas unitarias en una fase avanzada del ciclo de vida del producto.

Ventajas: 

• Las pruebas unitarias automatizadas basadas en IA suponen un avance significativo respecto a la generación de pruebas unitarias automatizadas basada en plantillas mediante análisis estático o dinámico. Las pruebas generadas de este modo son código real, no simples esqueletos.
  
• Las pruebas unitarias basadas en IA pueden generarse muy rápidamente, lo que resulta útil para una base de código existente de gran tamaño.
  
• Los desarrolladores solo tienen que modificar las pruebas y pueden configurar el conjunto de pruebas de regresión unitaria con relativa rapidez.

Limitaciones: 

• Las pruebas unitarias generadas por IA simplemente reflejan el código sobre el que se basan. Todavía no pueden adivinar la funcionalidad prevista del código. Si el código no se comporta como se esperaba, la prueba unitaria generada para ese código reflejará ese comportamiento no deseado.
  
  Esto supone una desventaja importante, porque el objetivo principal de las pruebas unitarias es hacer cumplir y verificar un contrato implícito o explícito.
  
• Las pruebas unitarias generadas mediante aprendizaje automático pueden romper pruebas unitarias existentes que funcionan, y corresponde al desarrollador asegurarse de que esto no ocurra.
  
• Los desarrolladores deben escribir por sí mismos las pruebas para la lógica de negocio compleja.

Pruebas automatizadas de interfaz de usuario 

Esta es un área en la que la IA está empezando a destacar. En las pruebas de interfaz de usuario basadas en IA, las herramientas de automatización de pruebas analizan el DOM y el código relacionado para determinar las propiedades de los objetos. También utilizan técnicas de reconocimiento de imágenes para navegar por la aplicación y verificar visualmente los objetos y elementos de la interfaz de usuario con el fin de crear pruebas de interfaz de usuario.

Además, los sistemas de pruebas con IA utilizan pruebas exploratorias para encontrar errores o variaciones en la interfaz de usuario de la aplicación y generan capturas de pantalla para que un ingeniero de control de calidad las verifique posteriormente. Del mismo modo, se pueden verificar los aspectos visuales del sistema bajo prueba (SUT), como la disposición, el tamaño y el color.

Ventajas:

• Las pruebas automatizadas de la interfaz de usuario pueden aumentar la cobertura del código.
  
• Las pequeñas desviaciones en la interfaz de usuario no hacen que falle el conjunto de pruebas. Los modelos de IA del producto pueden gestionarlas.

Limitaciones:

• En cualquier aplicación moderna, el número de plataformas, versiones de la aplicación y versiones de los navegadores es elevado. No está claro hasta qué punto funciona la automatización de la interfaz de usuario basada en IA en estas condiciones. Sin embargo, las herramientas de pruebas en la nube pueden ejecutar pruebas en paralelo, ¡por lo que este será un ámbito interesante que habrá que seguir!

Uso de la IA para ayudar en las pruebas de API

Incluso sin IA, automatizar las pruebas de API no es una tarea sencilla, ya que implica comprender la API y configurar después pruebas para multitud de escenarios con el fin de garantizar una cobertura amplia y profunda.

Las actuales herramientas de automatización de pruebas de API, como Tricentis y SoapUI, registran las actividades y el tráfico de las API para analizarlos y crear pruebas. Sin embargo, modificar y actualizar las pruebas requiere que los evaluadores profundicen en los detalles de las llamadas REST y los parámetros, y que después actualicen el conjunto de pruebas de API.

Las herramientas de pruebas de automatización de API basadas en IA intentan mitigar este problema examinando el tráfico e identificando patrones y conexiones entre las llamadas de API, agrupándolas de forma eficaz por escenario. Las herramientas también utilizan las pruebas existentes para conocer las relaciones entre las API, emplean esta información para comprender los cambios en las API y actualizan las pruebas existentes o crean nuevas pruebas basadas en escenarios. 

Ventajas:

• Para los evaluadores principiantes o aquellos sin experiencia en programación, esto podría ser realmente útil para que puedan “ponerse manos a la obra”.
  
  Una vez más, la gestión de cambios sería considerablemente más sencilla, ya que al menos algunos de los cambios de la API podrían ser gestionados por una herramienta de automatización basada en IA.

Limitaciones:

• En general, las pruebas de API son difíciles de configurar y no muchas herramientas ofrecen capacidades basadas en aprendizaje automático en este ámbito. Las que sí lo hacen parecen tener capacidades bastante rudimentarias.

Mantenimiento de las pruebas de automatización

Las herramientas basadas en IA pueden evaluar los cambios en el código y corregir varias pruebas existentes que no se ajusten a dichos cambios, especialmente si esos cambios en el código no son demasiado complejos. Las actualizaciones de los elementos de la interfaz de usuario, los nombres de los campos y elementos similares ya no tienen por qué hacer que falle el conjunto de pruebas.

Algunas herramientas de IA supervisan las pruebas en ejecución y prueban variantes modificadas para las pruebas fallidas, seleccionando los elementos de la interfaz de usuario que mejor encajan. También pueden verificar la cobertura de las pruebas y completar las carencias si es necesario. 

Generación de datos de prueba basada en IA

La generación de datos de prueba es otra área prometedora para los modelos de IA. El aprendizaje automático puede generar fácilmente conjuntos de datos, como fotografías de perfiles personales e información como la edad y el peso, basándose en modelos de aprendizaje automático entrenados con conjuntos de datos de producción existentes para aprender. 

De este modo, los datos de prueba generados son muy similares a los datos de producción, lo que resulta ideal para utilizarlos en las pruebas de software. El modelo de aprendizaje automático que genera los datos se denomina red generativa antagónica (GAN).

Herramientas de automatización de pruebas que utilizan aprendizaje automático

Consulta las herramientas que aparecen a continuación si buscas software que utilice aprendizaje automático para realizar y supervisar pruebas automatizadas. Muchas incluyen opciones de código abierto o sin código para satisfacer las necesidades de tu equipo de pruebas.

• Applitools Eyes
• Functionize
• Mabl
• Parasoft SOAtest
• Testim.io

Conclusión

La inteligencia artificial ha tenido un impacto significativo en las herramientas y los métodos de prueba, y especialmente en la automatización de pruebas. Una revisión de las herramientas actuales que prometen incorporar inteligencia artificial muestra que, aunque se están añadiendo muchas funciones nuevas, varias de ellas todavía están en proceso de maduración.

Si este artículo te ha resultado útil, suscríbete al boletín de The QA Lead y mantente al día de todas las novedades del mundo de las pruebas.