El lado oscuro de las pruebas de automatización & por qué las pruebas manuales siguen siendo importantes

Las pruebas automatizadas se han vuelto tan esenciales para ciertas rutinas que algunos probadores se preguntan si reemplazarán por completo a las pruebas manuales. 

No en un futuro próximo. 

Cuando el equipo de Tesla diseñó el Model 3, una de las formas en que querían aumentar el ritmo de producción era contar con una línea de montaje totalmente automatizada. La IA ensamblaría el coche con casi ninguna supervisión humana. 

El plan fracasó estrepitosamente.

Los coches chocaban entre sí, se perforaban las puertas al llegar a las ventanillas y los neumáticos no se colocaban correctamente en sus llantas. 

¿Qué ocurrió? Resulta que los robots no ven muy bien. La IA encargada de ensamblar el Model 3 no podía adaptarse a complicaciones inesperadas ni a pequeños desajustes. Si todo no estaba perfectamente alineado, cometía errores catastróficos. 

Lo mismo ocurre con las pruebas automatizadas en QA. Algunas formas de prueba tienen demasiadas variables y requieren que el probador manual pueda corregir el rumbo y solucionar problemas sobre la marcha. 

¿Qué son las pruebas automatizadas?

Las pruebas automatizadas consisten en que un probador de QA utiliza una herramienta para ejecutar un caso de prueba. Durante el ciclo de desarrollo, el mismo caso de prueba se probará varias veces.

Algunos casos de prueba que a un equipo de probadores de QA le llevaría horas completar manualmente pueden realizarse con una herramienta de pruebas automatizadas en unos minutos. Varias herramientas de pruebas automatizadas se han convertido en el estándar del sector. 

El lado oscuro de las pruebas automatizadas

Otros sectores, oficios y profesiones han tenido que afrontar la introducción de la automatización en su ámbito. Siempre que esto ha ocurrido, ya sea en la aviación con el piloto automático, en la fabricación de alfombras o en las pruebas, los trabajadores de ese campo pierden la comprensión del «porqué» de su trabajo.

Este es un fenómeno que el profesional de QA Jan Jaap Cannegieter observó que empezaba a ocurrir entre los probadores. Su mayor temor es que la facilidad de las pruebas automatizadas y el impulso creciente para automatizar gran parte del proceso de pruebas den lugar a una generación de probadores que sepan qué acciones realizar, pero no comprendan por qué. 

Muchos probadores lo saben todo sobre determinadas herramientas o lenguajes de programación, pero no pueden decirme qué prueban ni por qué lo prueban. Y eso es algo malo.

Ejemplos de malas pruebas automatizadas

Muchos probadores de QA ven el mismo potencial en las pruebas automatizadas. Por lo general, eso significa que existen tendencias observables y errores comunes que un probador de QA puede cometer. Estos son algunos ejemplos habituales de malas pruebas automatizadas. 

Anidamiento de pruebas automatizadas

El anidamiento de pruebas automatizadas ocurre cuando varias pruebas automatizadas se ejecutan unas sobre otras.  Cuando esto sucede, resulta difícil averiguar qué ha salido mal cuando aparece un error. 

A corto plazo, la mayoría de los casos de pruebas automatizadas son positivos. El probador de QA utiliza la herramienta adecuada y la ejecuta correctamente. 

Muchos ejemplos de malas pruebas automatizadas no se vuelven problemáticos hasta seis meses después, cuando las pruebas automatizadas se han anidado dentro de otras pruebas automatizadas, que a su vez están dentro de otras pruebas automatizadas. 

Pruebas automatizadas de la interfaz de usuario sin supervisión

Las pruebas de la interfaz de usuario garantizan que no haya nada que un usuario pueda hacer en la interfaz que rompa el programa o provoque fallos. Cuando se realizan manualmente, pueden requerir muchos probadores y una gran cantidad de trabajo. Francamente, es ineficiente probar de esa manera, especialmente a medida que el programa crece y es necesario probar más funciones. 

Con las pruebas automatizadas, el proceso se vuelve más rápido, pero aun así puede requerir toda la potencia del ordenador de un probador de QA durante un día entero. Para solucionarlo, los probadores de QA ejecutan la prueba al final del día, dejan que funcione durante la noche y vuelven al trabajo a la mañana siguiente con los resultados esperándolos. Tiene sentido, ¿verdad? 

A primera vista, parece lo más inteligente. El probador de QA utiliza su ordenador para probar otros programas durante el día y, por la noche, ejecuta las pruebas automatizadas en la interfaz de usuario.

Precisamente porque tiene sentido intuitivo, este es un error común. Pueden salir muchas cosas mal cuando las pruebas automatizadas se realizan sin supervisión.

Si algo sale mal al principio, el resto de los resultados será incorrecto. Un día entero de pruebas no produjo ninguna información útil debido a un error que podría haberse detectado y corregido fácilmente si hubiera habido alguien que comprobara que la prueba de automatización se estaba ejecutando correctamente.

Aunque las pruebas automatizadas a veces pueden dar falsos positivos, elegir las herramientas de automatización de QA adecuadas puede reducir significativamente estos casos. 

Automatizar las cosas equivocadas

Configurar las pruebas de automatización lleva tiempo. QA debe asegurarse de que las herramientas de automatización sean adecuadas para el proyecto y de que los probadores de QA sepan utilizarlas correctamente. 

Todo esto requiere mucho tiempo y organización, y si el resultado final es que se automatiza una prueba que normalmente se ejecuta una vez al mes, no merece la pena el esfuerzo. Antes de comenzar las pruebas de automatización, asegúrate de que aquello que vas a automatizar ahorrará a los probadores de QA una cantidad de tiempo medible.

No solo se pueden automatizar tareas que se realizan con tan poca frecuencia que no merece la pena el esfuerzo; algunas tareas simplemente no se pueden automatizar fácilmente.

Sustituir las pruebas manuales

Las pruebas automatizadas solo pueden detectar aquello que se les indica que deben buscar. Si las fuentes de una página web aparecen con un aspecto extraño, pero la prueba solo comprobaba que todos los enlaces del sitio funcionaran, resolverá un problema (los enlaces), pero no sabrá que había otro problema (las fuentes). 

Las pruebas manuales pueden detectar aspectos que quedan fuera del alcance inicial de la prueba. El método de pruebas exploratorias se diseñó para dar al probador de QA el espacio necesario para encontrar errores inesperados a medida que aparecieran, aunque eso no fuera lo que buscaba inicialmente. Al centrarse en una sola tarea, las pruebas de automatización pueden ser exhaustivas. Lo que no pueden ser es integrales. 

Ejemplos de buenas pruebas de automatización

La automatización de pruebas se realiza para minimizar el riesgo. Cuando un probador de QA puede minimizar el riesgo y maximizar la eficiencia, las pruebas de automatización deberían llevarse a cabo sin duda alguna.  No hay razón para que un probador de QA dedique horas a comprobar manualmente los enlaces de un sitio web cuando un rastreador web puede realizar la misma actividad en menos tiempo y con pocas probabilidades de cometer un error.

Una buena regla general para decidir cuándo deben utilizarse pruebas de automatización en lugar de pruebas manuales es preguntarse si la prueba será rápida o continua. Si la prueba se va a ejecutar continuamente, lo mejor es recurrir a las pruebas de automatización. 

Las personas rinden peor que las máquinas cuando se trata de realizar de forma constante tareas repetitivas con un alto nivel de calidad. Buscamos la novedad y desconectamos mentalmente cuando hacemos lo mismo durante demasiado tiempo. Esto permite que se escapen errores. 

De este modo, un probador de QA se dará cuenta de que: a) ha dedicado más tiempo que si hubiera ejecutado pruebas de automatización y b) ha hecho un trabajo peor y ha generado más problemas posteriormente. 

Jason Huggins, fundador de la popular herramienta de automatización Selenium, desarrolló el programa porque descubrió que pasaba muchos de sus días como probador ejecutando las mismas tareas: tareas que le parecían lo bastante sencillas y directas como para que incluso un robot pudiera realizarlas. Así que desarrolló un script que comprobaba automáticamente la funcionalidad del navegador por él. Fue un éxito instantáneo y rápidamente se convirtió en el estándar del sector. 

Incluso los profesionales de QA que se muestran escépticos ante las pruebas de automatización saben que, en muchos casos, estas cumplen una función. 

Por qué las pruebas manuales nunca desaparecerán

Hemos repasado los aspectos buenos, malos y muy malos de AT. Sabemos en qué situaciones funciona bien y dónde hace que las cadenas de montaje lancen neumáticos de automóvil por toda la fábrica. Veamos por un momento las pruebas manuales y por qué siguen siendo tan importantes para los probadores de QA. 

Las pruebas de automatización necesitan supervisión

Como se mencionó anteriormente, con el problema del Model 3 de Musk y los riesgos de ejecutar pruebas de automatización durante la noche, las cosas pueden salir muy mal cuando se dejan solas las herramientas de automatización. 

Los grandes beneficios de las pruebas de automatización se obtienen cuando se realizan junto con pruebas manuales o bajo la supervisión de un probador de QA. Solo por ese motivo, los probadores de QA pueden estar tranquilos, sabiendo que AT no asumirá sus funciones en un futuro próximo. 

Las pruebas manuales utilizan pruebas exploratorias

Cuando un probador realiza una prueba exploratoria, explora el software sin ningún plan predefinido. Es una de las formas más populares de pruebas en QA.

Las pruebas exploratorias solo pueden realizarse mediante pruebas manuales. 

La ventaja de las pruebas exploratorias es que permiten al probador adaptarse sobre la marcha a sus hallazgos, sin necesidad de escribir otro caso de prueba. 

Las pruebas exploratorias también permiten colaborar, elaborar teorías y compartir ideas, todo sobre la marcha. 

A medida que la teoría ágil del desarrollo ha adquirido mayor relevancia, también lo han hecho las pruebas exploratorias. 

Las pruebas automatizadas carecen de la flexibilidad y la creatividad necesarias para ser lo bastante ágiles para las pruebas exploratorias. Funcionan mejor en un entorno rígido en el que pueden determinar exactamente qué buscar. Las pruebas exploratorias son justo lo contrario: indican al probador de QA que vaya donde quiera. 

¿Qué opinas?

Algunas personas confían plenamente en las pruebas automatizadas, mientras que otras siguen pensando que las pruebas manuales son el camino que hay que seguir. ¿Cómo crees que los equipos de QA pueden sacar el máximo partido de las pruebas automatizadas? ¿Crees que estamos preparados para la IA en las pruebas?

Suscríbete al boletín de The CTO Club para recibir los artículos más recientes y las novedades de expertos del sector.