Il lato oscuro dei test di automazione & perché i test manuali contano

Scopri come offrire software e sistemi migliori in ambienti in rapida crescita. Unisciti alla nostra Comunità

Il testing automatizzato è diventato così parte integrante di alcune routine che alcuni tester si chiedono se sostituirà completamente il testing manuale.  Non tanto presto.  Quando il team di Tesla ha progettato la Model 3, uno dei modi con cui voleva aumentare il ritmo di produzione era avere una catena di montaggio completamente automatizzata. L’IA […]

Il testing automatizzato è diventato così parte integrante di alcune routine che alcuni tester si chiedono se sostituirà completamente il testing manuale. 

Non tanto presto. 

Quando il team di Tesla ha progettato la Model 3, uno dei modi con cui voleva aumentare il ritmo di produzione era avere una catena di montaggio completamente automatizzata. L'IA avrebbe assemblato l'auto con una supervisione umana quasi nulla. 

Il piano è fallito in modo clamoroso.

Le auto si scontravano tra loro, i finestrini venivano forati per installare le portiere e gli pneumatici non si montavano correttamente sui cerchioni. 

Che cosa è successo? Beh, si è scoperto che i robot non vedono molto bene. L'IA incaricata di assemblare la Model 3 non era in grado di adattarsi a complicazioni impreviste o a lievi disallineamenti. Se tutto non era perfettamente allineato, commetteva errori catastrofici. 

Lo stesso vale per il testing automatizzato nel campo della QA. Alcune forme di testing presentano troppe variabili e richiedono che il tester manuale sia in grado di correggere il percorso e risolvere i problemi al volo. 

Che cos'è il testing automatizzato?

Il testing automatizzato consiste nell'utilizzo, da parte di un tester QA, di uno strumento per eseguire un caso di test. Nel ciclo di sviluppo, lo stesso caso di test verrà verificato più volte.

Alcuni casi di test che richiederebbero a un team di tester QA ore di lavoro manuale possono essere eseguiti da uno strumento di testing automatizzato in pochi minuti. Diversi strumenti di testing automatizzato sono diventati lo standard del settore. 

Il lato oscuro del testing automatizzato

Altri settori, mestieri e professioni hanno dovuto affrontare l'introduzione dell'automazione nel loro ambito. Ogni volta che è successo, che si trattasse dell'aviazione con il pilota automatico, della tessitura dei tappeti o del testing, i lavoratori di quel settore hanno perso la comprensione del “perché” alla base del loro lavoro.

Questo è un fenomeno che il professionista della QA Jan Jaap Cannegieter ha notato iniziare a verificarsi tra i tester. La sua più grande preoccupazione è che la facilità del testing automatizzato e la spinta crescente ad automatizzare gran parte del processo di testing portino a una generazione di tester che sanno quali azioni eseguire, ma non ne comprendono il motivo. 

Molti tester conoscono tutto di determinati strumenti o linguaggi di programmazione, ma non sanno dirmi che cosa testano e perché lo testano. E questo è un problema.

UNISCITI ALLA COMUNITÀ
Arricchisci la tua casella di posta con più saggezza sulla leadership tecnologica per offrire software e sistemi migliori.
Get Free Access

Have an account? Log In

Esempi di testing automatizzato eseguito male

Molti tester QA vedono lo stesso potenziale nel testing automatizzato. In genere, ciò significa che esistono tendenze osservabili ed errori comuni che un tester QA può commettere. Ecco alcuni esempi comuni di testing automatizzato eseguito male. 

Annidamento dei test automatizzati

L'annidamento dei test automatizzati si verifica quando diversi test automatizzati vengono eseguiti uno sopra l'altro.  Quando accade, diventa difficile capire che cosa sia andato storto quando compare un errore. 

Nel breve periodo, la maggior parte dei casi di testing automatizzato è positiva. Il tester QA utilizza lo strumento corretto e lo esegue nel modo giusto. 

Molti esempi di testing automatizzato eseguito male diventano problematici solo sei mesi dopo, quando i test automatizzati sono stati annidati all'interno di altri test automatizzati, a loro volta annidati all'interno di altri test automatizzati. 

Testing automatizzato dell'interfaccia utente senza supervisione

Il testing dell'interfaccia utente garantisce che non ci sia nulla che un utente possa fare nell'interfaccia in grado di danneggiare il programma o causare malfunzionamenti. Se eseguito manualmente, può richiedere molti tester e una grande quantità di lavoro. A dire il vero, è inefficiente eseguire il testing in questo modo, soprattutto quando il programma cresce e sono necessarie verifiche su un numero maggiore di funzioni. 

Con il testing automatizzato, il processo diventa più rapido, ma può comunque richiedere tutta la potenza del computer di un tester QA per un'intera giornata. Per gestire la situazione, i tester QA eseguono il test alla fine della giornata, lo lasciano lavorare durante la notte e tornano al lavoro la mattina seguente trovando i risultati già pronti. Ha senso, no? 

In apparenza, sembra la cosa più intelligente da fare. Il tester QA utilizza il computer durante il giorno per testare altri programmi, poi di notte esegue il testing automatizzato sull'interfaccia utente.

Proprio perché sembra avere senso intuitivamente, questo è un errore comune. Quando il testing automatizzato viene eseguito senza supervisione, possono verificarsi moltissimi problemi.

Se qualcosa va storto all'inizio, il resto dei risultati sarà errato. Un'intera giornata di test non ha prodotto alcuna informazione utile a causa di un errore che avrebbe potuto essere facilmente individuato e corretto se ci fosse stato qualcuno a verificare che il test di automazione stesse funzionando correttamente.

Sebbene i test automatizzati possano talvolta portare a falsi positivi, scegliere i giusti strumenti di automazione della QA può ridurre significativamente tali casi. 

Automatizzare le cose sbagliate

La configurazione dei test di automazione richiede tempo. La QA deve assicurarsi che gli strumenti di automazione siano adatti al progetto e che i tester QA sappiano utilizzare correttamente gli strumenti. 

Tutto questo richiede molto tempo e organizzazione e, se il risultato finale è l'automazione di un test che normalmente viene eseguito una volta al mese, lo sforzo non vale la pena. Prima di iniziare i test di automazione, assicurati che ciò che stai per automatizzare faccia risparmiare ai tester QA una quantità misurabile di tempo.

Non solo è possibile automatizzare attività troppo rare per valere lo sforzo: alcune attività semplicemente non possono essere automatizzate facilmente.

Sostituire i test manuali

I test automatizzati possono rilevare solo ciò che viene loro detto di cercare. Se i caratteri di una pagina web risultano strani, ma il test verificava soltanto che tutti i link del sito funzionassero, risolverà un problema (i link), ma non si accorgerà che c'è qualcosa che non va nell'altro elemento (i caratteri). 

I test manuali possono individuare problemi al di fuori dell'ambito iniziale del test. Il metodo dei test esplorativi è stato progettato per dare al tester QA lo spazio necessario a individuare bug imprevisti nel momento in cui si manifestano, anche se inizialmente non li stava cercando. Concentrati su un'unica attività, i test di automazione possono essere approfonditi. Ciò che non possono essere è completi. 

Esempi di buoni test di automazione

L'automazione dei test viene eseguita per ridurre al minimo i rischi. Quando un tester QA può minimizzare i rischi e massimizzare l'efficienza, i test di automazione dovrebbero essere assolutamente eseguiti.  Non c'è motivo per cui un tester QA debba trascorrere ore a verificare manualmente i link di un sito web quando un crawler web può svolgere la stessa attività in meno tempo e con minori probabilità di commettere errori.

Una buona regola pratica per decidere quando utilizzare i test di automazione invece di quelli manuali consiste nel chiedersi se il test sarà rapido o continuo. Se il test deve essere eseguito continuamente, la scelta giusta è il test di automazione. 

Quando si tratta di svolgere costantemente attività ripetitive a un livello elevato, le persone sono peggiori delle macchine. Desideriamo la novità e ci disimpegniamo mentalmente quando facciamo la stessa cosa troppo a lungo. Questo permette agli errori di passare inosservati. 

Proprio così, un tester QA si renderà conto di aver: a) impiegato più tempo rispetto a quanto avrebbe fatto eseguendo i test di automazione e, b) svolto un lavoro peggiore, creando più problemi in seguito. 

Jason Huggins, fondatore del popolare strumento di automazione dei test Selenium, ha sviluppato il programma perché si è accorto che trascorreva molte delle sue giornate da tester eseguendo le stesse attività, attività che riteneva abbastanza semplici e lineari da poter essere svolte persino da un robot. Così ha sviluppato uno script che testava automaticamente per lui le funzionalità del browser. Fu un successo immediato e divenne rapidamente lo standard del settore. 

Anche i professionisti della QA scettici riguardo ai test di automazione sanno che in molti casi questi svolgono una funzione utile. 

Perché i test manuali non moriranno mai

Abbiamo esaminato gli aspetti positivi, negativi e pessimi dell'AT. Sappiamo in quali situazioni funziona bene e dove fa sì che le catene di montaggio lancino pneumatici per auto in giro per la fabbrica. Per un momento, esaminiamo i test manuali e il motivo per cui sono ancora così importanti per i tester QA. 

I test di automazione richiedono supervisione

Come accennato in precedenza, con il problema del Model 3 di Musk e i rischi legati all'esecuzione dei test di automazione durante la notte, le cose possono andare molto male quando si lasciano soli gli strumenti di automazione. 

GIF sui test di automazione che richiedono supervisione

I grandi vantaggi dei test di automazione si ottengono quando vengono eseguiti insieme ai test manuali o sotto la supervisione di un tester QA. Solo per questo motivo, i tester QA dovrebbero stare tranquilli sapendo che l'AT non sostituirà i loro ruoli nel prossimo futuro. 

More Articles

I test manuali utilizzano i test esplorativi

Quando un tester esegue un test esplorativo, esplora il software senza alcun piano predefinito. È una delle forme di test più diffuse nell'ambito del controllo qualità.

I test esplorativi possono essere eseguiti solo tramite test manuali. 

Il vantaggio dei test esplorativi è che consentono al tester di adattarsi immediatamente a ciò che scopre, senza dover scrivere un altro caso di test. 

I test esplorativi consentono inoltre di collaborare e sviluppare teorie in tempo reale. 

Con la crescente diffusione della teoria agile dello sviluppo, sono diventati più diffusi anche i test esplorativi. 

I test automatizzati non hanno la flessibilità e la creatività necessarie per essere abbastanza agili da supportare i test esplorativi. Funzionano al meglio in un ambiente rigido, in cui sanno esattamente cosa cercare. I test esplorativi sono l'esatto opposto: chiedono al tester del controllo qualità di andare ovunque desideri. 

Cosa ne pensi?

Alcune persone credono fermamente nei test automatizzati, mentre altre pensano ancora che la strada da seguire sia quella dei test manuali. Come pensi che i team del controllo qualità possano ottenere il massimo dai test automatizzati? Pensi che siamo pronti per l'IA nei test?

Iscriviti alla newsletter di The CTO Club per ricevere gli ultimi articoli e aggiornamenti dagli esperti del settore.

Jason Boog
Over his 15-year career, Jason Boog has worked as a QA tester, QA analyst, and Senior QA Analyst on video games, commercial sites, and interactive web applications. He spent more than a decade building out the QA team and process as Director of Quality & Client Support at a full-service digital agency.
Follow the author:

You may also like