O Lado Sombrio dos Testes de Automação & Por Que os Testes Manuais Ainda São Importantes

Os testes de automação tornaram-se tão essenciais em determinadas rotinas que alguns testadores questionam-se se irão substituir completamente os testes manuais. 

Não num futuro próximo. 

Quando a equipa da Tesla concebeu o Model 3, uma das formas que pretendia utilizar para aumentar o ritmo de produção era ter uma linha de montagem totalmente automatizada. A IA montaria o automóvel com quase nenhuma supervisão humana. 

O plano falhou de forma desastrosa.

Os automóveis colidiam uns com os outros, eram feitos buracos para as portas nas janelas e os pneus não eram devidamente colocados nas jantes. 

O que aconteceu? Bem, acontece que os robôs não conseguem ver muito bem. A IA responsável pela montagem do Model 3 não conseguia adaptar-se a complicações inesperadas ou a pequenos desalinhamentos. Se tudo não estivesse perfeitamente alinhado, cometia erros catastróficos. 

O mesmo se aplica aos testes de automação em QA. Algumas formas de teste têm demasiadas variáveis e exigem que o testador manual consiga corrigir o rumo e resolver problemas no momento. 

O que são os testes de automação?

Os testes de automação significam que um testador de QA utiliza uma ferramenta para executar um caso de teste. Durante o ciclo de desenvolvimento, o mesmo caso de teste será testado várias vezes.

Alguns dos casos de teste que demorariam horas a ser executados manualmente por uma equipa de testadores de QA podem ser realizados por uma ferramenta de automação em poucos minutos. Várias ferramentas de testes de automação tornaram-se o padrão da indústria. 

O lado obscuro dos testes de automação

Outras indústrias, áreas profissionais e profissões tiveram de lidar com a introdução da automação nos seus setores. Sempre que isso aconteceu, quer tenha sido na aviação com o piloto automático, na tecelagem de carpetes ou nos testes, os profissionais dessa área perdem a compreensão do «porquê» por detrás do seu trabalho.

Este é um fenómeno que o profissional de QA, Jan Jaap Cannegieter, observou começar a acontecer com os testadores. O seu maior receio é que a facilidade dos testes de automação e a pressão crescente para automatizar grande parte do processo de testes conduzam a uma geração de testadores que sabe que ações executar, mas não compreende o motivo. 

Muitos testadores sabem tudo sobre determinadas ferramentas ou linguagens de programação, mas não conseguem dizer-me o que testam nem por que razão o testam. E isso é algo negativo.

Exemplos de maus testes de automação

Muitos testadores de QA veem o mesmo potencial nos testes de automação. Normalmente, isso significa que existem tendências observáveis e erros comuns que um testador de QA pode cometer. Eis alguns exemplos comuns de maus testes de automação. 

Aninhamento de testes de automação

O aninhamento de testes de automação ocorre quando vários testes de automação são executados uns sobre os outros.  Quando isso acontece, torna-se difícil perceber o que correu mal quando surge um erro. 

A curto prazo, a maioria dos casos de testes de automação é positiva. O testador de QA utiliza a ferramenta certa e executa-a corretamente. 

Muitos exemplos de maus testes de automação só se tornam problemáticos seis meses mais tarde, quando os testes automatizados foram aninhados dentro de outros testes automatizados, que por sua vez estão dentro de outros testes automatizados. 

Testes de automação da interface do utilizador sem supervisão

Os testes da interface do utilizador garantem que não existe nada que um utilizador possa fazer na interface do utilizador que interrompa o programa ou provoque falhas. Quando realizados manualmente, podem exigir muitos testadores e uma grande quantidade de mão de obra. Francamente, é ineficiente testar dessa forma, sobretudo à medida que o programa cresce e é necessário testar mais funções. 

Com os testes de automação, o processo torna-se mais rápido, mas pode continuar a exigir toda a capacidade do computador de um testador de QA durante um dia inteiro. Para lidar com isso, os testadores de QA executam o teste no final do dia, deixam-no funcionar durante a noite e regressam ao trabalho na manhã seguinte, com os resultados à sua espera. Faz sentido, certo? 

À primeira vista, parece ser a atitude mais inteligente. O testador de QA utiliza o computador para testar outros programas durante o dia e, à noite, executa os testes de automação na interface do utilizador.

É precisamente por fazer sentido intuitivamente que este é um erro comum. Muitas coisas podem correr mal quando os testes de automação são realizados sem supervisão.

Se algo correr mal no início, o resto dos resultados estará errado. Um dia inteiro de testes não produziu qualquer informação útil devido a um erro que poderia ter sido facilmente detetado e corrigido se alguém estivesse presente para verificar se o teste de automatização estava a ser executado corretamente.

Embora os testes automatizados possam, por vezes, conduzir a falsos positivos, escolher as ferramentas de automatização de QA certas pode reduzir significativamente essas ocorrências. 

Automatizar as coisas erradas

Os testes de automatização demoram tempo a configurar. A QA precisa de garantir que as ferramentas de automatização são adequadas ao projeto e que os testadores de QA sabem utilizar corretamente as ferramentas. 

Tudo isto exige muito tempo e organização e, se o resultado final for a automatização de um teste que normalmente é executado uma vez por mês, o esforço não compensa. Antes de iniciar os testes de automatização, certifique-se de que aquilo que vai automatizar irá poupar uma quantidade mensurável de tempo aos testadores de QA.

Não só é possível automatizar tarefas que são demasiado raras para justificarem o esforço, como também há tarefas que simplesmente não podem ser automatizadas com facilidade.

Substituir os testes manuais

Os testes automatizados só conseguem detetar aquilo que lhes for indicado para procurar. Se os tipos de letra de uma página Web aparecerem com um aspeto estranho, mas o teste apenas verificar se todas as ligações do site funcionam, resolverá um problema (as ligações), mas não saberá que havia algo errado com o outro (os tipos de letra). 

Os testes manuais conseguem detetar problemas fora do âmbito inicial do teste. O método de testes exploratórios foi concebido para dar ao testador de QA espaço para encontrar erros inesperados à medida que surgem, mesmo que não fosse isso que procurava inicialmente. Concentrados numa única tarefa, os testes de automatização podem ser minuciosos. O que não podem ser é abrangentes. 

Exemplos de bons testes de automatização

A automatização de testes é realizada para minimizar o risco. Quando um testador de QA consegue minimizar o risco e maximizar a eficiência, os testes de automatização devem, sem dúvida, ser realizados.  Não há razão para um testador de QA passar horas a verificar manualmente as ligações de um site quando um rastreador Web pode realizar a mesma atividade em menos tempo e com menor probabilidade de cometer um erro.

Uma boa regra geral para decidir quando devem ser utilizados testes de automatização em vez de testes manuais consiste em perguntar se o teste será rápido ou contínuo. Se o teste for executado continuamente, os testes de automatização são a melhor opção. 

As pessoas são piores do que as máquinas quando se trata de executar consistentemente tarefas repetitivas a um nível elevado. Procuramos novidades e desligamo-nos mentalmente quando fazemos a mesma coisa durante demasiado tempo. Isto permite que os erros passem despercebidos. 

Assim, um testador de QA perceberá que: a) passou mais tempo do que teria passado se tivesse executado testes de automatização e b) fez um trabalho pior e criou mais problemas posteriormente. 

Jason Huggins, fundador do popular testador de automatização Selenium, desenvolveu o programa porque percebeu que passava muitos dos seus dias enquanto testador a executar as mesmas tarefas — tarefas que considerava suficientemente simples e diretas para que até um robô as pudesse realizar. Por isso, desenvolveu um script que testava automaticamente a funcionalidade dos navegadores por si. Foi um sucesso imediato e rapidamente se tornou o padrão da indústria. 

Até os profissionais de QA céticos em relação aos testes de automatização sabem que, em muitos casos, estes servem um propósito. 

Porque é que os testes manuais nunca desaparecerão

Já analisámos os aspetos bons, maus e muito maus dos testes automatizados. Sabemos em que situações funcionam bem e onde fazem com que as linhas de montagem atirem pneus de automóveis por toda a fábrica. Por agora, vejamos os testes manuais e por que razão continuam a ser tão importantes para os testadores de QA. 

Os testes de automatização precisam de supervisão

Como foi mencionado acima, com o problema do Model 3 de Musk e os riscos de executar testes de automatização durante a noite, as coisas podem correr muito mal quando se deixa as ferramentas de automatização sozinhas. 

Os grandes benefícios dos testes de automatização surgem quando estes são realizados em conjunto com testes manuais ou sob a supervisão de um testador de QA. Só por essa razão, os testadores de QA podem ficar descansados, sabendo que os testes automatizados não irão assumir as suas funções num futuro previsível. 

Os testes manuais utilizam testes exploratórios

Quando um testador realiza um teste exploratório, explora o software sem qualquer plano predefinido. É uma das formas mais populares de teste em QA.

Os testes exploratórios só podem ser realizados através de testes manuais. 

A vantagem dos testes exploratórios é permitirem ao testador adaptar-se às suas conclusões no momento, sem necessidade de escrever outro caso de teste. 

Os testes exploratórios também permitem a colaboração, a formulação de teorias e a colaboração, tudo no momento. 

À medida que a teoria ágil de desenvolvimento se tornou mais proeminente, o mesmo aconteceu com os testes exploratórios. 

Os testes automatizados não têm a flexibilidade e a criatividade necessárias para serem suficientemente ágeis para os testes exploratórios. Funcionam melhor num ambiente rígido, onde sabem exatamente o que procurar. Os testes exploratórios são precisamente o oposto — instruem o testador de QA a ir para onde quiser. 

O que acha?

Algumas pessoas defendem os testes automatizados, enquanto outras continuam a achar que os testes manuais são o caminho a seguir. Como acha que as equipas de QA podem tirar o máximo partido dos testes automatizados? Acha que estamos preparados para a IA nos testes?

Subscreva a newsletter do The CTO Club para receber os artigos e as atualizações mais recentes de especialistas do setor.