Die dunkle Seite des automatisierten Testens & Warum manuelles Testen weiterhin wichtig ist

Automatisierte Tests sind für bestimmte Abläufe so unverzichtbar geworden, dass sich manche Tester fragen, ob sie manuelle Tests vollständig ersetzen werden. 

Nicht in absehbarer Zeit. 

Als Teslas Team das Model 3 entwickelte, bestand eine Möglichkeit, die sie zur Steigerung der Produktionsrate nutzen wollten, in einer vollständig automatisierten Montagelinie. KI sollte das Auto mit nahezu keiner menschlichen Überwachung zusammenbauen. 

Der Plan scheiterte katastrophal.

Autos kollidierten miteinander, Türen wurden in Fenster gebohrt und Reifen ließen sich nicht richtig auf ihre Felgen montieren. 

Was war passiert? Nun, es stellte sich heraus, dass Roboter nicht besonders gut sehen können. Die für die Montage des Model 3 zuständige KI war nicht in der Lage, sich an unerwartete Komplikationen oder geringfügige Fehlausrichtungen anzupassen. Wenn nicht alles genau ausgerichtet war, machte sie katastrophale Fehler. 

Dasselbe gilt für automatisierte Tests in der Qualitätssicherung. Einige Testformen haben zu viele Variablen und erfordern, dass der manuelle Tester in der Lage ist, den Kurs spontan zu korrigieren und Fehler zu beheben. 

Was sind automatisierte Tests?

Automatisierte Tests bedeuten, dass ein Tester der Qualitätssicherung ein Tool verwendet, um einen Testfall auszuführen. Im Entwicklungszyklus wird derselbe Testfall mehrfach getestet.

Einige Testfälle, für deren manuelle Bearbeitung ein Team aus Testern der Qualitätssicherung mehrere Stunden benötigen würde, können von einem Tool für automatisierte Tests in wenigen Minuten durchgeführt werden. Mehrere Tools für automatisierte Tests sind zum Branchenstandard geworden. 

Die Schattenseite automatisierter Tests

Andere Branchen, Handwerke und Berufe mussten sich mit der Einführung der Automatisierung in ihrem Bereich auseinandersetzen. Wann immer dies geschehen ist, sei es in der Luftfahrt mit dem Autopiloten, beim Teppichweben oder beim Testen, verlieren die Beschäftigten in diesem Bereich ihr Verständnis für das „Warum“ hinter ihrer Arbeit.

Dieses Phänomen bemerkte der Qualitätssicherungsexperte Jan Jaap Cannegieter bei Testern. Seine größte Befürchtung ist, dass die Einfachheit automatisierter Tests und der zunehmende Druck, einen großen Teil des Testprozesses zu automatisieren, zu einer Generation von Testern führen werden, die wissen, welche Aktionen auszuführen sind, aber kein Verständnis dafür haben, warum. 

Viele Tester wissen alles über bestimmte Tools oder Programmiersprachen, aber sie können mir nicht sagen, was sie testen und warum sie es testen. Und das ist schlecht.

Beispiele für schlechte automatisierte Tests

Viele Tester der Qualitätssicherung sehen dasselbe Potenzial in automatisierten Tests. Typischerweise bedeutet das, dass es erkennbare Trends und häufige Fehler gibt, die ein Tester der Qualitätssicherung machen kann. Hier sind einige häufige Beispiele für schlechte automatisierte Tests. 

Verschachtelung automatisierter Tests

Bei der Verschachtelung automatisierter Tests werden mehrere automatisierte Tests übereinander ausgeführt.  Wenn dies geschieht, wird es schwierig herauszufinden, was schiefgelaufen ist, sobald ein Fehler auftritt. 

Kurzfristig sind die meisten Fälle automatisierter Tests positiv. Der Tester der Qualitätssicherung verwendet das richtige Tool und führt es ordnungsgemäß aus. 

Viele Beispiele für schlechte automatisierte Tests werden erst sechs Monate später problematisch, wenn automatisierte Tests in anderen automatisierten Tests verschachtelt wurden, die wiederum in weiteren automatisierten Tests verschachtelt sind. 

Automatisierte UI-Tests ohne Überwachung

Tests der Benutzeroberfläche stellen sicher, dass ein Benutzer auf der UI nichts tun kann, was das Programm zum Absturz bringt oder Fehlfunktionen verursacht. Bei manuellen Tests kann dies viele Tester und einen hohen Arbeitsaufwand erfordern. Offen gesagt ist es ineffizient, auf diese Weise zu testen, insbesondere wenn das Programm größer wird und mehr Funktionen getestet werden müssen. 

Durch automatisierte Tests wird der Prozess schneller, kann aber weiterhin die volle Leistung des Computers eines Testers der Qualitätssicherung einen ganzen Tag lang beanspruchen. Um damit umzugehen, führen Tester der Qualitätssicherung den Test am Ende des Tages aus, lassen ihn über Nacht laufen und kommen am nächsten Morgen zur Arbeit zurück, während die Ergebnisse bereits auf sie warten. Ergibt Sinn, oder? 

Auf den ersten Blick scheint dies die kluge Vorgehensweise zu sein. Der Tester der Qualitätssicherung verwendet seinen Computer tagsüber, um andere Programme zu testen, und führt dann nachts die automatisierten Tests der UI aus.

Gerade weil es intuitiv sinnvoll erscheint, ist dies ein häufiger Fehler. Wenn automatisierte Tests ohne Überwachung durchgeführt werden, kann vieles schiefgehen.

Wenn früh etwas schiefläuft, werden auch die restlichen Ergebnisse falsch sein. Ein ganzer Testtag brachte keine nützlichen Informationen hervor, weil ein Fehler aufgetreten war, der leicht hätte erkannt und korrigiert werden können, wenn jemand überprüft hätte, ob der Automatisierungstest ordnungsgemäß ausgeführt wurde.

Obwohl automatisierte Tests manchmal zu falsch positiven Ergebnissen führen können, kann die Auswahl der richtigen QA-Automatisierungstools solche Fälle deutlich reduzieren. 

Die falschen Dinge automatisieren

Das Testen mit Automatisierung nimmt Zeit für die Einrichtung in Anspruch. QA muss sicherstellen, dass die Automatisierungstools für das Projekt geeignet sind und die QA-Tester wissen, wie sie die Tools richtig einsetzen. 

All das erfordert viel Zeit und Organisation. Wenn das Endergebnis darin besteht, dass ein normalerweise einmal im Monat durchgeführter Test automatisiert wird, ist der Aufwand nicht gerechtfertigt. Bevor Sie mit dem Testen durch Automatisierung beginnen, stellen Sie sicher, dass das, was Sie automatisieren möchten, den QA-Testern messbar viel Zeit spart.

Sie können nicht nur Aufgaben automatisieren, die zu selten vorkommen, um den Aufwand zu rechtfertigen, manche Aufgaben lassen sich auch einfach nicht ohne Weiteres automatisieren.

Manuelles Testen ersetzen

Automatisierte Tests können nur das erkennen, wonach sie suchen sollen. Wenn die Schriftarten auf einer Webseite merkwürdig aussehen, der Test aber nur überprüft hat, ob alle Links auf der Website funktionieren, wird er ein Problem lösen (die Links), aber nicht bemerken, dass mit dem anderen Problem (den Schriftarten) etwas nicht stimmt. 

Manuelles Testen kann Dinge erkennen, die außerhalb des ursprünglichen Testumfangs liegen. Die Methode des explorativen Testens wurde entwickelt, um dem QA-Tester den nötigen Freiraum zu geben, unerwartete Fehler zu finden, sobald sie auftreten, auch wenn er ursprünglich nicht danach gesucht hat. Bei einer einzelnen Aufgabe kann das Testen mit Automatisierung gründlich sein. Umfassend kann es jedoch nicht sein. 

Beispiele für gutes Testen mit Automatisierung

Testautomatisierung wird eingesetzt, um Risiken zu minimieren. Wenn ein QA-Tester das Risiko minimieren und die Effizienz maximieren kann, sollte das Testen mit Automatisierung unbedingt durchgeführt werden.  Es gibt keinen Grund, warum ein QA-Tester stundenlang die Links auf einer Website manuell überprüfen sollte, wenn ein Web-Crawler dieselbe Aufgabe in kürzerer Zeit erledigen und dabei wahrscheinlich keine Fehler machen würde.

Eine gute Faustregel, um zu entscheiden, wann das Testen mit Automatisierung anstelle des manuellen Testens eingesetzt werden sollte, ist die Frage, ob der Test schnell oder kontinuierlich durchgeführt wird. Wenn der Test kontinuierlich ausgeführt werden soll, ist das Testen mit Automatisierung der richtige Weg. 

Menschen sind Maschinen unterlegen, wenn es darum geht, sich wiederholende Aufgaben konstant auf hohem Niveau auszuführen. Wir sehnen uns nach Abwechslung und schalten geistig ab, wenn wir zu lange dasselbe tun. Dadurch können sich Fehler einschleichen. 

So wird ein QA-Tester feststellen, dass er: a) mehr Zeit aufgewendet hat, als wenn er das Testen mit Automatisierung durchgeführt hätte, und b) schlechtere Arbeit geleistet und später mehr Probleme verursacht hat. 

Jason Huggins, der Gründer des beliebten Automatisierungstesters Selenium, entwickelte das Programm, weil er feststellte, dass er als Tester so viele seiner Tage damit verbrachte, dieselben Aufgaben auszuführen – Aufgaben, die seiner Meinung nach so einfach und unkompliziert waren, dass sogar ein Roboter sie erledigen konnte. Deshalb entwickelte er ein Skript, das die Browserfunktionen automatisch für ihn testete. Es war sofort erfolgreich und wurde schnell zum Branchenstandard. 

Selbst QA-Experten, die dem Testen mit Automatisierung skeptisch gegenüberstehen, wissen, dass es in vielen Fällen einen Zweck erfüllt. 

Warum manuelles Testen niemals aussterben wird

Wir haben die guten, die schlechten und die sehr schlechten Aspekte von AT behandelt. Wir wissen, in welchen Situationen es gut funktioniert und wo es dazu führt, dass Fließbänder Autoreifen durch die Fabrik schleudern. Sehen wir uns für einen Moment das manuelle Testen an und betrachten wir, warum es für QA-Tester noch immer so wichtig ist. 

Testen mit Automatisierung erfordert Überwachung

Wie oben am Beispiel von Musks Problem mit dem Model 3 erwähnt, kann beim unbeaufsichtigten Einsatz von Tests mit Automatisierung über Nacht vieles schiefgehen. 

Die großen Vorteile des Testens mit Automatisierung entstehen, wenn es gemeinsam mit manuellem Testen oder unter der Aufsicht eines QA-Testers durchgeführt wird. Allein aus diesem Grund können QA-Tester beruhigt sein, dass AT in absehbarer Zukunft nicht ihre Aufgaben übernehmen wird. 

Beim manuellen Testen kommt exploratives Testen zum Einsatz

Wenn ein Tester einen explorativen Test durchführt, untersucht er die Software ohne vorher festgelegten Plan. Es ist eine der beliebtesten Testformen in der Qualitätssicherung.

Exploratives Testen kann nur durch manuelles Testen durchgeführt werden. 

Der Vorteil des explorativen Testens besteht darin, dass der Tester seine Erkenntnisse unmittelbar berücksichtigen kann, ohne einen weiteren Testfall schreiben zu müssen. 

Exploratives Testen ermöglicht außerdem Zusammenarbeit und Theoriebildung direkt während des Tests. 

Da die agile Entwicklungstheorie immer wichtiger geworden ist, hat auch das explorative Testen an Bedeutung gewonnen. 

Automatisiertes Testen verfügt nicht über die Flexibilität und Kreativität, die erforderlich sind, um für exploratives Testen agil genug zu sein. Es funktioniert am besten in einer starren Umgebung, in der genau bekannt ist, wonach gesucht werden soll. Exploratives Testen ist das genaue Gegenteil: Der Tester in der Qualitätssicherung wird angewiesen, dorthin zu gehen, wohin er möchte. 

Was denken Sie?

Manche Menschen schwören auf automatisiertes Testen, während andere weiterhin der Meinung sind, dass manuelles Testen der richtige Weg ist. Wie können QA-Teams Ihrer Meinung nach das Beste aus automatisiertem Testen herausholen? Denken Sie, dass wir bereit für KI beim Testen sind?

Abonnieren Sie den Newsletter von The CTO Club, um die neuesten Artikel und Aktualisierungen von Branchenexperten zu erhalten.