Die dunkle Seite des automatisierten Testens & warum manuelles Testen weiterhin wichtig ist
Automatisiertes Testen ist in bestimmten Abläufen so integraler Bestandteil geworden, dass sich einige Tester fragen, ob es das manuelle Testen vollständig ersetzen wird.
Vorerst nicht.
Als das Tesla-Team das Model 3 entwickelte, war eine Idee, die Produktionsrate durch eine vollautomatisierte Fertigungslinie zu steigern. KI sollte das Auto nahezu ohne menschliche Aufsicht zusammenbauen.
Want more from The CTO Club?
Create a free account to finish this piece and join a community of CTOs and engineering leaders sharing real-world frameworks, tools, and insights for designing, deploying, and scaling AI-driven technology.
Have an account? Log In
Der Plan scheiterte katastrophal.
Autos kollidierten miteinander, Türen wurden in Fenster gebohrt und Reifen passten nicht richtig auf ihre Felgen.
Was ist passiert? Nun, es hat sich herausgestellt, dass Roboter nicht besonders gut sehen können. Die KI, die für die Montage des Model 3 verantwortlich war, war nicht in der Lage, sich an unerwartete Komplikationen oder leichte Fehlstellungen anzupassen. Wenn nicht alles genau richtig ausgerichtet war, machte sie katastrophale Fehler.
Das Gleiche gilt für automatisiertes Testen im QA. Bei manchen Testarten gibt es zu viele Variablen, sodass ein manueller Tester unterwegs nachjustieren und spontan Fehler beheben muss.
Was ist automatisiertes Testen?
Automatisiertes Testen bedeutet, dass ein QA-Tester ein Tool zur Ausführung eines Testfalls verwendet. Im Entwicklungszyklus wird derselbe Testfall mehrere Male getestet.
Einige Testfälle, für die ein Team von QA-Testern Stunden benötigen würde, können mit einem Automatisierungstool in wenigen Minuten erledigt werden. Verschiedene Automatisierungs-Testtools sind mittlerweile Branchenstandard.
Die Schattenseiten des automatisierten Testens
Auch in anderen Industrien, Handwerken und Berufen mussten sich die Menschen mit der Einführung von Automatisierung auseinandersetzen. Wann immer das passiert ist – ob in der Luftfahrt mit Autopilot, beim Teppichweben oder im Testing – verlieren die Arbeiter in diesem Bereich oft das Verständnis für das „Warum“ hinter ihrer Arbeit.
Dieses Phänomen beobachtete die QA-Fachkraft Jan Jaap Cannegieter zunehmend bei Testern. Seine größte Befürchtung ist, dass der Komfort automatisierter Tests und der wachsende Druck, mehr Prozesse zu automatisieren, zu einer Generation von Testern führt, die zwar wissen, welche Aktionen sie durchführen sollen, aber nicht, warum.
Viele Tester wissen alles über bestimmte Tools oder Programmiersprachen, aber sie können mir nicht sagen, was sie testen und warum sie es testen. Und das ist schlecht.
Beispiele für schlechtes automatisiertes Testen
Viele QA-Tester sehen beim automatisierten Testen dasselbe Potenzial. Das führt meist dazu, dass es beobachtbare Trends und typische Fehler gibt, die ein QA-Tester machen kann. Hier einige typische Beispiele für schlechtes automatisiertes Testen.
Verschachtelung von Automatisierungstests
Unter der Verschachtelung von Automatisierungstests versteht man, dass mehrere automatisierte Tests übereinander ausgeführt werden. Dadurch wird es sehr schwierig herauszufinden, was schiefgelaufen ist, wenn ein Fehler auftritt.
Kurzfristig sind die meisten Automatisierungstests erfolgreich. Der QA-Tester nutzt das richtige Tool und führt es korrekt aus.
Viele Beispiele für schlechtes automatisiertes Testen werden erst nach sechs Monaten klar – wenn automatisierte Tests in andere automatisierte Tests und wiederum in weitere Tests verschachtelt sind.
UI-Automatisierungstests ohne Überwachung
User-Interface-Testing stellt sicher, dass ein Benutzer auf der Oberfläche nichts tun kann, was das Programm abstürzen lässt oder zu Fehlfunktionen führt. Wird dies manuell getestet, braucht es meist viele Tester und jede Menge Arbeitskraft. Das ist ganz offen gesagt ineffizient, vor allem, wenn das Programm wächst und immer mehr Funktionen getestet werden müssen.
Mit automatisiertem Testen wird der Prozess deutlich schneller, kann aber trotzdem die gesamte Rechenleistung eines QA-Tester-PCs für einen ganzen Tag beanspruchen. Um das aufzufangen, führen QA-Tester die Tests am Ende des Tages aus, lassen sie über Nacht laufen und finden die Ergebnisse morgens vor. Klingt sinnvoll, oder?
Oberflächlich betrachtet scheint das die clevere Lösung zu sein. Der QA-Tester nutzt seinen Computer tagsüber zum Testen anderer Programme und nachts laufen die automatisierten UI-Tests.
Gerade weil das so logisch erscheint, ist es ein häufiger Fehler. Es kann viel schiefgehen, wenn automatisierte Tests unbeaufsichtigt laufen.
Wenn früh etwas schiefgeht, sind alle folgenden Ergebnisse falsch. Ein ganzer Tag voller Testläufe liefert keinen brauchbaren Befund, nur weil ein Fehler frühzeitig aufgetreten ist – ein Fehler, der ganz leicht entdeckt und behoben worden wäre, wenn jemand kontrolliert hätte, ob der Automatisierungstest korrekt läuft.
Obwohl automatisiertes Testen manchmal zu Fehlalarmen führen kann, kann die Wahl der richtigen QA-Automatisierungstools solche Fälle deutlich reduzieren.
Die falschen Dinge automatisieren
Automatisiertes Testen benötigt Zeit zur Einrichtung. QA muss sicherstellen, dass die Automatisierungstools zum Projekt passen und dass die QA-Tester wissen, wie man die Tools richtig einsetzt.
All das benötigt viel Zeit und Organisation. Wenn das Endergebnis ist, dass ein Test, der normalerweise nur einmal im Monat läuft, automatisiert wird, lohnt sich der Aufwand nicht. Bevor du mit automatisiertem Testen beginnst, stelle sicher, dass das, was du automatisieren willst, den QA-Testern messbar Zeit spart.
Man kann nicht nur Aufgaben automatisieren, die zu selten ausgeführt werden und sich daher nicht lohnen, manche Aufgaben können auch einfach nicht oder nur schwer automatisiert werden.
Manuelles Testen ersetzen
Automatisiertes Testen kann nur das erfassen, wonach es angewiesen wurde zu suchen. Wenn die Schriftarten auf einer Webseite merkwürdig erscheinen, der Test aber nur überprüft hat, ob alle Links funktionieren, löst er zwar das eine Problem (die Links), bekommt aber vom anderen (den Schriftarten) nichts mit.
Manuelles Testen kann Dinge aufdecken, die außerhalb des anfänglichen Testumfangs liegen. Die Methode des explorativen Testens wurde entwickelt, um QA-Testern Raum zu geben, unerwartete Fehler zu entdecken – auch wenn sie diese eigentlich gar nicht gesucht haben. Automatisiertes Testen kann auf eine einzelne Aufgabe gut fokussiert und gründlich sein. Was es aber niemals sein kann, ist umfassend.
Beispiele für gutes automatisiertes Testen
Testautomatisierung wird eingesetzt, um Risiken zu minimieren. Wenn ein QA-Tester das Risiko minimieren und gleichzeitig die Effizienz steigern kann, sollte automatisiertes Testen auf jeden Fall durchgeführt werden. Es gibt keinen Grund für einen QA-Tester, stundenlang manuell alle Links auf einer Webseite zu kontrollieren, wenn ein Web-Crawler denselben Vorgang schneller erledigen und dabei kaum Fehler machen wird.
Eine gute Faustregel, um zu entscheiden, wann automatisiertes Testen statt manuellen Testens eingesetzt werden sollte, ist zu fragen, ob der Test einmalig oder kontinuierlich laufen soll. Bei kontinuierlich ablaufenden Tests ist Automatisierung eindeutig der richtige Weg.
Menschen sind schlechter als Maschinen darin, repetitive Aufgaben über längere Zeit verlässlich auszuführen. Wir sehnen uns nach Abwechslung und verlieren die Konzentration, wenn wir zu lange das Gleiche tun – das führt zu Fehlern.
Gerade so merkt der QA-Tester dann, dass er a) mehr Zeit investiert hat, als wenn automatisiert worden wäre, und b) schlechtere Arbeit geleistet hat, wodurch später Kopfschmerzen entstehen.
Jason Huggins, Gründer des bekannten Automatisierungstools Selenium, entwickelte das Programm, weil er feststellte, dass viele seiner Tage als Tester mit immer gleichen Aufgaben gefüllt waren – Aufgaben, die so einfach und geradlinig waren, dass selbst ein Roboter sie hätte erledigen können. Also schrieb er ein Skript, das die Browser-Funktionalität für ihn automatisch testete. Dies war sofort ein durchschlagender Erfolg und entwickelte sich schnell zum Industriestandard.
Sogar die QA-Profis, die Automatisierungstests skeptisch gegenüberstehen, wissen, dass es in vielen Situationen sinnvoll ist.
Warum manuelles Testen niemals verschwinden wird
Wir haben die guten, die schlechten und die sehr schlechten Seiten von AT betrachtet. Wir wissen, in welchen Situationen es gut funktioniert und wann dadurch die Fließbänder im Betrieb ins Chaos gestürzt werden. Schauen wir uns für einen Moment das manuelle Testen an und warum es für QA-Tester weiterhin so wichtig ist.
Automatisiertes Testen braucht Aufsicht
Wie oben beim Problem mit Musks Model 3 und den Risiken nächtlicher Automatisierungstests erwähnt, können Dinge ordentlich schiefgehen, wenn man Automatisierungstools unbeaufsichtigt lässt.
Die großen Vorteile von automatisierten Tests entstehen, wenn sie zusammen mit manuellen Tests oder unter Aufsicht eines QA-Testers durchgeführt werden. Allein aus diesem Grund können QA-Tester beruhigt sein: AT wird ihre Jobs auf absehbare Zeit nicht ersetzen.
Manuelles Testen nutzt Exploratives Testen
Wenn ein Tester einen explorativen Test durchführt, erkundet er die Software ohne einen vorgefassten Plan. Es ist eine der beliebtesten Testarten im Bereich QA.
Exploratives Testen kann nur manuell durchgeführt werden.
Der Vorteil von explorativem Testen ist, dass sich der Tester spontan und flexibel seinen Beobachtungen anpassen kann, ohne direkt einen neuen Testfall schreiben zu müssen.
Exploratives Testen ermöglicht auch Zusammenarbeit, gemeinsames Theoriebilden und kollaboratives Arbeiten – alles spontan.
Mit dem zunehmenden Einfluss der agilen Entwicklungsmethodik hat auch das explorative Testen an Bedeutung gewonnen.
Automatisiertes Testen ist nicht flexibel oder kreativ genug, um wirklich agil für exploratives Testen zu sein. Es funktioniert am besten in einer starren Umgebung, in der es genau weiß, wonach es suchen muss. Exploratives Testen ist das genaue Gegenteil – hier kann der QA-Tester beliebig vorgehen.
Was denken Sie?
Manche schwören auf automatisierte Tests, während andere immer noch der Meinung sind, dass der manuelle Ansatz der bessere ist. Wie können QA-Teams Ihrer Meinung nach das Beste aus der Testautomatisierung herausholen? Glauben Sie, wir sind bereit für KI im Testen?
Abonnieren Sie den The CTO Club Newsletter, um die neuesten Artikel und Updates von Branchenexperten zu erhalten.
