Hinweis der Redaktion: Willkommen zur Reihe „Leadership in Test“ von Softwaretest-Guru und Berater Paul Gerrard. Die Serie soll Testern mit einigen Jahren Erfahrung – insbesondere in agilen Teams – helfen, als Testleiter oder Manager erfolgreich zu sein.
Im vorherigen Artikel haben wir ein Risikomanifest für Manager skizziert. In diesem Artikel stellen wir die altbewährte Frage „Wie viel Testen ist genug?“. Spoiler: Das entscheiden die Stakeholder.
Melden Sie sich für den Newsletter The QA Lead an, um benachrichtigt zu werden, wenn neue Teile der Serie erscheinen. Diese Beiträge sind Auszüge aus Pauls Leadership In Test-Kurs, den wir sehr empfehlen, um tiefer in dieses und andere Themen einzusteigen. Und das Beste: Wenn Sie unseren exklusiven Gutscheincode QALEADOFFER verwenden, erhalten Sie $60 Rabatt auf den vollständigen Kurspreis!
Unabhängig von Projekt, Unternehmen oder Methode – für Dokumentation gibt es immer einen Platz. Gute Dokumentation ist ein Segen, denn sie liefert eine nützliche Aufzeichnung von Vorgehen, Umfang, Plänen, Designs sowie Ergebnissen von Analyse-, Entwicklungs- und Testaktivitäten.
In diesem Artikel gehe ich auf Folgendes ein:
- Der Wert von Dokumentation
- Die Tücken von Vorlagen und Kopieren/Einfügen
- Arten von Testdokumentation
- Tipps für die Gestaltung von Dokumentation
Los geht's.
Der Wert von Dokumentation
In strukturierten Projekten gelten Dokumente in der Regel als eigene Liefergegenstände. In agilen oder kontinuierlichen Ansätzen entsteht Dokumentation dagegen oftmals als Nebenprodukt – mit mehr oder weniger Wert.

Das Verfassen von Dokumenten mag die Hauptaufgabe professioneller Technischer Redakteure sein, für die meisten Fachleute jedoch ist es eine lästige Pflicht – ganz gleich, wie hilfreich es sein mag. Auch wenn das Schreiben von Dokumenten für manche Menschen langweilig ist: Das eigentliche Problem ist, dass die meisten Dokumentationen in vielen Zusammenhängen schlicht Zeitverschwendung sind. Sie sind wenig wert, veraltet, ungenau – oder alles zusammen.
Jeder Testmanager hat schon einmal Teststrategien erstellt, die niemand gelesen oder akzeptiert hat. Tester schreiben seitenweise Testpläne, -skripte und -berichte, und der einzige für Stakeholder wertvolle Inhalt sind die einseitigen Zusammenfassungen am Anfang oder Ende.
Wir haben alle schon Dokumente verfasst, von denen wir wissen, dass sie wenig wert sind und niemand lesen wird.
Das liegt an gängigen Problemen mit Dokumenten, die uns in großen wie kleinen Projekten begegnen. Für jedes Dokument, das wir schreiben, sollten wir uns mehrere Fragen stellen:
- Welche Art von Dokument? Eine Richtlinie oder Strategie, ein Ansatz oder Plan, ein Design oder eine Umsetzung, ein Ergebnis und eine Interpretation?
- Welches Ziel verfolgt das Dokument?
- Welche Inhalte sind nötig, um dieses Ziel zu erreichen?
- Welche Wissensquellen werden benötigt, um die Inhalte zu erstellen?
- Falls das Dokument sich im Laufe der Zeit ändern muss: Wie wird es gepflegt?
- Welcher Detaillierungsgrad ist erforderlich?

Die Tücken von Vorlagen und Kopieren/Einfügen
Wenn Ihr Projekt festlegt, dass ein bestimmtes Dokument – beispielsweise ein Systemtestplan oder ein Risikoregister – benötigt wird, ist es verlockend, eine passende Vorlage (oder eine von vielen anderen Dokumentarten) im Internet zu suchen.
Manche Vorlagen behaupten, einer bestimmten Norm oder Konvention zu entsprechen, und wurden angeblich schon tausendfach heruntergeladen und genutzt. Mitunter scheint eine Vorlage perfekt auf den eigenen Zweck zu passen. Aber – wie wir sehen werden – selbst wenn das Inhaltsverzeichnis umfassend wirkt, kann es zu Problemen führen.
Es kann auch vorkommen, dass Sie oder andere in Ihrer Firma bereits für ein früheres Projekt ein ähnliches Dokument erstellt haben. Es ist dann verlockend, dieses zu kopieren, umzubenennen, die Projektreferenzen zu ändern und den Inhalt entsprechend anzupassen.
Warnung: Aus meiner Erfahrung als unabhängiger Reviewer ist das sehr verbreitet – und häufig ein echtes Problem.
Zunächst einmal ist meistens sofort offensichtlich, dass ein Text kopiert oder bearbeitet wurde. Die Sprache im Text wirkt oft vom Projekt losgelöst und es gibt überall Lücken und überflüssigen Text. Woran liegt das?
Die Nutzung einer vorgefertigten Vorlage oder eines bestehenden Dokuments als Quelle birgt verschiedene Risiken:
- Es wirkt umfassend, könnte jedoch Themen enthalten, die unpassend sind, sowie andere ausschließen, die wesentlich sind.
- Es liefert Überschriften für ein Dokument, gibt aber keinerlei Hinweise dazu, welcher Inhalt für die jeweiligen Überschriften geeignet ist.
- Es könnte Text enthalten, der wiederverwendbar aussieht und unverändert aus einem vorherigen, nicht zusammenhängenden Projekt kopiert wurde – doch dieser Text könnte einen falschen Eindruck vermitteln oder ungenau oder unvollständig sein.
Vorlagen können dabei helfen, Überschriften und das grundlegende Layout zu bekommen, doch das Hauptproblem an Vorlagen ist folgendes:

Die Versuchung bei Vorlagen ist, ihnen zu sehr zu vertrauen und dann bedeutungslose Fülltexte für einzelne Abschnitte zu schreiben. Schließlich könnten Sie denken, das Dokument erfülle nur eine ‚Pflichtübung‘ und niemand wird es tatsächlich lesen. Das Risiko bei Vorlagen ist, dass Sie aufhören nachzudenken und ein Dokument schreiben, das wenig Mehrwert besitzt.
Arten der Testdokumentation
In diesem Abschnitt betrachten wir die verschiedenen Formen der Testdokumentation und diskutieren einige Überlegungen zu strukturierten oder agilen/kontinuierlichen Projekten im Vergleich zum klassischen Wasserfallmodell.
Die wichtigsten Testdokumente lassen sich in die folgenden Kategorien einteilen:
- Richtlinie und Strategie (manchmal bekannt als Master-Testplan)
- Testdefinition (auch als Spezifikation oder Testpläne bezeichnet, was gelegentlich verwirrend ist)
- Testentwurf
- Testfälle
- Testverfahren oder -skripte
- Testdurchführung
- Planung
- Protokoll
- Testbericht
Die oben genannten Dokumentenarten decken die Definition des Testprozesses, die Schlüsseltätigkeiten Definition und Ausführung sowie die Berichterstattung ab.
In stärker bürokratischen Umgebungen gibt es noch weitere testbezogene Dokumente, die beispielsweise Testumgebungsdefinitionen und -managementprozesse, Abnahmeverfahren, Prozesse zum Störfallmanagement und dergleichen umfassen können (auf das Störfallmanagement werden wir in einem zukünftigen Artikel noch eingehen).
Ein weiterer offensichtlicher Punkt, der oben fehlt, wäre ein Gesamtplan bzw. Zeitplan für die Testaktivitäten. Ein Zeitplan ist allerdings kein wirkliches Testdokument, sondern meist ein Teil eines übergeordneten Projektplans in einem strukturierten Projekt (auch zur Zeitplanerstellung werden wir in einem späteren Artikel noch etwas schreiben – also bleiben Sie dran!).
Richtlinie, Strategie, Master-Testplan
| Zweck |
|
| Inhalt |
|
| Quellen |
|
| Wartung |
|
Agile/kontinuierliche Betrachtungen Die Teststrategie für agile Projekte, die beispielsweise Scrum verwenden, ist wahrscheinlich recht knapp und umfasst nur wenige Seiten (sofern sie überhaupt dokumentiert wird). Der Testprozess hat möglicherweise keine Phasen, aber es gibt wahrscheinlich eine Definition von Tests auf verschiedenen Ebenen. Zum Beispiel:
| |
Testdefinition (Entwurf, Fälle, Verfahren)
| Zweck |
|
| Inhalt |
|
| Quellen |
|
| Wartung |
|
Agile/kontinuierliche Betrachtungen Der Bereich der Testdefinition unterscheidet sich im agilen Ansatz am deutlichsten von strukturierten Projekten. Testende, die sich auf Features konzentrieren, sobald sie geliefert werden, könnten möglicherweise gar keine Dokumentation erstellen. Dies ist angemessen, wenn es beispielsweise eine systemweite Richtlinie oder Charta für Feature-Testing gibt. Wahrscheinlicher ist jedoch, dass es für jedes Feature eine kurze Charta für das Testen in einer explorativen Testsitzung gibt. Eine Charta ist wie ein Plan für einen kurzen Zeitraum der Erkundung. Die Charta würde typischerweise Folgendes identifizieren:
| |
Testausführung (Planung, Protokoll)
| Zweck |
|
| Inhalt |
|
| Quellen |
|
| Pflege |
|
Agile/Kontinuierliche Überlegungen Wenn agile/kontinuierliche Projekte keine Test-Definitionsdokumente erstellen, gleichen sie dies teilweise dadurch aus, dass Tester angehalten werden, bessere Protokolle der Testdurchführung zu führen. Wenn das Testen in Sessions anhand von Testaufträgen erfolgt, wird vom Tester erwartet, dass er aussagekräftige Notizen zu den durchgeführten Tests anlegt. Es gibt nur wenige spezielle Testprotokollierungswerkzeuge, die mehr als einfache Notizbücher bieten; daher verwenden viele Tester einfache Texteditoren, Notizzettel oder Papiernotizbücher. Protokolle werden häufig genutzt, um alle wichtigen Aktivitäten und Beobachtungen während der Ausführung festzuhalten. Ein typisches Exploratives-Testprotokoll kann folgende Aspekte enthalten:
| |
Testbericht
| Zweck |
|
| Inhalt |
|
| Quellen |
|
| Pflege |
|
| Agile/Kontinuierliche Überlegungen Der Zweck eines Testberichts in einem agilen Projekt kann sich auf eine einzelne Iteration oder einen Sprint, das Testen für ein Release oder eine übergeordnete Testphase wie Integration oder Systemabnahme beziehen. In jedem Fall bleibt der Zweck unverändert. Ein Großteil des Inhalts eines Testberichts stammt aus Werkzeugen oder Notizen der Tester. Die erzählende Zusammenfassung der Ergebnisse wird von einem Testleiter oder – bei kleineren Testphasen – vom Tester selbst verfasst. Wie üblich wird der Bericht vermutlich weniger formell sein und es werden wahrscheinlich weniger Rohdaten vorliegen, die Grundlage für ausgefeilte Analysen sein könnten. Sicherlich kann während der Iteration(en) der Fortschritt hinsichtlich ausgelieferter, getesteter und durch Benutzer akzeptierter Features oder Stories in einem Tool oder auf einem öffentlichen KanBan-Board erfasst werden. Auf diese Weise bleiben die Stakeholder während der Iteration stets über den Fortschritt informiert, und es wird weniger Bedarf für einen formellen Bericht am Ende eines Testzeitraums geben. Die Sichtbarkeit des Fortschritts ist ein zentrales Anliegen für agile Teams. Mit regelmäßigen, vielleicht täglichen Stand-ups etwa an einem Scrum-Board teilen die Teammitglieder ihre Sicht auf den Fortschritt, stellen gegenseitig Fragen und einigen sich kontinuierlich auf eine Position (und nächste Schritte). So kann ein formeller Testbericht unter Umständen entfallen, da das Team immer informiert und auf dem neuesten Stand ist. Wenn die Tester schriftliche Notizen zu ihren Sitzungsaktivitäten anfertigen, stehen keine analysierbaren Daten für automatisierte Berichte zur Verfügung, sodass Sitzungs- und Fortschrittsberichte visuell und öffentlich präsentiert werden könnten. Das erfordert hohe Disziplin und gute Kommunikationsfähigkeiten seitens der Tester. Der Testleiter oder Manager muss daraufhin einen entsprechend informativen Bericht für Stakeholder auf Basis mündlicher Berichte erstellen. | |
Einige Hinweise
Das Thema Dokumentation in Projekten ist für Tester wie auch für andere Projektteammitglieder ein sensibles Thema.
Die meisten Menschen empfinden das Schreiben von Dokumentation als lästige Pflicht.
Hier ein paar Dinge, die Sie bei der Gestaltung Ihrer Dokumentation berücksichtigen sollten.
- Dokumentation muss einen klar definierten Zweck und eine Zielgruppe haben. Wenn Ihre Zielgruppe die Dokumentation nicht benötigt, wird sie diese nicht lesen. Wenn sie nicht zu deren Zielen passt, werden sie sich nicht einbringen.
- Es ist in der Regel besser, eine Aktivität zu dokumentieren, bevor oder während sie durchgeführt wird. TDD dokumentiert zum Beispiel Tests, bevor Code geschrieben wird. Testprotokolle sollten während der Sitzung aufgezeichnet und nicht nachträglich erstellt werden.
- Die wesentlichen Daten, um einen Aspekt des Testens zu dokumentieren, können minimal sein. Ein Test, der im Notizbuch festgehalten wird, mag dem Tester genügen, lässt sich aber nicht einfach auswerten. Möglicherweise wäre ein einfaches Textprotokoll mit etwas Markup genauso schnell zu erfassen und könnte zudem mit einem individuellen Tool ausgewertet werden.
- Detaillierte Testprozeduren sind eventuell gar nicht notwendig, wenn die Tester das zu testende System gut kennen. Vielleicht genügt nur ein Testziel oder ein Testauftrag. Vorgefertigte Testfälle können minimal in einer Tabelle dokumentiert werden.
Abschließend
Not macht erfinderisch – auch bei der Dokumentation.
Wenn Sie für Ihre Stakeholder umfassende Dokumentation erstellen und diese nicht gelesen wird, liegt es daran, dass sie den Nutzen darin nicht erkennen.
Es ist besser, einem Stakeholder ein leeres Blatt Papier hinzulegen und gemeinsam die Themen hinzuzufügen, die für ihn relevant sind. Vielleicht fordert er seitenweise Inhalt, doch was wirklich benötigt wird, ist oft recht einfach. Fragen Sie immer wieder: „Warum möchte er das?“
Danke fürs Lesen – seien Sie beim nächsten Mal dabei, wenn wir die Ärmel hochkrempeln und mit etwas Testplanung starten.
Melden Sie sich für den Newsletter von The QA Lead an, um benachrichtigt zu werden, wenn neue Teile der Serie veröffentlicht werden. Diese Beiträge sind Auszüge aus Pauls Leadership in Test Kurs, den wir sehr empfehlen, um tiefer in dieses und andere Themen einzutauchen. Wenn Sie sich anmelden, nutzen Sie unseren exklusiven Gutscheincode QALEADOFFER und sparen Sie $60 auf den regulären Kurspreis!
