Sollten QAs sich für E-Mail-Tests interessieren?
Ja, QAs sollten sich um E-Mail-Tests kümmern. Dieser Artikel erklärt die Gründe, die zu testenden Elemente und wie Sie E-Mail-Tests mühelos gestalten können.
In erster Linie müssen Sie verstehen, welche Art von E-Mail-Tests wir hier meinen.
Im Allgemeinen bezieht sich E-Mail-Testing auf verschiedene Methoden zur Überprüfung von E-Mails vor dem Versand. Für E-Mail-Marketer geht es mehr um Inhaltsanalyse und A/B-Testing von Kampagnen. Für Entwickler und QAs, die mit Apps arbeiten, die transaktionale E-Mails versenden, bedeutet E-Mail-Testing einen umfassenderen Ablauf – von der Analyse des HTML bis hin zur Sicherstellung der Zustellbarkeit der E-Mails.
Möchten Sie mehr vom The CTO Club?
Erstellen Sie ein kostenloses Konto, um diesen Beitrag fertigzulesen und einer Community von CTOs und Technikleitern beizutreten, die praxisnahe Frameworks, Tools und Einblicke für die Entwicklung, Einführung und Skalierung KI-gesteuerter Technologien teilen.
Have an account? Log In
Ich werde folgende Themen behandeln:
- Die Bedeutung von E-Mail-Tests
- 4 Schmerzpunkte beim QA-E-Mail-Testing + Lösungsansätze
- Wichtige E-Mail-Elemente, die Sie testen sollten
Als Erstes: Warum E-Mail-Testing für QAs so wichtig ist.
Sie dürfen beim Testen nicht nachlässig sein: Darum
Statistisch gesehen werden täglich über 300 Milliarden E-Mails gesendet und empfangen. Man kann sich kaum vorstellen, wie viele fehlerhafte E-Mails Unternehmen täglich verschicken. Unbestreitbar ist allerdings, dass solche Nachrichten dem Markenimage schaden und eine schlechte Nutzererfahrung bieten.
Daher liegt das Debugging von E-Mails in der Verantwortung des Entwicklungs-/QA-Teams, damit das Marketing-Team eine ordnungsgemäße Kampagne starten kann.
Wenn diese Phase übersprungen wird, ergeben sich drei schwerwiegende negative Konsequenzen:
Darstellungsfehler = Schlechte Nutzererfahrung
Leider unterstützen nicht alle E-Mail-Clients HTML und CSS im gleichen Umfang. Outlook oder die Gmail-App für Nicht-Google-Konten beispielsweise stellen keine Hintergrundbilder dar.
Ebenso haben E-Mail-Clients häufig eigene Vorgaben für das Design von E-Mails – Yahoo Mail erzwingt Ränder, während Gmail Nachrichten abschneidet, die länger als 102 kB sind.
Da Designer nicht unbedingt alle Rendering-Standards einer Vielzahl von Clients berücksichtigen, ist es die Aufgabe der Tester, sämtliche Anforderungen zu erfüllen.
Deshalb sollten Sie Kampagnen testen, bevor Sie sie an Nutzer weitergeben. Andernfalls könnte eine Person Ihre E-Mail als abgeschnitten, mit verschobenem Layout, nicht responsive oder mit nicht unterstützten Inhalten sehen. Das garantiert schlechte UX und erhöht die Wahrscheinlichkeit, dass Kunden nicht zurückkehren. Wenn man bedenkt, dass die gesamte Kampagne aus fehlerhaften E-Mails besteht, ist das einfach frustrierend.
Die Zustellbarkeit leidet
Einen zuverlässigen Weg zwischen In-App-E-Mails und Endnutzern sicherzustellen, ist entscheidend, um eine große Nutzerbasis zu unterstützen. Viele Teams nutzen E-Mail-Benachrichtigungen, um Passwörter zu versenden oder die Community über Produktupdates zu informieren – wenn diese Nachrichten die Abonnenten nicht erreichen, ist das eine große Enttäuschung.
Im E-Mail-Marketing ist die E-Mail-Zustellbarkeit ein X-Faktor, der bestimmt, ob ein Nutzer Ihre wichtige Nachricht erhält. Es gibt viele Kriterien, die die Zustellrate einer Kampagne beeinflussen: Anzahl als Spam gemeldeter E-Mails, Nutzerinteraktionen, Bouncerate und andere.
Eine durchgehend hohe Zustellrate zu erzielen ist harte Arbeit und liegt meist in der Verantwortung des Entwicklungsteams. QAs sollten darauf achten, wann und wie viele transaktionale E-Mails eine Website oder App versendet. Umgekehrt kann monatelange Arbeit durch ein paar fehlerhafte Links oder eine nicht bestandene Spam-Prüfung zunichte gemacht werden.
Deliverability-Tests helfen, solche frustrierenden Rückschläge zu vermeiden, da sie dem QA-Team ermöglichen:
- Spamfallen zu umgehen (gefälschte E-Mails, die von Internetanbietern überall im Netz platziert wurden, oft von Bots gesammelt und in die Abonnentenliste aufgenommen)
- herauszufinden, welche E-Mail-Infrastruktur-Elemente falsch konfiguriert sind (IP, DNS-Einträge, E-Mail-Authentifizierungsdaten usw.)
- sicherzustellen, dass keine Spam-Treiber im Inhalt enthalten sind
Ignorieren QAs oder Entwickler Spam-Prüfungen und Zustellbarkeits-Tests, erreichen Kampagnen oder wichtige E-Mails den Endnutzer nicht. Wie soll ein Nutzer ein Passwort zurücksetzen oder einen Registrierungslink erhalten, wenn eine ungetestete E-Mail irgendwo im Netzwerk verschwindet? Fehlende E-Mails können zu Kundenverlust und anderen geschäftlichen Schäden führen.
Reputation leidet
Hochgradig personalisierte E-Mails sind derzeit ein klarer Trend. Werden jedoch Nachrichten mit vielen dynamischen Tags verschickt, kann schnell Chaos entstehen.
Es ist nichts Neues, dass Empfänger Briefe mit falschen Namens-Tags oder Betreffzeilen wie „Hallo, [username]“ erhalten. Für Marken können solche kleinen Fehler die Conversion-Raten der gesamten Kampagne zerstören und das Medienimage des Unternehmens nachhaltig schädigen. Der Grund ist einfach: Für den ersten Eindruck gibt es keine zweite Chance. Wenn Ihnen ein Fehler unterläuft, markieren Abonnenten die E-Mail wahrscheinlich als Spam oder geben negatives Feedback ab. Und die Marke wird infolgedessen mit Absendern fehlerhafter Nachrichten in Verbindung gebracht, nur weil jemand das HTML/CSS-Testing übersprungen hat.
Verwandte Lektüre: DIE POSITIVEN ERGEBNISSE VON NEGATIVEM TESTING
4 Schmerzpunkte beim QA-E-Mail-Testing (+ Wege zur Problemlösung)
Wir haben drei der schwerwiegendsten Auswirkungen von fehlerhaften E-Mails umrissen. Es ist an der Zeit, die Schmerzpunkte derjenigen Tester zu verstehen, die sich tapfer durch das E-Mail-Debugging kämpfen.
Wir urteilen nicht und werden es auch nicht tun. Jahrelang gab es viele Schwachstellen in den Workflows des E-Mail-Testings, die den Prozess sehr manuell, langsam und ineffizient machten.
Es gibt praktikable Lösungen, die die Schmerzpunkte beim Testen eliminieren. Werfen wir einen Blick darauf, wie man die lästigsten Probleme meistern kann.
1. Test-E-Mails gelangen an echte Nutzer
Dieses lästige Problem entsteht dadurch, dass QA-Teams Produktivdomains für Testsitzungen nutzen. Dadurch ist es leicht, versehentlich eine Testnachricht an eine Empfängerliste auszuliefern.
Außerdem bläht das Testen auf dem Produktivserver das Versandvolumen einer Domain unnötig auf und schadet somit der Domain-Reputation.
Es ist einfach, sicherzustellen, dass Sie nicht aus Versehen echte Nutzer anschreiben, solange Sie eine separate Umgebung fürs Testing verwenden. Zwei Möglichkeiten bieten sich an, E-Mails sicher zu testen:
- Tests in der Entwicklungsumgebung mit API-Integration
- Einsatz von Tools, die den Betrieb echter SMTP-Server nachahmen und die Möglichkeit bieten, gängige SMTP-Ports und andere Infrastrukturelemente zu überprüfen.
2. Geringe Zustellbarkeit (oder im Spam-Ordner landen)
Wenn Ihre Test-E-Mails im Ordner ‚Spam‘ landen, ist das nicht zwangsläufig ein Alarmzeichen. Bevor Sie das Marketing-Team alarmieren und die Infrastruktur doppelt kontrollieren, schließen Sie bitte folgende Möglichkeiten aus:
- Ihre Test-E-Mail enthält noch Platzhaltertext. Stellen Sie beim Versand sicher, dass der Nachrichteninhalt genau dem entspricht, was Nutzer sehen werden. Artefakte wie „Lorem Ipsum dolor“ lösen häufig Spamfilter aus und verschlechtern die Zustellrate.
- Sie öffnen Ihre eigenen Test-E-Mails nicht. Wenn Sie Ihre eigene Adresse für Tests nehmen, werden Ihre Nachrichten als irrelevant eingestuft, sofern Sie nicht darauf reagieren. ISPs beginnen dann, die E-Mails als Spam einzuordnen.
- Absender- und Empfängeradresse sind identisch. Damit eine E-Mail erfolgreich zugestellt wird, verlangen E-Mail-Clients, dass Absender- und Empfängeradressen nicht dasselbe Postfach sind. Wenn Sie sich selbst eine Testnachricht schicken, wählen Sie also besser eine andere Adresse als die Absenderadresse.
- Kein „Abmelden“-Link. Serien ohne Abmelde-Fußzeile haben eine Wahrscheinlichkeit von 99,9 %, geblockt oder als Spam markiert zu werden.
3. Schlechte Darstellung und mangelnde Gerätekompatibilität
Ein weiteres Hindernis für QAs: Nachrichten werden je nach E-Mail-Client oder Endgerät unterschiedlich angezeigt. Sollte das bei Ihrem Testlauf der Fall sein, finden Sie hier einige spezifische Darstellungshinweise, die Sie für verschiedene Clients prüfen sollten:
Gmail:
- Bilder werden standardmäßig unterstützt.
- E-Mails über 102 kB werden automatisch abgeschnitten.
- Das <style>-Tag steht im Header der E-Mail.
- Automatisches Skalieren von E-Mails auf iPhones (Bilder wirken mitunter nicht zentriert, daher ist es besser, „padding:0“ im <body> zu setzen).
- Minimale Textgröße: 10,5pt für Text und 16,5pt für Überschriften, damit die Lesbarkeit auf Smartphones gewährleistet ist.
Outlook:
- Keine Unterstützung für Hintergrundbilder.
- Keine Unterstützung für interaktive Elemente wie Formulare oder Checkboxen.
- Keine Unterstützung für HTML5-Videos oder GIFs.
- Begrenzte Unterstützung für Abstände (Padding).
4. Geringe Testeffizienz
In den 2000er-Jahren war das Testen von E-Mails manuell, statisch und mühsam. Testteams mussten E-Mails von Grund auf neu erstellen und an Testadressen senden. Die gute Nachricht ist, dass heutzutage die meisten dieser Schritte problemlos automatisiert werden können.
Hier sind einige Tools, die QA-Teams dabei helfen, weniger Zeit für das Testen einzelner E-Mail-Elemente aufzuwenden:
- E-Mail-Vorschau: Litmus
- E-Mail-Server: GMass
- E-Mail-API: Mailosaur
- Spam-Check: SpamAssassin
- Zustellbarkeit der E-Mail: Mail-Tester
- HTML-Überprüfung: HTML Email Check
- Browser-Automatisierungssystem: Selenium
Wenn Sie eine vollständige Testing-Lösung benötigen, mit der Sie alle technischen Aspekte von E-Mails testen können, einschließlich SMTP, API und HTML/CSS, empfehlen sich kollaborationsfreundliche Tools wie Mailtrap.
Das Testen von E-Mails ist nur ein Aspekt der Qualitätssicherung. Für einen ganzheitlichen QA-Ansatz lesen Sie unseren Leitfaden zu den besten Software-Test-Tools.
Die wichtigsten E-Mail-Elemente, die Sie testen sollten
Da Sie nun wissen, warum man E-Mail-Tests nicht überspringen kann und wie Sie mit den Hauptproblemen umgehen, auf die QA-Teams bei Tests stoßen, ist es an der Zeit, eine Schritt-für-Schritt-Teststrategie zu erstellen, die eine hohe Zustellbarkeit und einwandfreie Darstellung Ihrer E-Mails gewährleistet.
Dies sind die wichtigsten Arten von E-Mail-Tests, die ein QA-Team durchführen sollte.
1. SMTP-Überwachung
SMTP-Fehler sind eine häufige Ursache für Probleme bei der E-Mail-Zustellung oder vollständigen Ausfällen der E-Mail-Infrastruktur. Auf diese Probleme sollten QAs achten:
- Die Firewall blockiert die Kommunikation.
- Die Serverantwort dauert zu lange.
- Der SMTP-Server verbindet sich mit dem falschen Hostnamen.
- SMTP unterstützt die angegebenen Befehle nicht.
Um die SMTP-Bewertung zu erleichtern, nutzen QA-Teams spezialisierte Tools: Web Biz oder Wormly.
2. E-Mail-API-Tests
API-Tests ermöglichen es Entwicklern, E-Mails zu testen, ohne die IDE zu verlassen. Mit APIs können Sie:
- Den Prozess maximal automatisieren.
- E-Mails im Code abrufen.
- Den Inhalt einer Testmail extrahieren und überprüfen.
- Musterabgleiche anwenden.
- Test-E-Mails mit Anhängen versenden.
Für verschiedene Programmiersprachen werden unterschiedliche Skripte zum Testen von API-E-Mails verwendet. Um den Prozess zu vereinfachen, können Sie Tools wie Mandrill oder MailSlurp einsetzen.
3. Versand von Test-E-Mails auf lokalen Servern
Eine weitere Möglichkeit zum Testen von E-Mails besteht darin, einen lokalen Server zu konfigurieren. So entlasten QA-Teams die Sendeumgebung der Produktion und trennen die Tests von echten Kampagnen.
Das Testen von E-Mails auf einem lokalen Server ist eine nützliche Möglichkeit, zu verhindern, dass versehentlich eine Testserie an Abonnenten gesendet wird. Nützliche Tools hierfür sind Mailhog oder Mailcatcher.
4. E-Mail-Zustellbarkeit und Spam-Tests
Wie bereits erwähnt, hilft das Testen der E-Mail-Zustellbarkeit und auf Spam dabei, den Ruf Ihrer Domain und IP zu kontrollieren und herauszufinden, ob eine Absenderadresse von ISPs nicht auf Blacklists steht.
Mail-Tester oder GlockApps können hier hilfreich sein.
Fazit
In der QA-Community wird das Testen von E-Mails häufig nachrangig gegenüber Funktions- und Performance-Tests behandelt. Tatsächlich sollten QA-Teams E-Mail-Debugging und Infrastrukturtests nicht unterschätzen. Probieren Sie die in diesem Artikel erwähnten Ansätze aus. Teilen Sie uns im Kommentarbereich mit, welche Tools zum E-Mail-Testing Sie bevorzugen.
Mehr dazu und weitere Ratschläge von QA-Expert:innen finden Sie im The QA Lead Newsletter. Abonnieren Sie ihn, um immer auf dem neuesten Stand in der Welt des Qualitätsengineerings zu bleiben.
Verwandte Werkzeugliste: 10 BESTE E-MAIL-TESTWERKZEUGE FÜR OPTIMIERTE ZUSTELLUNG
Hören Sie nicht auf, dazuzulernen! Hören Sie in diesen Podcast rein: AUTOMATISIERTES TESTEN MIT TESTRIGOR-CEO ARTEM GOLUBEV & PAUL GROSSMAN
