Instabilität von Automatisierten Tests der Benutzeroberfläche

Die Auswirkungen sind massiv und werden letztlich (und unweigerlich) zur Schlussfolgerung führen, dass automatisiertes UI Testing nutzlos ist.

Die vorher gestellte Frage können wir somit mit Sicherheit dahingehend beantworten, dass ein Flaky Test SCHLECHTER ist als gar kein Test!

Ist die Flakinesswirklich zufällig? Oder gibt es einen Grund?

In fast allen Fällen hat das, was man als „unzuverlässigen Test“ bezeichnet, eine konkrete Ursache: Geht der Sache auf den Grund, findet die Ursache und behebt das Problem!

Die häufigsten Ursachen für das, was als “flakiness” aufgefasst wird, sind die folgenden:

1. Testdesign: Einer der häufigsten Gründe für fehlerhafte Tests ist tatsächlich schlechtes Testdesign! Flaky Tests können aufgrund von Problemen im Zusammenhang mit falschen Locator-Strategien (z. B. Identifizierung einer Schaltfläche anhand ihres – sich dynamisch ändernden - inneren Textes) oder bei fehlenden “Assertions” auftreten.
2. Timing- und Synchronisationsprobleme: Fehlerhafte Tests treten häufig auf, wenn eine korrekte Synchronisation zwischen den Testphasen erforderlich ist (die Webseite ist noch nicht vollständig geladen, wenn der Test ausgeführt wird) oder wenn zeitliche Abhängigkeiten bestehen (der Test schlägt fehl, weil der Ladevorgang des SUT länger dauert als erwartet)
3. Umgebungsfaktoren: Es gibt zahlreiche Umgebungsfaktoren, die dazu führen können, dass ein Test fehlschlägt, obwohl dies eigentlich nicht der Fall sein sollte, wie beispielsweise Probleme mit der Netzwerkverbindung, Schwankungen bei den Systemressourcen (Arbeitsspeicher, CPU), Abhängigkeiten von APIs oder Diensten von Drittanbietern usw.
4. Instabile Testumgebung: Wenn die Testumgebung instabil ist, dann sind es auch die Tests... Im folgenden sind einige mögliche Ursachen für eine instabilen Testumgebung aufgeführt:
   Uneinheitliche Testumgebung (z. B. verschiedene Browserversionen oder Betriebssysteme etc.)
   Unzureichende oder unvollständige Konfiguration (z. B. falsche Pfadeinstellungen oder fehlende Abhängigkeiten/Bibliotheken etc.)
   Unzuverlässige Testinfrastruktur oder teilweise Abweichung der Testkonfiguration in der Testumgebung 
5. Asynchrone Wartezeiten: Eine unsachgemäße Handhabung asynchroner Wartezeiten und Vorgänge – wie Netzwerkabfragen oder UI-Aktualisierungen – kann zu Race Conditions und Timing-Problemen führen.
6. Gleichzeitigkeit: eine unangemessene Aussage über die Reihenfolge, in der die verschiedenen Threads Operationen durchführen, kann ebenfalls eine Ursache für Inkonsistenzen sein

Flakiness in Tests verhindern

Wenn es einen Grund dafür gibt, dass ein Test fehlschlägt, obwohl er eigentlich erfolgreich sein sollte, lässt sich die sogenannte „Flakiness“ vermeiden. Hier finden Sie eine Reihe von Tipps und Punkten, die Sie beachten sollten, um „Flakiness“ von vornherein zu begrenzen, sowie Hinweise zum Umgang damit:

• Durch die Feinabstimmung der Ausführungsreihenfolge lassen sich Parallelität und Abhängigkeiten verringern (atomare Tests). Durch die sorgfältige Reihenfolge der Testaktionen kann man die Wahrscheinlichkeit von Bedingungen oder Konflikten steuern, die zu unvorhersehbaren Ergebnissen führen können.
• Aufbau einer stabilen und konsistenten Testumgebung durch die sichergestellt wird, dass externe Faktoren (wie Systemressourcen oder Netzwerkkonnektivität) kontrolliert, Abhängigkeiten verwaltet und der Zugriff auf für die Testdurchführung wesentliche Ressourcen garantiert wird
• Nehmen Sie sich die Zeit, vor der Implementierung über die Teststrategie nachzudenken, denn wie bereits erwähnt, sind schlecht geschriebene Tests, eine schlechte Teststrategie und ein schlechtes Testdesign die Hauptursachen für die Flakiness von Tests. Es ist wichtig, mit einem fundierten Verständnis des SUT zu beginnen und danach Namenskonventionen sowie “Best Practices” für das Schreiben von Tests einzuführen
• Fördern Sie die Feedback-Kultur: Führen Sie eine kontinuierliche Überwachung der Testergebnisse ein und holen Sie regelmäßig Feedback vom QA-Team ein: Ermutigen Sie die Tester, alle potenziell auftretende Schwachstellen zu melden und zu protokollieren. Überprüfen Sie diese regelmäßig und ergreifen Sie proaktive Maßnahmen zu deren Beseitigung
• Verwenden Sie geeignete Synchronisationstechniken im Testcode oder innerhalb des Testwerkzeugs, um eine angemessene Synchronisation zwischen dem SUT und der Testphase sicherzustellen. Verwenden Sie explizite Wartezeiten, Wartebedingungen oder Synchronisationsmethoden
• Optimierung des Testzeitplans durch Planung der Testläufe unter Berücksichtigung von Faktoren wie Netzüberlastung, Systemlast usw., die die Zuverlässigkeit der Tests beeinflussen können 
• Einführung geeigneter Verfahren zur Verwaltung von Testdaten, um Zuverlässigkeit und Konsistenz zu gewährleisten und die Verwendung veränderlicher oder gemeinsam genutzter Testdaten zu vermeiden, die zu flakiness führen können
• Isolierung der Tests durch Reduzierung der Abhängigkeiten und Verringerung der Wahrscheinlichkeit von Interferenzen zwischen den Tests