Utrzymywanie stabilności testów między wydaniami za pomocą TestMu AI

Wydania interfejsu użytkownika powodują awarie zestawu testów? Dowiedz się, jak TestMu AI skraca analizę problemów z dni do godzin dzięki testom samonaprawiającym, wykrywaniu niestabilności i szybszemu wykonywaniu równoległemu.

Testmu ai Partner Spotlight
Partner Perspectives

This is sponsored content from TestMu AI. Learn here about our transparent editorial approach.

Zespoły QA w przedsiębiorstwach tracą więcej godzin na naprawianie zepsutych testów niż na pisanie nowych. Każde wydanie interfejsu użytkownika zmienia lokalizatory, układy i przepływy użytkowników. Pakiet testów, który przeszedł pomyślnie w piątek, w poniedziałek kończy się niepowodzeniem, a większość tych niepowodzeń nie wskazuje na rzeczywiste błędy. W tym artykule prześledzono jeden powtarzalny proces stosowany w przedsiębiorstwie: utrzymywanie stabilności testów automatycznych podczas częstych wydań interfejsu użytkownika.

Pokazuje on, jak TestMu AI (dawniej LambdaTest), pierwsza na świecie platforma agentowej AI do inżynierii jakości obejmująca cały stos technologiczny, obsługuje każdy etap tego procesu — od tworzenia testów po ich analizę.

Dlaczego częste wydania interfejsu użytkownika powodują awarie pakietów testów korporacyjnych

Rozważmy reprezentatywny scenariusz dotyczący przedsiębiorstwa. Platforma handlu detalicznego wydaje nową wersję internetową i mobilną co dwa tygodnie. Jej pakiet regresji obejmuje około 1400 automatycznych testów interfejsu użytkownika. W każdym wydaniu przebudowywany jest komponent, zmieniane są nazwy elementów lub zmieniana jest kolejność etapów realizacji zakupu. Po każdym wdrożeniu od 10 do 15 procent pakietu kończy się niepowodzeniem. Niemal żadne z tych niepowodzeń nie wskazuje na rzeczywistą usterkę.

Wydanie po wydaniu narastają trzy rodzaje kosztów:

  • Zmiany lokalizatorów: niewielkie zmiany w DOM psują selektory, przez co poprawnie działające funkcje są zgłaszane jako zakończone niepowodzeniem.
  • Obciążenie analizą: inżynierowie poświęcają od jednego do dwóch dni na każde wydanie, rozdzielając zepsute testy od zepsutego kodu.
  • Utrata zaufania: gdy czerwone wyniki testów stają się codziennością, zespoły zaczynają je ignorować, a rzeczywiste usterki przedostają się dalej.

Tradycyjne siatki oraz środowiska oparte na skryptach nie są w stanie poradzić sobie z takimi ciągłymi zmianami. Poniższe sekcje pokazują krok po kroku, jak ten zespół stabilizuje ten sam pakiet testów za pomocą TestMu AI.

Tworzenie odpornych testów za pomocą KaneAI

Stabilność zaczyna się na etapie tworzenia testów. KaneAI, agent testowy TestMu AI oparty natywnie na generatywnej sztucznej inteligencji, pozwala zespołowi pisać testy w zwykłym języku angielskim zamiast korzystać z kruchych skryptów opartych na licznych selektorach. Ponieważ kroki odzwierciedlają intencję, na przykład „dodaj pierwszy produkt do koszyka i zastosuj kupon”, są odporne na kosmetyczne zmiany interfejsu użytkownika, które zepsułyby lokalizatory zakodowane na stałe.

W tym scenariuszu zespół przekazuje inteligentnemu planerowi testów KaneAI cel wysokiego poziomu: sprawdzić przeprojektowany proces realizacji zakupu dla użytkowników gościnnych i zalogowanych. W ciągu kilku minut planer przekształca go w szczegółowe, automatyczne kroki, dzięki czemu sprint nie zatrzymuje się na etapie projektowania testów. Następnie inżynierowie SDET dopracowują wygenerowany kod, korzystając z eksportu w wielu językach. Widok w języku naturalnym i widok kodu pozostają zsynchronizowane, więc edycja w jednym z nich pojawia się również w drugim.

Praktycznym rezultatem jest zakres testów, który nadąża za wydaniami. Nowe testy procesu realizacji zakupu są tworzone w ciągu jednego dnia, a właściciele produktów mogą je przeglądać, po prostu je czytając. Taki wspólny przegląd pozwala wykryć luki, na przykład pominiętą ścieżkę wygaśnięcia kuponu, jeszcze przed wydaniem, a nie dopiero po nim.

Want to learn more about TestMu AI?

Our review covers everything you need to know.

Skalowanie wykonywania testów za pomocą HyperExecute

Stabilny pakiet jest przydatny tylko wtedy, gdy działa wystarczająco szybko, aby zmieścić się w oknie wydania. HyperExecute, natywna dla sztucznej inteligencji chmurowa usługa orkiestracji testów firmy TestMu AI, uruchamia pakiet równolegle w wielu środowiskach, nawet o 70 procent szybciej niż tradycyjne siatki chmurowe. Testy są wykonywane w chmurze rzeczywistych urządzeń TestMu AI, obejmującej ponad 3000 przeglądarek i ponad 10 000 rzeczywistych urządzeń, dzięki czemu wyniki odzwierciedlają to, co faktycznie widzą użytkownicy.

Dla zespołu zajmującego się platformą handlu detalicznego zmienia to pętlę informacji zwrotnych. Pełna regresja obejmująca 1400 testów, która wcześniej działała przez całą noc, kończy się teraz w ciągu poranka w dniu wydania. Wyniki testów zakończonych niepowodzeniem pojawiają się, gdy deweloperzy wciąż pamiętają zmiany, które wdrożyli. Ponieważ infrastruktura jest w pełni zarządzana, zespół nie musi utrzymywać żadnych siatek, laboratoriów urządzeń ani skryptów skalowania.

Analizowanie niepowodzeń za pomocą Test Intelligence

Dzień wydania to moment, w którym wygrywa się lub przegrywa stabilność. W tym scenariuszu uruchomienie po wdrożeniu zgłasza 160 niepowodzeń. Przed użyciem TestMu AI oznaczało to dwa dni pracy inżyniera poświęcone na analizowanie logów. Dzięki Test Intelligence analiza wygląda inaczej.

Klasyfikacja błędów oparta na sztucznej inteligencji automatycznie porządkuje 160 niepowodzeń: około 90 dotyczy lokalizatorów, 40 problemów środowiskowych, 20 niestabilnych testów, a 10 rzeczywistych usterek. Następnie funkcja inteligentnego automatycznego samonaprawiania reaguje na niepowodzenia lokalizatorów już podczas samego uruchomienia. Gdy selektor przestaje działać, ponieważ zmieniono nazwę przycisku, funkcja stosuje działającą alternatywę i pozwala testowi działać dalej. Po zakończeniu uruchomienia większość niepowodzeń lokalizatorów rozwiązuje się automatycznie, a tylko niewielka część nadal wymaga kontroli człowieka.

Funkcja inteligentnego wykrywania niestabilności obsługuje 20 zawodnych testów. Oznacza je jako niestabilne, wyjaśnia wzorzec niestabilności i rekomenduje poprawki, dzięki czemu losowe przekroczenie limitu czasu nigdy nie jest mylone z regresją. Wymierny wpływ w tym procesie jest następujący: analiza niepowodzeń skraca się z dwóch dni pracy inżyniera do kilku godzin, a tylko 10 rzeczywistych usterek trafia do kolejki zespołu deweloperskiego. Trendy dotyczące niepowodzeń są śledzone w kolejnych uruchomieniach, dzięki czemu zespół może obserwować poprawę stabilności z wydania na wydanie, zamiast zgadywać.

Zapewnianie widoczności zakresu testów za pomocą menedżera testów

Stabilność zależy również od wiedzy o tym, co zostało objęte testami przed wydaniem, a nie od odkrywania luk dopiero po nim. Menedżer testów firmy TestMu AI tworzy uporządkowane przypadki testowe na podstawie istniejących materiałów zespołu, w tym zgłoszeń Jira, arkuszy kalkulacyjnych i zrzutów ekranu, eliminując godziny ręcznego pisania testów w każdym sprincie.

Połączone z Jira pulpity nawigacyjne działające w czasie rzeczywistym zapewniają kierownikowi wydań pojedynczy widok gotowości. Zespół może sprawdzić pokrycie zgłoszeń sprintu, wykryć obszary wysokiego ryzyka bez testów oraz ustalić, które testy uruchomić jako pierwsze na podstawie ryzyka i wpływu biznesowego. W scenariuszu przeprojektowania procesu płatności widok ten ujawnia jedną ścieżkę dostawcy płatności bez pokrycia na dwa dni przed wydaniem, gdy wciąż jest czas, aby uzupełnić brakujące testy.

Najlepsze praktyki wdrażania TestMu AI

Przyjęcie platformy inżynierii jakości opartej na AI najlepiej przeprowadzać etapami, a nie w ramach jednorazowej migracji. Każda z poniższych praktyk odpowiada konkretnej funkcji TestMu AI, dzięki czemu zespoły mogą mierzyć stopień wdrożenia w odniesieniu do konkretnych możliwości.

  • Zdefiniuj wskaźniki stabilności w Test Manager: ustal wartości bazowe dla odsetka niestabilnych testów, pokrycia i czasu analizy na jego pulpitach nawigacyjnych, a następnie śledź je z wydania na wydanie. Wdrożenie kończy się sukcesem, gdy te wartości się poprawiają, a nie wtedy, gdy przypisane zostają licencje.
  • Najpierw skieruj Smart Auto-Healing na obszary o dużej zmienności: zacznij od modułów, które zmieniają się najczęściej, takich jak procesy płatności lub wdrażania nowych użytkowników. Obszary te generują najwięcej błędów lokalizatorów, dlatego Test Intelligence pokazuje swoją wartość już w ciągu jednego lub dwóch wydań.
  • Wdrażaj zróżnicowane zespoły za pomocą podwójnego widoku KaneAI: pozwól testerom manualnym i właścicielom produktów tworzyć oraz przeglądać testy w języku naturalnym, podczas gdy SDET-y pracują w wyeksportowanym kodzie. Oba widoki pozostają zsynchronizowane, dzięki czemu wysiłek szkoleniowy jest niewielki i nikt nie zostaje wykluczony z zapewniania jakości.
  • Połącz HyperExecute z potokiem CI/CD: uruchamiaj równoległe przebiegi przy każdym scaleniu, aby informacje zwrotne były automatyczne. Zespoły mogą również bezpośrednio wywoływać KaneAI z Jira, Slacka lub GitHub, aby rozpoczynać testy bez opuszczania używanego już przepływu pracy.

Podsumowanie

Stabilność testów w skali przedsiębiorstwa to problem związany z przepływem pracy, dlatego potrzebna jest platforma obejmująca cały ten przepływ. W opisanym scenariuszu KaneAI zapewnia odporne tworzenie testów, HyperExecute przyspiesza wykonywanie ich na rzeczywistych urządzeniach, Test Intelligence skraca analizę w dniu wydania z kilku dni do kilku godzin, a Test Manager zapewnia widoczność pokrycia przed wdrożeniem kodu. Razem przekształcają gaszenie pożarów w dniu wydania w rutynową poranną kontrolę. W przypadku zespołów korporacyjnych dostarczających zmiany w interfejsie użytkownika w każdym sprincie właśnie taką zmianę ma zapewnić TestMu AI.

Devansh Bhardwaj
Devansh Bhardwaj is a Senior Product Marketing Manager at TestMu AI (formerly LambdaTest). He brings a hands-on testing background to the role, with end-to-end experience across UI, API, mobile, visual, and cross-browser testing, plus 30+ technical blogs on web development and test automation.