Nowoczesne oprogramowanie nieustannie się zmienia. Szczególnie podczas pracy w środowisku zwinnym, gdzie wdrożenia odbywają się bardzo często, czasami nawet w ramach ciągłego dostarczania. Stale dodawane są nowe funkcje, istniejące funkcje są zmieniane, a błędy naprawiane. I oczywiście jest to dobra rzecz.
Jednocześnie ryzyko przerwania działania istniejących, sprawnych funkcji jest stosunkowo wysokie. Dlatego potrzebujemy testów regresji. Krótko mówiąc, testy regresji to technika sprawdzająca, czy nowe zmiany w kodzie nie wprowadziły nowych błędów.
Poniżej omówię bardziej szczegółowo testy regresji — kluczową praktykę zapewniania jakości.
Czym są testy regresji?
Testy regresji są ważną częścią cyklu życia oprogramowania. Jest to rodzaj testów przeprowadzanych w celu upewnienia się, że zmiany w kodzie nie wpłynęły na istniejące funkcje oraz że to, co działało przed wprowadzeniem tych zmian, nadal działa. Wszelkie problemy wykryte podczas tego procesu są uznawane za defekty regresji i powinny być traktowane priorytetowo.
Testy regresji można przeprowadzać zarówno ręcznie, jak i za pomocą testów automatycznych. Automatyzacja zestawu testów regresji jest dobrym rozwiązaniem, szczególnie podczas pracy z dużymi aplikacjami, w przypadku których cały proces regresji może być bardzo czasochłonny.
Dlaczego testy regresji są ważne w tworzeniu oprogramowania?
Gdy do bazy kodu dodawany jest nowy kod — niezależnie od tego, czy jest to poprawka błędu, czy nowa funkcjonalność — może on wpłynąć na już działający kod poprzez wprowadzenie nowych defektów lub oddziaływanie na niefunkcjonalne aspekty aplikacji, takie jak wydajność czy użyteczność.
Może to prowadzić do niedogodności dla użytkownika końcowego, który prawdopodobnie nie będzie zadowolony, że coś, co wcześniej działało, przestało działać. To z kolei może spowodować straty przychodów i mieć duży wpływ na reputację firmy.
Testy regresji pomagają wcześnie wykrywać te błędy i przyczyniają się do ich naprawienia przed przejściem do środowiska produkcyjnego. Oznacza to, że klienci otrzymają stabilniejszą wersję aplikacji bez wpływu na dotychczasowe funkcje, z których już korzystali.
Have an account? Log In
Wybór przypadków testowych
Pierwszą rzeczą, którą testerzy muszą zrobić przed rozpoczęciem regresji, jest określenie przypadków testowych regresji, które zostaną wykonane. Istnieją dwie główne metody wyboru przypadków testowych: reaktywna i proaktywna.
Reaktywna
W przypadku reaktywnego wyboru przypadków testowych zespół zapewniania jakości podejmuje działania po wprowadzeniu modyfikacji. Oznacza to, że przypadki testowe do wykonania są wybierane po wprowadzeniu przez zespół programistyczny zmian w kodzie.
Proaktywna
W podejściu proaktywnym testerzy przewidują możliwe zmiany przed modyfikacjami wprowadzanymi przez zespół programistyczny i odpowiednio przygotowują plan testów. Wybór między tymi dwiema metodami zależy od określonych czynników, w tym kosztów, złożoności, pokrycia i ograniczeń czasowych.
Priorytetyzacja przypadków testowych
Priorytetyzacja przypadków testowych jest prawdopodobnie jednym z najważniejszych etapów projektowania planu regresji. Pomaga skutecznie zarządzać czasem i zwiększa skuteczność wykrywania błędów. Pierwszą rzeczą, którą należy zrobić, jest określenie obszarów najbardziej dotkniętych ostatnimi zmianami, a także ustalenie czasu, jaki zespół ma na przeprowadzenie testów regresji. Jak głosi jedna ze słynnych zasad testowania: „wyczerpujące testowanie jest niemożliwe”, co oznacza, że nie możemy objąć wszystkich istniejących scenariuszy testowych i przypadków brzegowych, ale możemy dążyć do najlepszego osiągalnego pokrycia testami.
Mając to na uwadze, testerzy muszą przeprowadzić ocenę ryzyka — zdecydować, które obszary mają największe znaczenie podczas testowania i w których najprawdopodobniej wystąpią problemy. Mówiąc o zasadach testowania, należy pamiętać, że defekty mają tendencję do grupowania się, tzn. obszar, w którym występują problemy, z większym prawdopodobieństwem ujawni najwięcej defektów. W przypadku testów regresji będą to obszary, które zostały zmienione.
Kolejną kwestią do rozważenia jest to, czy korzystamy z automatyzacji testów. Zautomatyzowane wykonywanie testów może odbywać się niezależnie, a testerzy mogą w większym stopniu skupić się na testowaniu opartym na doświadczeniu, takim jak testowanie eksploracyjne i ad hoc, a także na częściach, których nie można zautomatyzować, na przykład na upewnieniu się, że doświadczenia użytkownika nie pogorszono w żaden sposób.
W miarę zmieniania oprogramowania ważne jest również aktualizowanie istniejących przypadków testowych tak, aby odzwierciedlały nowe zmiany, lub odpowiednie oznaczanie nieaktualnych przypadków testowych, aby nie były wykonywane przez pomyłkę.
Techniki i narzędzia skutecznego testowania regresji
| Technika ponownego testowania wszystkiego | Technika selektywna | Technika priorytetyzacji |
|---|---|---|
| Technika ponownego testowania wszystkiegoZnana również jako pełne testowanie regresji, jest najbardziej rygorystyczną techniką testowania regresji. Polega na ponownym przetestowaniu każdej funkcji oprogramowania po dowolnej modyfikacji. Jej celem jest uzyskanie 100% pokrycia testami i wymaga ponownego uruchomienia wszystkich istniejących testów oraz wykonania nowych przypadków testowych. Technika ta najlepiej sprawdza się w przypadku zautomatyzowanego testowania regresji, jeśli większość zestawu testów jest zautomatyzowana. Jest najbezpieczniejszą techniką, ale nie jest zbyt skuteczna w przypadku testowania manualnego, ponieważ przejście przez cały zestaw testów regresji może zająć dużo czasu. | Technika selektywna Jest to częściowa technika testowania regresji, w której zespół ponownie testuje tylko te funkcje, na które wpłynęły zmienione części kodu. Jest to ściśle związane z wyborem testów regresji. Zestaw testów regresji jest tworzony poprzez wybór istniejących i nowych testów związanych z obszarami, w których wprowadzono poprawki i usprawnienia. Te przypadki testowe są również priorytetyzowane na podstawie ryzyka i znaczenia funkcjonalności. | Technika priorytetyzacjiJest to podejście do testowania, w którym funkcje są testowane na podstawie ich znaczenia i wpływu na ogólną funkcjonalność oprogramowania. Zespół testowy dokonuje przeglądu podstawowych funkcji oprogramowania i upewnia się, że zostały one dokładnie przetestowane. Celem tej techniki jest zagwarantowanie, że najważniejsze elementy aplikacji nie zostały naruszone. Nie jest to jednak nadal bardzo wydajna technika, ponieważ nie koncentruje się na obszarach, które zostały zmienione, i wymaga ponownego testowania wielu elementów, które zwykle mogły nie zostać zmienione od czasu ich ostatniego testowania. |
Rola automatyzacji w testowaniu regresji
W przypadku automatyzacji testów należy wziąć pod uwagę piramidę automatyzacji testów. Zakłada ona, że większość testów powinny stanowić testy jednostkowe, które uruchamiają się szybciej, a tym samym mogą szybciej identyfikować defekty. Następnie mamy testy integracyjne (lub testy API), których jest mniej, ale nadal stanowią dużą liczbę testów do wykonania.
Na najwyższym poziomie testy interfejsu użytkownika obejmujące cały proces uruchamiają się najdłużej i powinno ich być mniej niż testów na pozostałych poziomach.
Dzięki zastosowaniu zautomatyzowanych skryptów testowych cały proces regresji można zoptymalizować. Przypadki testowe są uruchamiane szybciej, a błędy są szybko identyfikowane przy bardzo niewielkiej ingerencji człowieka. Zautomatyzowane testy mogą być uruchamiane za każdym razem, gdy w kodzie źródłowym wprowadzane są zmiany, a na podstawie wyników testów testerzy mogą dowiedzieć się, które obszary są bardziej narażone, i dokładniej zbadać je podczas testowania manualnego.
Testowanie eksploracyjne zawsze jest świetnym sposobem na uzupełnienie automatyzacji, ponieważ jest to rodzaj testowania, którego nie można zautomatyzować, a doświadczenie testerów może przynieść dużą wartość dzięki identyfikowaniu mniej typowych scenariuszy.
Narzędzia do testowania regresji
Zespół programistyczny zwykle zajmuje się dwiema pierwszymi warstwami piramidy, dlatego w tej sekcji omówimy niektóre z najpopularniejszych narzędzi do automatyzacji interfejsu użytkownika, które mogą pomóc w zautomatyzowaniu procesu testowania.
| Selenium | Appium | JMeter | Katalon |
|---|---|---|---|
| SeleniumBezpłatne narzędzie o otwartym kodzie źródłowym do automatyzacji przeglądarek, powszechnie używane do automatyzacji testów aplikacji internetowych. Jest dostępne w wielu językach programowania, w tym Java, Python, JavaScript i C#, oraz działa we wszystkich systemach operacyjnych i popularnych przeglądarkach. Testerzy tworzący skrypty muszą jednak posiadać wiedzę z zakresu programowania. | AppiumAppium jest mobilnym odpowiednikiem Selenium — platformą testową przeznaczoną do testowania aplikacji mobilnych. Jest również dostępne w kilku językach programowania i działa zarówno na systemie Android, jak i iOS. | JMeterJMeter, również będący narzędziem o otwartym kodzie źródłowym, może być używany do testów funkcjonalnych, ale jest szczególnie skuteczny dzięki możliwościom testowania wydajności. To świetne narzędzie, gdy trzeba przeprowadzić testy obciążeniowe lub testy warunków skrajnych aplikacji i porównać wyniki (z wynikami sprzed zmian w kodzie), aby sprawdzić, czy wydajność uległa zmianie w jakikolwiek sposób. | KatalonKatalon to narzędzie do testowania oprogramowania w aplikacjach internetowych, mobilnych, API i desktopowych. Zapewnia również funkcje rejestrowania i odtwarzania, dlatego dobrze sprawdza się w zespołach, w których testerzy niekoniecznie są jednocześnie programistami |
Oczywiście listę można rozszerzyć, ponieważ na rynku dostępnych jest wiele narzędzi do automatyzacji testów, a wybór konkretnego zależy od specyficznych potrzeb projektu i zespołu.
Wyzwania związane z wdrożeniem
Chociaż proces testowania regresji jest integralną częścią cyklu tworzenia oprogramowania, wiąże się również z pewnymi wyzwaniami.
- Ograniczenia czasowe: Czas jest prawdopodobnie najczęstszym wyzwaniem związanym z testami regresyjnymi. Ponieważ zestaw testów regresyjnych staje się coraz większy wraz z dodawaniem nowych modułów do kodu, jego wykonanie może zająć dużo czasu, którego zespół nie zawsze ma wystarczająco dużo. Większa ilość czasu poświęcona na testy regresyjne może również zwiększyć koszty.
- Utrzymanie: W miarę zmian istniejącego kodu w celu dodawania nowych funkcjonalności i ulepszeń należy również utrzymywać przypadki testowe. Dotyczy to testów manualnych i automatycznych, ponieważ wszystkie istniejące scenariusze testowe powinny odzwierciedlać nowe wymagania.
- Priorytetyzacja: Jeden z najważniejszych etapów testów regresyjnych. Zespół musi upewnić się, że biorąc pod uwagę dostępny czas na wykonanie testów regresyjnych, wybiera właściwe przypadki testowe i skrypty, aby zmaksymalizować pokrycie testami przy jednoczesnym zminimalizowaniu rozmiaru zestawu testów.
More Articles
Wpływ skutecznych testów regresyjnych na jakość produktu
Pomimo wyzwań, prawidłowo przeprowadzone testy regresyjne mają ogromny wpływ na jakość oprogramowania.
Przede wszystkim dzięki testom regresyjnym zespół upewnia się, że po dodaniu nowych funkcjonalności do aplikacji nie zostaną wprowadzone nowe błędy.
Ma to efekt kaskadowy dla jakości kodu i ogólnej jakości testowanego systemu.
Mniejsza liczba błędów w środowisku produkcyjnym oznacza również większą satysfakcję klientów i lepsze doświadczenia klientów.
Najważniejsze wnioski
Testy regresyjne są integralną częścią strategii testowania każdego pomyślnie realizowanego procesu tworzenia oprogramowania. Pomagają upewnić się, że nowo dodane funkcje i poprawki nie wpływają na istniejący, działający kod oraz że system spełnia standardy wymagane do wdrożenia na środowisko produkcyjne.
Przy właściwej priorytetyzacji przypadków testowych i z pomocą narzędzi do automatyzacji proces regresji może być bardzo skutecznym sposobem na zminimalizowanie ryzyka zepsucia czegoś, co wcześniej działało. To z kolei pomaga zapewnić użytkownikowi końcowemu dobre doświadczenia podczas korzystania z systemu.
Aby dowiedzieć się więcej o testach regresyjnych i wszystkim, co dotyczy testowania, zasubskrybuj newsletter QA Lead!