Automatisert testing har blitt så integrert i visse rutiner at noen testere lurer på om det vil erstatte manuell testing fullstendig.
Ikke med det første.
Da Teslas team utviklet Model 3, var én måte de ønsket å øke produksjonstakten på å ha et helautomatisert samlebånd. AI skulle sette sammen bilen med nesten ingen tilsyn fra mennesker.
Planen mislyktes katastrofalt.
Biler krasjet inn i hverandre, dører ble boret inn i vinduer, og dekkene ble ikke satt ordentlig på felgene.
Hva skjedde? Det viste seg at roboter ikke ser særlig godt. AI-en som hadde ansvaret for å sette sammen Model 3, klarte ikke å tilpasse seg uventede komplikasjoner eller små forskyvninger. Hvis alt ikke var perfekt justert, gjorde den katastrofale feil.
Det samme gjelder automatisert testing innen kvalitetssikring. Noen former for testing har for mange variabler og krever at den manuelle testeren kan korrigere kursen og feilsøke underveis.
Hva er automatisert testing?
Automatisert testing betyr at en kvalitetssikringstester bruker et verktøy til å gjennomføre et testtilfelle. I utviklingssyklusen vil det samme testtilfellet bli testet flere ganger.
Noen av testtilfellene som ville tatt et team med kvalitetssikringstestere flere timer å gå gjennom manuelt, kan gjennomføres av et automatiseringsverktøy på noen få minutter. Flere verktøy for automatisert testing har blitt bransjestandard.
Den mørke siden ved automatisert testing
Andre bransjer, håndverk og yrker har måttet forholde seg til innføringen av automatisering på sine områder. Når det har skjedd, enten det gjelder luftfart med autopilot, teppeveving eller testing, mister arbeidstakerne på dette området forståelsen av «hvorfor» bak arbeidet sitt.
Dette er et fenomen som kvalitetssikringsspesialisten Jan Jaap Cannegieter la merke til at begynte å skje med testere. Hans største frykt er at hvor enkelt automatisert testing er, kombinert med det økende presset om å automatisere store deler av testprosessen, vil føre til en generasjon testere som vet hvilke handlinger de skal utføre, men som mangler forståelse for hvorfor.
Mange testere vet alt om bestemte verktøy eller programmeringsspråk, men de kan ikke fortelle meg hva de tester, eller hvorfor de tester det. Og det er en dårlig ting.
Have an account? Log In
Eksempler på dårlig automatisert testing
Mange kvalitetssikringstestere ser det samme potensialet i automatisert testing. Vanligvis betyr det at det finnes observerbare trender og vanlige feil som en kvalitetssikringstester kan gjøre. Her er noen vanlige eksempler på dårlig automatisert testing.
Nestede automatiserte tester
Nestede automatiserte tester er når flere automatiserte tester kjører oppå hverandre. Når dette skjer, blir det vanskelig å finne ut hva som har gått galt når en feil oppstår.
På kort sikt er de fleste tilfeller av automatisert testing positive. Kvalitetssikringstesteren bruker riktig verktøy og kjører det på riktig måte.
Mange eksempler på dårlig automatisert testing blir først dårlige seks måneder senere, når automatiserte tester har blitt nestet i andre automatiserte tester, som igjen er nestet i andre automatiserte tester.
Automatisert testing av brukergrensesnitt uten tilsyn
Testing av brukergrensesnitt sikrer at det ikke finnes noe en bruker kan gjøre i brukergrensesnittet som vil ødelegge programmet eller føre til feil. Når dette testes manuelt, kan det kreve mange testere og mye arbeidskraft. Det er helt ærlig ineffektivt å teste på denne måten, spesielt når programmet blir større og flere funksjoner må testes.
Med automatisert testing blir prosessen raskere, men den kan fortsatt kreve full kapasitet fra datamaskinen til en kvalitetssikringstester i en hel dag. For å håndtere dette kjører kvalitetssikringstestere testen på slutten av dagen, lar den arbeide gjennom natten og kommer tilbake på jobb neste morgen, med resultatene klare og ventende. Det gir mening, ikke sant?
Ved første øyekast virker det som det smarte å gjøre. Kvalitetssikringstesteren bruker datamaskinen sin til å teste andre programmer på dagtid, og kjører deretter den automatiserte testingen av brukergrensesnittet om natten.
Det er nettopp fordi det gir intuitiv mening, at dette er en vanlig feil. Mye kan gå galt når automatisert testing utføres uten tilsyn.
Hvis noe går galt tidlig, vil resten av resultatene være feil. En hel dags testing ga ingen nyttig informasjon på grunn av en feil som lett kunne ha blitt oppdaget og korrigert hvis noen hadde vært til stede for å kontrollere at automatiseringstesten fungerte som den skulle.
Selv om automatisert testing noen ganger kan føre til falske positive resultater, kan valg av riktige verktøy for QA-automatisering redusere slike tilfeller betydelig.
Automatisering av feil ting
Det tar tid å sette opp automatisert testing. QA må sørge for at automatiseringsverktøyene passer til prosjektet, og at QA-testerne vet hvordan verktøyene skal brukes på riktig måte.
Alt dette krever mye tid og organisering, og hvis sluttresultatet er at en test som vanligvis kjøres én gang i måneden blir automatisert, er det ikke verdt innsatsen. Før du begynner med automatisert testing, må du sørge for at det du skal automatisere, vil spare QA-testerne for en målbar mengde tid.
Ikke bare kan du automatisere oppgaver som utføres for sjelden til at innsatsen er verdt det; noen oppgaver kan ganske enkelt ikke automatiseres uten videre.
Erstatning av manuell testing
Automatisert testing kan bare oppdage det den er instruert til å lete etter. Hvis skriftene på en nettside ser merkelige ut, men testen bare kontrollerte at alle lenkene på nettstedet fungerte, løser den ett problem (lenkene), men vet ikke at noe er galt med det andre (skriftene).
Manuell testing kan oppdage ting utenfor testens opprinnelige omfang. Metoden for utforskende testing ble utviklet for å gi QA-testeren rom til å finne uventede feil etter hvert som de oppsto, selv om det ikke var det vedkommende opprinnelig lette etter. Når automatisert testing er rettet mot én enkelt oppgave, kan den være grundig. Det den ikke kan være, er omfattende.
Eksempler på god automatisert testing
Testautomatisering utføres for å minimere risiko. Når en QA-tester kan minimere risikoen og maksimere effektiviteten, bør automatisert testing absolutt utføres. Det er ingen grunn til at en QA-tester skal bruke timevis på å kontrollere lenkene på et nettsted manuelt når en nettleserobot kan utføre den samme aktiviteten på kortere tid og sannsynligvis ikke gjøre feil.
En god tommelfingerregel for å avgjøre når automatisert testing bør brukes i stedet for manuell testing, er å spørre om testen vil være rask eller kontinuerlig. Hvis testen skal kjøres kontinuerlig, er automatisert testing veien å gå.
Mennesker er dårligere enn maskiner når det gjelder å utføre repetitive oppgaver konsekvent på et høyt nivå. Vi ønsker variasjon og kobler oss mentalt fra når vi gjør det samme for lenge. Dette gjør at feil slipper gjennom.
Da vil en QA-tester innse at vedkommende har: a) brukt mer tid enn om automatisert testing var blitt kjørt, og b) gjort en dårligere jobb og skapt flere problemer senere.
Jason Huggins, grunnleggeren av det populære automatiseringstestverktøyet Selenium, utviklet programmet fordi han oppdaget at så mange av dagene hans som tester gikk med til å utføre de samme oppgavene – oppgaver han mente var så enkle og rett frem at selv en robot kunne gjøre dem. Derfor utviklet han et skript som automatisk testet nettleserfunksjonalitet for ham. Det ble en umiddelbar suksess og ble raskt bransjestandarden.
Selv QA-fagfolkene som er skeptiske til automatisert testing, vet at den i mange tilfeller tjener et formål.
Hvorfor manuell testing aldri vil dø
Vi har gått gjennom de gode, de dårlige og de svært dårlige sidene ved AT. Vi vet i hvilke situasjoner det fungerer godt, og hvor det får samlebånd til å kaste bildekk rundt i fabrikken. La oss se litt på manuell testing og hvorfor den fortsatt er så viktig for QA-testere.
Automatisert testing trenger tilsyn
Som nevnt ovenfor, med Musks Model 3-problem og risikoen ved å kjøre automatisert testing over natten, kan ting gå veldig galt når du lar automatiseringsverktøyene være alene.
De største fordelene med automatisert testing oppnås når den utføres sammen med manuell testing eller under tilsyn av en QA-tester. Bare av den grunn kan QA-testere være trygge på at AT ikke vil overta rollene deres i overskuelig fremtid.
More Articles
Manuell testing bruker utforskende testing
Når en tester utfører en utforskende test, utforsker vedkommende programvaren uten en forhåndsdefinert plan. Det er en av de mest populære testformene innen QA.
Utforskende testing kan bare utføres gjennom manuell testing.
Fordelen med utforskende testing er at testeren kan tilpasse seg funnene underveis, uten behov for å skrive et nytt testtilfelle.
Utforskende testing legger også til rette for samarbeid, teoriutvikling og samarbeid underveis.
Etter hvert som den smidige utviklingsteorien har blitt mer fremtredende, har også utforskende testing blitt det.
Automatisert testing mangler fleksibiliteten og kreativiteten som kreves for å være tilstrekkelig smidig for utforskende testing. Den fungerer best i et rigid miljø der den vet nøyaktig hva den skal se etter. Utforskende testing er det stikk motsatte – testeren innen QA instrueres til å gå hvor enn vedkommende ønsker.
Hva synes du?
Noen sverger til automatisert testing, mens andre fortsatt mener at manuell testing er veien å gå. Hvordan tror du QA-team kan få mest mulig ut av automatisert testing? Tror du vi er klare for AI i testing?
Abonner på nyhetsbrevet til The CTO Club for å få de nyeste artiklene og oppdateringene fra bransjeeksperter.
