AI inom testautomatisering: Så här fungerar det

Användningen av artificiell intelligens (AI) inom testautomatisering är den senaste trenden inom kvalitetssäkring. Testning i allmänhet, och testautomatisering i synnerhet, verkar ha drabbats av felet ”allt blir bättre med AI”.

Eftersom AI, maskininlärning och neurala nätverk är det hetaste just nu är det kanske oundvikligt att AI på något sätt skulle hitta in i testautomatiseringen.

En bakgrund inom testautomatisering

Jag minns en tid för flera år sedan, när testautomatisering fortfarande var nytt och ett av mina kvalitetssäkringsteam arbetade med ett projekt för en stor kund. Det var en mobilapplikation med miljontals användare och månatliga lanseringscykler. Kvalitetssäkringsteamet var vanligtvis avslappnat under de två första veckorna av cykeln och arbetade därefter febrilt fram till lanseringen – en av de märkliga bieffekterna av agil programvaruutveckling som man inte läser om i rubrikerna!

Så småningom tröttnade en av kvalitetssäkringsledarna på att rulla tummarna under de lugna två veckorna och började arbeta med ett ramverk för testautomatisering. Han skrev några testskript i Ruby med Selenium / Appium och Jenkins för en enkel pipeline, inklusive snygga rapporter med röda/gula/gröna indikatorer för testfel/-framgång.

Han lyckades göra detta under ett par lanseringscykler. Det var då vi presenterade det för vår kvalitetschef, som presenterade det för våra kunder och fick dem tillräckligt entusiastiska för att betala för automatiserad testning som ett delprojekt. Vi svävade på moln nio och låg längst fram på utvecklingens framkant!

Framkanten fick dock en ny innebörd några månader senare när vi upptäckte den grundläggande sanningen om testautomatisering som alla testautomatiseringsingenjörer värda namnet brottas med än i dag:

Varför säger jag detta? För snart kände vi oss som Alice i Mordor-land, där hon sprang som en galning med den röda drottningen:

Vi hade just upptäckt den kalla verkligheten i testautomatiseringsfällan: en av våra kvalitetssäkringsingenjörer var tvungen att hålla testsviten uppdaterad med applikationen nästan varje lanseringscykel eftersom förändringarna kom snabbt och i stor mängd!

En enda ändring av ett fältnamn och våra tester av automatiseringsprogramvara hade hamnat i det berömda kaninhålet. Början av en ny lansering var särskilt besvärlig eftersom programvaruutvecklingsteamet gjorde mängder av nya tillägg.

Testautomatisering har inte förändrats i grunden sedan dess, eftersom den fortfarande kräver kontinuerlig övervakning och underhåll. Möjligheten till dramatiska förbättringar av angreppssättet och implementeringen har först blivit synlig genom den senaste utvecklingen av AI:s kapacitet.

AI-hajp kontra verklighet

AI-teknik i sin nuvarande form handlar främst om att använda algoritmer för maskininlärning för att träna modeller med relativt stora datamängder och sedan använda de tränade modellerna för att göra förutsägelser eller generera önskade resultat. Nästan all AI ryms i denna, visserligen förenklade, beskrivning. När det gäller oss är dock den viktigaste frågan här:

Kommer AI faktiskt att kunna hjälpa till att automatiskt generera och uppdatera testfall? Hitta buggar? Förbättra kodtäckningen?

Svaret på den frågan är långt ifrån klart just nu, eftersom vi befinner oss på toppen av hajpcykeln för AI. Ett specifikt delområde, djupinlärning, har orsakat mycket av denna entusiasm.

Det jag tycker är mest intressant med den här grafen är följande:

Om Siri förväntas ha passerat hajpkurvan, då har vi långt kvar till Kansas, Dorothy!

Jag menar, jag känner många som måste upprepa sig för att få Siri att förstå vad de säger (inget illa ment, Siri-fans. Allvarligt talat 😉).

Hajpkurvan visar att det finns stor entusiasm kring AI:s potential, som svalnar innan alla går över till det vardagliga arbetet och normala affärsläget. Enkelt uttryckt säger Gartners tjusiga graf följande:

Men även om vi fortfarande har långt kvar till singulariteten, har AI i sin nuvarande form fortfarande potential att avsevärt förbättra testautomatisering.

Hur skapar maskininlärning automatiserade tester?

1. Träning: Under träningsfasen måste maskininlärningsmodellen tränas på en specifik organisationsdatauppsättning, inklusive kodbasen, applikationsgränssnittet, loggar, testfall och till och med specifikationsdokument. Om träningsdatauppsättningen inte är tillräckligt stor kan algoritmens effektivitet minska.
   
   Vissa verktyg har förtränade modeller som uppdateras genom kontinuerlig inlärning för specifika applikationer, till exempel användargränssnittstestning, så att generaliserad inlärning kan användas inom en specifik organisation.
   
   
2. Generering av utdata/resultat: Beroende på användningsområdet genererar modellen testfall, kontrollerar befintliga testfall med avseende på kodtäckning, fullständighet och korrekthet, och utför till och med tester. I samtliga fall behöver en testare kontrollera den genererade utdatan för att validera den och säkerställa att den går att använda.
   
   Om vi använder självkörande bilar som liknelse är resultaten snarare som körassistans än en faktisk förarlös bil.
   
   
3. Kontinuerlig förbättring: När en organisation fortsätter att använda verktyget regelbundet ökar träningsdatan, vilket därmed potentiellt ökar noggrannheten och effektiviteten hos befintliga tränade nätverk. Kort sagt fortsätter AI-systemet att lära sig och förbättras.

Maskininlärningsalgoritmer revolutionerar testautomatisering. Om du vill hitta verktyg som använder dessa avancerade algoritmer kan du utforska vår guide till förstklassiga verktyg för programvarutestning

Tillämpningar av AI inom testautomatisering

Vi ska titta närmare på några tillämpningar av AI inom testautomatisering, bland annat enhetstestning, testning av användargränssnitt, API-testning och underhåll av en automatiserad testsvit.

Skapa och uppdatera enhetstester

Enhetstestning, som ofta används som en del av kontinuerlig testning samt kontinuerlig integrering/ kontinuerlig leverans (CI / CD) inom DevOps, kan verkligen vara ett lidande i... asteroidbältet.

Vanligtvis lägger utvecklare ner betydande mängder tid på att skriva och underhålla enhetstester, vilket inte är i närheten av lika roligt som att skriva applikationskod. I det här fallet kan AI-baserade produkter för automatiserat skapande av enhetstester vara användbara, särskilt för organisationer som planerar att införa enhetstester sent i produktens livscykel.

Fördelar: 

• AI-baserade automatiserade enhetstester är ett betydande steg framåt jämfört med mallbaserad automatiserad generering av enhetstester med hjälp av statisk eller dynamisk analys. De tester som genereras på detta sätt är faktisk kod, inte bara skelett.
  
• AI-baserade enhetstester kan genereras mycket snabbt, vilket är användbart för en stor befintlig kodbas.
  
• Utvecklare behöver bara ändra testerna och kan konfigurera regressionssviten för enhetstester relativt snabbt.

Begränsningar: 

• AI-genererade enhetstester speglar helt enkelt koden som de bygger på. De kan ännu inte gissa kodens avsedda funktionalitet. Om koden inte fungerar som avsett kommer enhetstestet som genererats för den koden att återspegla det oavsedda beteendet.
  
  Detta är en betydande nackdel eftersom hela poängen med enhetstester är att upprätthålla och verifiera ett implicit eller explicit kontrakt.
  
• Enhetstester som genereras med hjälp av maskininlärning kan göra att befintliga fungerande enhetstester slutar fungera, och det är utvecklarens ansvar att se till att detta inte händer.
  
• Utvecklare måste själva skriva tester för komplex affärslogik.

Automatiserad testning av användargränssnitt 

Det här är ett område där AI börjar glänsa. Vid AI-baserad testning av användargränssnitt tolkar testautomatiseringsverktyg DOM:en och relaterad kod för att fastställa objektegenskaper. De använder också bildigenkänningstekniker för att navigera genom applikationen och visuellt verifiera användargränssnittsobjekt och -element för att skapa tester av användargränssnittet.

Dessutom använder AI-testsystem explorativ testning för att hitta buggar eller variationer i applikationens användargränssnitt och generera skärmbilder för senare verifiering av en QA-ingenjör. På samma sätt kan de visuella aspekterna av systemet under test (SUT), såsom layout, storlek och färg, verifieras.

Fördelar:

• Automatiserad testning av användargränssnitt kan leda till ökad kodtäckning.
  
• Mindre avvikelser i användargränssnittet gör inte att testsviten misslyckas. Produktens AI-modeller kan hantera dessa.

Begränsningar:

• För alla moderna applikationer är antalet plattformar, appversioner och webbläsarversioner stort. Det är oklart hur väl AI-baserad automatisering av användargränssnitt fungerar under dessa förhållanden. Molnbaserade testverktyg kan dock köra tester parallellt, så det här kommer att bli ett intressant område att följa!

Använda AI som hjälp vid API-testning

Även utan AI är automatisering av API-testning en icke-trivial uppgift, eftersom den innebär att man förstår API:t och sedan konfigurerar tester för en mängd scenarier för att säkerställa djup och bredd i täckningen.

Aktuella verktyg för automatisering av API-tester, som Tricentis och SoapUI, registrerar API-aktiviteter och trafik för att analysera och skapa tester. Att ändra och uppdatera tester kräver dock att testare går in på detaljnivå i REST-anrop och parametrar och sedan uppdaterar API-testsviten.

AI-baserade verktyg för automatisering av API-testning försöker minska detta problem genom att undersöka trafik och identifiera mönster och samband mellan API-anrop, vilket effektivt grupperar dem efter scenario. Verktygen använder också befintliga tester för att lära sig relationer mellan API:er, använder dessa för att förstå förändringar i API:er och uppdaterar befintliga tester eller skapar nya scenariobaserade tester. 

Fördelar:

• För nybörjartestare eller personer utan programmeringserfarenhet kan detta vara mycket användbart för att hjälpa dem att ”komma igång direkt”.
  
  Än en gång skulle förändringshanteringen bli betydligt enklare, eftersom åtminstone vissa API-förändringar kan hanteras av ett AI-baserat automatiseringsverktyg.

Begränsningar:

• Generellt sett är API-testning svår att konfigurera, och inte många verktyg erbjuder maskininlärningsbaserade funktioner inom detta område. De som gör det verkar ha ganska grundläggande funktioner.

Underhåll av automatiserade tester

AI-baserade verktyg kan utvärdera ändringar i koden och korrigera flera befintliga tester som inte stämmer överens med dessa ändringar, särskilt om kodändringarna inte är alltför komplexa. Uppdateringar av användargränssnittselement, fältnamn och liknande behöver inte längre göra att testsviten misslyckas.

Vissa AI-verktyg övervakar tester som körs och provar modifierade varianter för misslyckade tester genom att välja användargränssnittselement utifrån bästa passning. De kan också verifiera testtäckningen och komplettera luckorna vid behov. 

AI-baserad generering av testdata

Generering av testdata är ett annat lovande användningsområde för AI-modeller. Maskininlärning kan enkelt generera datamängder, som fotografier och information för personprofiler, exempelvis ålder och vikt, baserat på tränade maskininlärningsmodeller som använder befintliga produktionsdatamängder för att lära sig. 

På så sätt liknar de genererade testdata mycket produktionsdata, vilket är idealiskt för användning i programvarutestning. Maskininlärningsmodellen som genererar data kallas ett generativt adversariellt nätverk (GAN).

Testautomatiseringsverktyg som använder maskininlärning

Ta en titt på verktygen nedan om du letar efter programvara som använder maskininlärning för att genomföra och följa upp automatiserade tester. Många erbjuder alternativ med öppen källkod eller utan kod för att tillgodose behoven hos ditt testteam.

• Applitools Eyes
• Functionize
• Mabl
• Parasoft SOAtest
• Testim.io

Slutsats

Artificiell intelligens har haft en betydande inverkan på testverktyg och testmetoder, och i synnerhet på testautomatisering. En översikt över de aktuella verktyg som utlovar AI visar att även om många nya funktioner läggs till, befinner sig flera av dessa funktioner fortfarande på väg att mogna.

Om du tyckte att den här artikeln var användbar kan du prenumerera på The QA Lead Newsletter och hålla dig uppdaterad med alla de senaste nyheterna inom testning.