AI in testautomatisering: zo werkt het

Het gebruik van kunstmatige intelligentie (AI) bij testautomatisering is de nieuwste trend op het gebied van kwaliteitsborging. Testen in het algemeen en testautomatisering in het bijzonder lijken te zijn besmet met de “alles is beter met AI”-ziekte.

Aangezien AI, machinaal leren en neurale netwerken momenteel enorm populair zijn, was het wellicht onvermijdelijk dat AI op de een of andere manier zijn weg zou vinden naar testautomatisering.

Een achtergrond in testautomatisering

Ik herinner me een periode van enkele jaren geleden, toen testautomatisering nog nieuw was en een van mijn kwaliteitsborgingsteams werkte aan een project voor een grote klant. Het was een mobiele applicatie met miljoenen gebruikers en maandelijkse releasecycli. Het QA-team was doorgaans ontspannen tijdens de eerste twee weken van de cyclus en werkte daarna tot aan de release hectisch door—een van de merkwaardige neveneffecten van agile softwareontwikkeling waarover je niet in de krantenkoppen leest!

Uiteindelijk was een van de QA-teamleiders het duimen draaien tijdens die rustige twee weken beu en begon hij te werken aan een raamwerk voor testautomatisering. Hij schreef enkele testscripts in Ruby met Selenium / Appium en Jenkins voor een eenvoudige pijplijn, inclusief fraaie rapporten met indicatoren in Rood / Geel / Groen voor testfouten en -succes.

Dit lukte hem gedurende een paar releasecycli. Toen presenteerden we het aan onze kwaliteitschef, die het bij onze klanten introduceerde en hen enthousiast genoeg maakte om te betalen voor geautomatiseerd testen als deelproject. We waren dolenthousiast en liepen voorop!

Vooroplopen kreeg echter enkele maanden later een nieuwe betekenis, toen we die fundamentele waarheid over testautomatisering ontdekten waarmee elke zichzelf respecterende QA-automatiseringsingenieur vandaag de dag worstelt:

Waarom zeg ik dit? Omdat we ons al snel voelden als Alice in Mordor-land, die als een gek samen met de Rode Koningin rondrende:

We hadden zojuist de harde realiteit van de valkuil van testautomatisering ontdekt: een van onze QA-ingenieurs moest de testsuite bij vrijwel elke releasecyclus up-to-date houden met de applicatie, omdat de veranderingen elkaar in hoog tempo opvolgden!

Een wijziging van één veldnaam en onze geautomatiseerde softwaretests waren in het spreekwoordelijke konijnenhol verdwenen. Het begin van een nieuwe release was bijzonder problematisch, omdat het softwareontwikkelingsteam enorme aantallen nieuwe toevoegingen deed.

Testautomatisering is sindsdien niet fundamenteel veranderd, omdat het nog steeds voortdurend toezicht en onderhoud vereist. Mogelijkheden voor dramatische verbetering van de aanpak en implementatie zijn pas zichtbaar geworden door de recente vooruitgang in de mogelijkheden van AI.

AI-hype versus realiteit

AI-technologie in haar huidige vorm draait grotendeels om het gebruik van algoritmen voor machinaal leren om modellen te trainen met relatief grote hoeveelheden gegevens en vervolgens de getrainde modellen te gebruiken om voorspellingen te doen of een bepaalde gewenste uitvoer te genereren. Bijna alles op het gebied van AI past in deze toegegeven sterk vereenvoudigde beschrijving. Voor ons is de belangrijkste vraag hier echter:

Zal AI daadwerkelijk kunnen helpen bij het automatisch genereren en bijwerken van testgevallen? Fouten vinden? De codedekking verbeteren?

Het antwoord op die vraag is momenteel verre van duidelijk, omdat we ons op het hoogtepunt van de hypecyclus voor AI bevinden. Een specifiek deelgebied, diep leren, heeft een groot deel van deze opwinding veroorzaakt.

Wat ik het interessantst vind aan deze grafiek is het volgende:

Als Siri geacht wordt de hypecurve voorbij te zijn, dan zijn we nog lang niet in Kansas, Dorothy!

Ik bedoel, ik ken veel mensen die zichzelf moeten herhalen om Siri te laten begrijpen wat ze zeggen (niet beledigend bedoeld voor Siri-fans. Echt niet 😉).

De hypecurve laat ons zien dat er veel enthousiasme bestaat over het potentieel van AI, dat afneemt voordat iedereen overgaat op de dagelijkse bedrijfsvoering. In eenvoudige bewoordingen komt de fraaie grafiek van Gartner hierop neer:

Hoewel we nog lang niet bij de singulariteit zijn, heeft AI in zijn huidige vorm nog steeds het potentieel om testautomatisering aanzienlijk te verbeteren.

Hoe produceert machinelearning geautomatiseerde tests?

1. Training: In de trainingsfase moet het machinelearningmodel worden getraind met een specifieke dataset van de organisatie, waaronder de codebase, applicatie-interface, logboeken, testgevallen en zelfs specificatiedocumenten. Als er geen dataset beschikbaar is die groot genoeg is, kan dat de doeltreffendheid van het algoritme verminderen.
   
   Sommige tools beschikken over vooraf getrainde modellen die doorlopend worden bijgewerkt via continu leren voor specifieke toepassingen, zoals UI-testen, zodat algemene kennis binnen een specifieke organisatie kan worden gebruikt.
   
   
2. Genereren van uitvoer/resultaten: Afhankelijk van de gebruikssituatie genereert het model testgevallen, controleert het bestaande testgevallen op codedekking, volledigheid en nauwkeurigheid, en voert het zelfs tests uit. In alle gevallen moet een tester de gegenereerde uitvoer controleren om deze te valideren en ervoor te zorgen dat die bruikbaar is.
   
   Als we de analogie van zelfrijdende auto's gebruiken, lijken de resultaten meer op rijassistentie dan op een daadwerkelijk zelfrijdende auto.
   
   
3. Continue verbetering: Naarmate een organisatie de tool regelmatig blijft gebruiken, neemt de hoeveelheid trainingsgegevens toe, waardoor de nauwkeurigheid en effectiviteit van bestaande getrainde netwerken mogelijk toenemen. Kortom, het AI-systeem blijft leren en verbeteren.

Machinelearningalgoritmen zorgen voor een revolutie in testautomatisering. Bekijk onze gids voor hoogwaardige softwaretesttools om tools te vinden waarin deze geavanceerde algoritmen zijn verwerkt.

Toepassingen van AI in testautomatisering

Laten we enkele toepassingen van AI in testautomatisering nader bekijken, waaronder unittesten, testen van gebruikersinterfaces, API-testen en het onderhouden van een geautomatiseerde testsuite.

Unittests maken en bijwerken

Unittesten, dat vaak wordt gebruikt als onderdeel van continu testen en continue integratie / continue levering (CI / CD) in DevOps, kan een ware nachtmerrie zijn in de... asteroïdengordel.

Ontwikkelaars besteden doorgaans veel tijd aan het schrijven en onderhouden van unittests, wat bij lange na niet zo leuk is als het schrijven van applicatiecode. In dit geval kunnen AI-gebaseerde producten voor het automatisch maken van unittests nuttig zijn, vooral voor organisaties die van plan zijn om laat in de levenscyclus van een product unittests te introduceren.

Voordelen: 

• AI-gebaseerde geautomatiseerde unittests zijn een belangrijke stap vooruit ten opzichte van sjabloongebaseerde automatische generatie van unittests met behulp van statische of dynamische analyse. De gegenereerde tests zijn echte code, geen eenvoudige tijdelijke code.
  
• AI-gebaseerde unittests kunnen zeer snel worden gegenereerd, wat nuttig is voor een grote bestaande codebase.
  
• Ontwikkelaars hoeven alleen de tests aan te passen en kunnen de regressietestsuite relatief snel instellen.

Beperkingen: 

• Door AI gegenereerde unittests weerspiegelen eenvoudigweg de code waarop ze zijn gebaseerd. Ze kunnen de beoogde functionaliteit van de code vooralsnog niet raden. Als de code zich niet gedraagt zoals bedoeld, zal de voor die code gegenereerde unittest dat onbedoelde gedrag weerspiegelen.
  
  Dit is een aanzienlijk nadeel, omdat het hele doel van unittests is om een impliciet of expliciet contract af te dwingen en te verifiëren.
  
• Unittests die met machine learning zijn gegenereerd, kunnen bestaande goed werkende unittests verstoren. Het is aan de ontwikkelaar om ervoor te zorgen dat dit niet gebeurt.
  
• Ontwikkelaars moeten zelf tests schrijven voor complexe bedrijfslogica.

Geautomatiseerd testen van gebruikersinterfaces 

Dit is een gebied waarin AI begint uit te blinken. Bij UI-tests op basis van AI analyseren testautomatiseringstools de DOM en gerelateerde code om objecteigenschappen vast te stellen. Ze gebruiken ook beeldherkenningstechnieken om door de applicatie te navigeren en UI-objecten en -elementen visueel te verifiëren en zo UI-tests te maken.

Daarnaast gebruiken AI-testsystemen verkennend testen om bugs of variaties in de gebruikersinterface van de applicatie te vinden en schermafbeeldingen te genereren die later door een QA-ingenieur kunnen worden gecontroleerd. Op vergelijkbare wijze kunnen de visuele aspecten van het systeem dat wordt getest (SUT), zoals indeling, formaat en kleur, worden geverifieerd.

Voordelen:

• Geautomatiseerd UI-testen kan leiden tot een hogere codedekking.
  
• Kleine afwijkingen in de gebruikersinterface zorgen er niet voor dat de testsuite mislukt. De AI-modellen van het product kunnen hiermee omgaan.

Beperkingen:

• Voor elke moderne applicatie is het aantal platforms, appversies en browserversies groot. Het is niet duidelijk hoe goed UI-automatisering op basis van AI onder deze omstandigheden presteert. Cloudtesttools kunnen tests echter parallel uitvoeren, dus dit wordt een interessant gebied om te volgen!

AI gebruiken ter ondersteuning van API-testen

Zelfs zonder AI is het automatiseren van API-testen geen eenvoudige taak, omdat hiervoor inzicht in de API nodig is en vervolgens tests voor een groot aantal scenario's moeten worden opgezet om een grondige en brede dekking te garanderen.

Huidige tools voor API-testautomatisering, zoals Tricentis en SoapUI, leggen API-activiteiten en -verkeer vast om deze te analyseren en tests te maken. Het aanpassen en bijwerken van tests vereist echter dat testers zich verdiepen in de details van REST-aanroepen en parameters en vervolgens de API-testsuite bijwerken.

Tools voor API-testautomatisering op basis van AI proberen dit probleem te beperken door verkeer te onderzoeken en patronen en verbanden tussen API-aanroepen te identificeren, waarbij deze effectief per scenario worden gegroepeerd. Tools gebruiken ook bestaande tests om meer te leren over relaties tussen API's, gebruiken deze kennis om wijzigingen in API's te begrijpen en werken bestaande tests bij of maken nieuwe scenariogebaseerde tests. 

Voordelen:

• Voor beginnende testers of mensen zonder programmeerervaring kan dit zeer nuttig zijn om hen “direct goed van start te laten gaan”.
  
  Verandermanagement zou opnieuw aanzienlijk eenvoudiger worden, aangezien ten minste een deel van de API-wijzigingen door een AI-automatiseringstool kan worden afgehandeld.

Beperkingen:

• Over het algemeen is API-testen moeilijk op te zetten en bieden veel tools geen mogelijkheden op basis van machine learning op dit gebied. De tools die dit wel bieden, lijken vrij rudimentaire mogelijkheden te hebben.

Onderhoud van geautomatiseerde tests

Tools op basis van AI kunnen wijzigingen in de code evalueren en verschillende bestaande tests aanpassen die niet met die wijzigingen overeenkomen, vooral als die codewijzigingen niet al te complex zijn. Updates van UI-elementen, veldnamen en dergelijke hoeven de testsuite niet langer te laten mislukken.

Sommige AI-tools bewaken lopende tests en proberen aangepaste varianten uit voor mislukte tests door UI-elementen te kiezen op basis van de beste overeenkomst. Ze kunnen ook de testdekking verifiëren en de hiaten indien nodig aanvullen. 

Genereren van testgegevens op basis van AI

Het genereren van testgegevens is een ander veelbelovend gebied voor AI-modellen. Machine learning kan eenvoudig gegevenssets genereren, zoals foto's en informatie voor persoonlijke profielen, waaronder leeftijd en gewicht, op basis van getrainde machinelearningmodellen die leren aan de hand van bestaande productiedatasets. 

Op deze manier lijken de gegenereerde testgegevens sterk op productiegegevens, wat ideaal is voor gebruik bij softwaretesten. Het machinelearningmodel dat gegevens genereert, wordt een generatief adversarieel netwerk (GAN) genoemd.

Testautomatiseringstools die machine learning gebruiken

Bekijk de onderstaande tools als je op zoek bent naar software die machine learning gebruikt om geautomatiseerde tests uit te voeren en bij te houden. Veel tools bieden opensource- of codevrije opties om aan de behoeften van je testteam te voldoen.

• Applitools Eyes
• Functionize
• Mabl
• Parasoft SOAtest
• Testim.io

Conclusie

Kunstmatige intelligentie heeft een aanzienlijke invloed gehad op testtools en -methoden, en in het bijzonder op testautomatisering. Een overzicht van de huidige tools die AI beloven, laat zien dat er weliswaar veel nieuwe functies worden toegevoegd, maar dat verschillende van die functies nog niet volledig zijn uitontwikkeld.

Als u dit artikel nuttig vond, abonneer u dan op de nieuwsbrief van The QA Lead en blijf op de hoogte van de nieuwste ontwikkelingen in de testwereld.