Test af kompleks B2B SaaS: Sådan håndterer QA.tech’s agenter roller, tilladelser og datadrevne arbejdsgange

Simple produkter er nemme at teste, og næsten ingen bygger simple produkter længere. De B2B SaaS-platforme, vi arbejder med hos QA.tech, har en fælles profil: flere brugerroller med forskellige tilladelser, skærme hvis udformning afhænger fuldstændigt af dataene bag dem, arbejdsgange der strækker sig over et dusin trin og flere afhængigheder, og i stigende grad funktionalitet, der strækker sig på tværs af web, API og mobil i én enkelt brugerrejse.

Det er netop dette område, hvor scriptbaseret testautomatisering koster mest og dækker mindst. Hver rolle mangedobler stierne. Hver datatilstand mangedobler dem igen. En testpakke, der ærligt dækkede kombinationerne, ville være større end selve produktet – så i praksis skriver teams scripts til de forventede scenarier, foretager stikprøver af resten manuelt og accepterer hullet.

Denne artikel gennemgår, hvordan QA.techs agenter håndterer hver af disse kompleksitetsdimensioner på forskellig vis, baseret på onboarding af teams inden for finansiel teknologi, HR-teknologi, e-handelsinfrastruktur og sundhedssektoren – de produkter, hvor "bare optag flowet" aldrig ville fungere.

Den rigtige mentale model: Du onboarder en ny kollega

Den vinkel, der får alt det følgende til at falde på plads, kom faktisk fra en kunde. En QA-leder, der så agenten udforske deres platform for første gang, spurgte: "Så den fungerer som en ny medarbejder i virksomheden?" Lige præcis. Agenten slutter sig til dit team på samme måde, som en dygtig ny QA-medarbejder ville gøre – den udforsker produktet, opbygger en mental model, stiller spørgsmål, når den støder på noget tvetydigt, og bliver lejlighedsvis korrigeret i sine første uger. Forskellen er, hvad der sker bagefter: Den forståelse, den opbygger, er en vedvarende vidensgraf, den glemmer aldrig en korrektion, og den anvender hvert stykke kontekst på alle fremtidige tests.

Denne mentale model er vigtig, fordi komplekse produkter netop er det område, hvor perioden som "ny medarbejder" giver udbytte. Et script kender én vej gennem dit produkt. En trænet agent kender dit produkt.

Roller og tilladelser: Lær den hele kortet, og giv den derefter en hvilken som helst nøgle

Tilladelsessystemer er der, hvor scriptbaserede testpakker stille og roligt giver op. Hvis din platform har roller som administrator, leder og medlem – eller halvtreds kundespecifikke rollekonfigurationer – kræver en scriptbaseret tilgang separat, manuelt udarbejdet dækning for hver rolle, og den bliver forældet, så snart tilladelserne ændres.

Den agentbaserede tilgang vender dette på hovedet. Først udforsker agenten dit produkt med en administratorkonto, så dens vidensgraf dækker hele overfladen: hver skærm, hver handling, hvert flow, der findes. Derefter giver du den konti med begrænsede rettigheder. Når agenten logger ind som medlem, ser den færre muligheder – og fordi den kender hele kortet, forstår den hvad der mangler, og hvorfor, i stedet for at blive forvirret over en mindre grænseflade.

Herfra bliver test af tilladelser en samtale. Fortæl agenten "som denne kategori af bruger må du kun se X, Y og Z", og den verificerer grænsen. Og her er den detalje, teams elsker: Når en bruger med begrænsede rettigheder reelt ikke kan få adgang til en skærm, registrerer agenten en bestået test – et bevis på, at tilladelsessystemet gør sit arbejde. Du bekræfter forventningen én gang, agenten indarbejder den, og en hel klasse af sikkerhedsrelevante verifikationer kører løbende, uden at nogen behøver skrive scripts til dem.

Datadrevne flows: samme mål, forskellige data, ingen ny redigering

I datatunge SaaS-produkter er flowet sjældent den svære del – det er permutationerne. At oprette en post er én test; at oprette den med halvtreds forskellige dataprofiler, hvoraf nogle skal lykkes, og andre skal afvises, er der, hvor manuel test drukner, og scripts bliver til matrixer med parametre, som ikke kan vedligeholdes.

Fordi agenten kører ud fra mål i stedet for optagede trin, kræver variation i data kun én instruktion: "Kør denne test igen med disse data." Flowets viden videreføres; kun inputtene ændres. Negative tilfælde fungerer på samme måde – beskriv, hvad der skal afvises, og agenten verificerer, at produktet siger nej, når det skal. For de fritekstfelter, som alle komplekse produkter er fulde af, trækker agenten på den produktkontekst, du har givet den, for at indtaste fornuftige værdier, og når den gætter forkert, korrigerer du dens forståelse én gang i stedet for at lappe et script.

Lange arbejdsgange: Agenten kender allerede forudsætningerne

Arbejdsgange i enterprise-SaaS har kæder af afhængigheder – du kan ikke redigere en aftale, før der findes en aftale, kan ikke godkende en anmodning, før nogen indsender den, og du kan ikke teste det tiende trin uden de første ni. I scriptbaserede testpakker bliver dette til opsætningskode: testdata, initialiseringer og hjælpescripts, som i sig selv udgør en vedligeholdelsesbyrde.

Agenten håndterer kæder på samme måde som en person: ved at huske. Når den har gennemført en arbejdsgang, bygger alt efterfølgende videre på den viden. Bed den om at teste underallokeringer på en aftale, så ved den, at oprettelsen af aftalen kommer først – fordi den har gjort det, og stien findes i dens vidensgraf. Forudsætningsarbejdsgange som login konfigureres én gang og genbruges overalt. Jo dybere dine arbejdsgange er, desto mere betyder denne ophobning, fordi hvert trin, agenten allerede kender, er et trin, som ingen behøver at skrive igen.

Arbejdsgange på tværs af overflader: web, API og mobil i én test

Virkelige brugerrejser i moderne SaaS respekterer ikke grænserne mellem testværktøjer. En bruger konfigurerer noget på web, en webhook udløses, en post opdateres via API'en, og en notifikation lander i mobilappen. De fleste teams tester hver overflade i et separat værktøj med separate scripts og håber, at overgangene holder.

QA.tech kører disse som enkeltstående end-to-end-tests: en arbejdsgang kan starte i webproduktet, indeholde API-testtrin i midten og afsluttes i den indbyggede iOS- eller Android-app, så rejsen verificeres på den måde, som din kunde faktisk oplever den. For platforme, hvor overgangene mellem overfladerne er præcis dér, hvor fejl skjuler sig – betalinger, notifikationer, synkronisering – lukker dette det hul, som værktøjer til enkelte overflader strukturelt ikke kan lukke.

Hvad det samlet set betyder

Mønstret på tværs af teams med komplekse produkter er ensartet. De første uger er samarbejdsorienterede – agenten udforsker, spørger og bliver korrigeret, mens dit team lærer, hvordan det skal instruere den. Derefter aftager spørgsmålene, og testindsatsen bliver afkoblet fra produktets kompleksitet: nye roller, nye datatilstande og nye arbejdsgangstrin optages i vidensgrafen i stedet for at skabe nyt scriptarbejde.

Resultatet kan ses i antallet af timer. Pricer, en virksomhed inden for detailteknologi, hvis platform netop er denne type komplekse og datatunge produkt, målte 390 QA-timer sparet pr. kvartal efter at have flyttet verifikationen til QA-agenter – kapacitet, der igen kunne bruges på at lancere nyt i stedet for at vedligeholde testinfrastrukturen.

Og der er en mere stille fordel, som tekniske ledere nævner: Agentens udforskning afdækker de kombinationer, som ingen havde tænkt på at teste. Når din dækning kommer fra et system, der har kortlagt hele produktet, i stedet for fra en bunke testopgaver, bliver »har du tænkt på dette?« til noget, platformen spørger dig om.

Har du et produkt, der får testværktøjer til at bryde sammen? Sæt QA.techs agenter til at teste dit staging-miljø – de er bygget til komplekse produkter.