Automaatiotestauksen pimeä puoli & miksi manuaalitestaus on yhä tärkeää

Discover how to deliver better software and systems in rapidly scaling environments. Join our Community

Automaatiotestauksesta on tullut niin olennainen osa tiettyjä rutiineja, että jotkut testaajat pohtivat, korvaako se manuaalisen testauksen kokonaan.  Ei vielä pitkään aikaan.  Kun Teslan tiimi suunnitteli Model 3 -mallia, yksi heidän tavoistaan kasvattaa tuotantonopeutta oli täysin automatisoidun kokoonpanolinjan käyttöönotto. Tekoäly kokoaisi auton lähes ilman ihmisten valvontaa.  Suunnitelma epäonnistui katastrofaalisesti. Autot törmäilivät toisiinsa, ovia porattiin ikkunoihin ja […]

Automaatiotestauksesta on tullut niin olennainen osa tiettyjä rutiineja, että jotkut testaajat pohtivat, korvaako se manuaalisen testauksen kokonaan. 

Ei vielä pitkään aikaan. 

Kun Teslan tiimi suunnitteli Model 3 -mallia, yksi heidän tavoistaan kasvattaa tuotantonopeutta oli täysin automatisoidun kokoonpanolinjan käyttöönotto. Tekoäly kokoaisi auton lähes ilman ihmisten valvontaa. 

Suunnitelma epäonnistui katastrofaalisesti.

Autot törmäilivät toisiinsa, ovia porattiin ikkunoihin ja renkaita ei saatu kunnolla vanteille. 

Mitä tapahtui? Kävi ilmi, etteivät robotit näe kovin hyvin. Model 3 -mallin kokoonpanosta vastannut tekoäly ei pystynyt mukautumaan odottamattomiin ongelmiin tai pieniin kohdistusvirheisiin. Jos kaikki ei ollut täsmälleen oikeassa linjassa, se teki katastrofaalisia virheitä. 

Sama pätee automaatiotestaukseen laadunvarmistuksessa. Joissakin testaustavoissa on liikaa muuttujia, ja manuaalisen testaajan on pystyttävä korjaamaan suuntaa ja selvittämään ongelmia lennossa. 

Mitä automaatiotestaus on?

Automaatiotestauksessa laadunvarmistuksen testaaja käyttää työkalua testitapauksen suorittamiseen. Kehityssyklin aikana sama testitapaus testataan useita kertoja.

Jotkin testitapaukset, joiden manuaaliseen läpikäyntiin laadunvarmistuksen testaajaryhmältä kuluisi tunteja, voidaan suorittaa automaatiotyökalulla muutamassa minuutissa. Useista automaatiotestaustyökaluista on tullut alan standardeja. 

Automaatiotestauksen pimeä puoli

Muut toimialat, käsityöammatit ja ammatit ovat joutuneet käsittelemään automaation käyttöönottoa omalla alallaan. Aina kun näin on tapahtunut, olipa kyseessä ilmailu ja automaattiohjaus, mattojen kutominen tai testaus, kyseisen alan työntekijät menettävät ymmärryksensä työnsä taustalla olevasta ”miksi”-kysymyksestä.

Laadunvarmistuksen ammattilainen Jan Jaap Cannegieter huomasi tämän ilmiön alkavan tapahtua testaajien keskuudessa. Hänen suurin pelkonsa on, että automaatiotestauksen helppous ja kasvava pyrkimys automatisoida suuri osa testausprosessista johtavat testaajasukupolveen, joka tietää, mitä toimia pitää suorittaa, mutta ei ymmärrä, miksi niitä suoritetaan. 

Monet testaajat tietävät kaiken tietyistä työkaluista tai ohjelmointikielistä, mutta he eivät osaa kertoa minulle, mitä he testaavat ja miksi he testaavat sitä. Ja se on huono asia.

Get Free Access
Get regular tech leadership wisdom for delivering better software and systems.

Esimerkkejä huonosta automaatiotestauksesta

Monet laadunvarmistuksen testaajat näkevät automaatiotestauksessa saman potentiaalin. Tyypillisesti tämä tarkoittaa, että havaittavissa on trendejä ja yleisiä virheitä, joita laadunvarmistuksen testaaja voi tehdä. Tässä on joitakin yleisiä esimerkkejä huonosta automaatiotestauksesta. 

Automaatiotestien sisäkkäisyys

Automaatiotestien sisäkkäisyydellä tarkoitetaan tilannetta, jossa useita automaatiotestejä suoritetaan toistensa päällä.  Kun näin tapahtuu, virheen ilmetessä on vaikea selvittää, mikä on mennyt pieleen. 

Lyhyellä aikavälillä useimmat automaatiotestauksen tapaukset ovat myönteisiä. Laadunvarmistuksen testaaja käyttää oikeaa työkalua ja suorittaa sen asianmukaisesti. 

Monet esimerkit huonosta automaatiotestauksesta muuttuvat huonoiksi vasta kuuden kuukauden kuluttua, kun automaattisia testejä on sisällytetty toisiin automaattisiin testeihin, jotka puolestaan on sisällytetty muihin automaattisiin testeihin. 

Käyttöliittymän automaatiotestaus ilman valvontaa

Käyttöliittymätestauksella varmistetaan, ettei käyttäjä voi tehdä käyttöliittymässä mitään sellaista, mikä rikkoisi ohjelman tai aiheuttaisi toimintahäiriöitä. Manuaalisesti testattuna tämä voi vaatia paljon testaajia ja runsaasti työvoimaa. Rehellisesti sanottuna tällainen testaustapa on tehoton, etenkin kun ohjelma kasvaa suuremmaksi ja yhä useampia toimintoja on testattava. 

Automaatiotestauksen avulla prosessi nopeutuu, mutta se voi silti vaatia laadunvarmistuksen testaajan tietokoneen täyden suorituskyvyn koko päiväksi. Tämän vuoksi laadunvarmistuksen testaajat käynnistävät testin päivän päätteeksi, antavat sen toimia yön yli ja palaavat seuraavana aamuna töihin, jolloin tulokset odottavat heitä valmiina. Kuulostaa järkevältä, eikö? 

Päällisin puolin se vaikuttaa järkevältä toimintatavalta. Laadunvarmistuksen testaaja käyttää tietokonettaan päivällä muiden ohjelmien testaamiseen ja suorittaa sitten yöllä käyttöliittymän automaatiotestauksen.

Juuri siksi, että se vaikuttaa intuitiivisesti järkevältä, tämä on yleinen virhe. Automaatiotestauksen suorittamisen aikana ilman valvontaa voi mennä paljon asioita pieleen.

Jos jokin menee pieleen jo alkuvaiheessa, myös loput tuloksista ovat virheellisiä. Kokonaisen päivän testaus ei tuottanut mitään hyödyllistä tietoa, koska tapahtui virhe, joka olisi voitu helposti havaita ja korjata, jos joku olisi ollut tarkistamassa, että automaatiotesti toimi oikein.

Vaikka automaattinen testaus voi joskus johtaa vääriin positiivisiin tuloksiin, oikeiden laadunvarmistuksen automaatiotyökalujen valinta voi vähentää tällaisten tapausten määrää merkittävästi. 

Väärien asioiden automatisointi

Automaatiotestauksen määrittäminen vie aikaa. Laadunvarmistuksen on varmistettava, että automaatiotyökalut sopivat projektiin ja että laadunvarmistuksen testaajat osaavat käyttää työkaluja oikein. 

Kaikki tämä vie paljon aikaa ja vaatii organisointia, ja jos lopputuloksena on kerran kuukaudessa suoritettavan testin automatisointi, vaiva ei ole sen arvoinen. Ennen kuin aloitat automaatiotestauksen, varmista, että automatisoitava asia säästää laadunvarmistuksen testaajilta mitattavissa olevan määrän aikaa.

Sen lisäksi, että voit automatisoida tehtäviä, joita suoritetaan liian harvoin vaivan arvoisesti, joitakin tehtäviä ei yksinkertaisesti voida automatisoida helposti.

Manuaalisen testauksen korvaaminen

Automaattinen testaus voi havaita vain sen, mitä sen on käsketty etsiä. Jos verkkosivun fontit näyttävät oudoilta, mutta testissä tarkistettiin vain, että kaikki sivuston linkit toimivat, se ratkaisee yhden ongelman (linkit), mutta ei tiedä, että toisessa asiassa (fonteissa) on jotain vialla. 

Manuaalisessa testauksessa voidaan havaita asioita, jotka jäävät testin alkuperäisen laajuuden ulkopuolelle. Tutkiva testaus suunniteltiin antamaan laadunvarmistuksen testaajalle tilaa löytää odottamattomia virheitä niiden ilmetessä, vaikka niitä ei alun perin etsitty. Yksittäiseen tehtävään keskittyessään automaatiotestaus voi olla perusteellista. Se ei kuitenkaan voi olla kattavaa. 

Hyvän automaatiotestauksen esimerkkejä

Testiautomaatiota käytetään riskien minimoimiseksi. Kun laadunvarmistuksen testaaja voi minimoida riskit ja maksimoida tehokkuuden, automaatiotestausta kannattaa ehdottomasti käyttää.  Laadunvarmistuksen testaajan ei ole mitään syytä käyttää tuntikausia verkkosivuston linkkien manuaaliseen tarkistamiseen, kun verkkorobotti voi suorittaa saman tehtävän lyhyemmässä ajassa ja tekee virheen epätodennäköisemmin.

Hyvä nyrkkisääntö päätettäessä, milloin automaatiotestausta tulisi käyttää manuaalisen testauksen sijaan, on kysyä, onko testi nopea vai jatkuva. Jos testi suoritetaan jatkuvasti, automaatiotestaus on oikea ratkaisu. 

Ihmiset ovat koneita huonompia suorittamaan toistuvia tehtäviä johdonmukaisesti korkealla tasolla. Kaipaamme vaihtelua ja irtaudumme henkisesti, kun teemme samaa asiaa liian pitkään. Tämä mahdollistaa virheiden livahtamisen läpi. 

Laadunvarmistuksen testaaja huomaa nopeasti, että hän on: a) käyttänyt enemmän aikaa kuin automaatiotestauksen suorittamiseen olisi kulunut ja b) tehnyt huonompaa työtä sekä aiheuttanut myöhemmin enemmän päänvaivaa. 

Jason Huggins, suositun automaatiotestaustyökalun, Seleniumin, perustaja, kehitti ohjelman, koska huomasi käyttävänsä niin monia testaajan työpäiviä samojen tehtävien suorittamiseen – tehtävien, jotka hänen mielestään olivat niin yksinkertaisia ja suoraviivaisia, että jopa robotti voisi hoitaa ne. Niinpä hän kehitti komentosarjan testaamaan selaimen toiminnallisuutta automaattisesti hänen puolestaan. Se menestyi heti ja siitä tuli nopeasti alan standardi. 

Jopa ne laadunvarmistuksen ammattilaiset, jotka suhtautuvat automaatiotestaukseen epäilevästi, tietävät, että siitä on monissa tilanteissa hyötyä. 

Miksi manuaalinen testaus ei koskaan kuole

Olemme käyneet läpi AT:n hyvät, huonot ja erittäin huonot puolet. Tiedämme, missä tilanteissa se toimii hyvin ja missä se saa kokoonpanolinjat heittelemään autonrenkaita ympäri tehdasta. Tarkastellaan hetki manuaalista testausta ja sitä, miksi se on edelleen niin tärkeää laadunvarmistuksen testaajille. 

Automaatiotestaus tarvitsee valvontaa

Kuten edellä mainittiin Muskin Model 3 -ongelman ja automaatiotestauksen yön yli suorittamisen riskien yhteydessä, asiat voivat mennä pahasti pieleen, kun automaatiotyökalut jätetään toimimaan yksin. 

Automaatiotestaus tarvitsee valvontaa -gif

Automaatiotestauksen suuret hyödyt saavutetaan, kun sitä käytetään yhdessä manuaalisen testauksen kanssa tai laadunvarmistuksen testaajan valvonnassa. Jo tästä syystä laadunvarmistuksen testaajat voivat olla rauhallisin mielin tietäessään, ettei AT tule lähitulevaisuudessa ottamaan heidän roolejaan. 

More Articles

Manuaalisessa testauksessa käytetään tutkivaa testausta

Kun testaaja suorittaa tutkivaa testausta, hän tutkii ohjelmistoa ilman ennalta määritettyä suunnitelmaa. Se on yksi QA:n suosituimmista testaustavoista.

Tutkivaa testausta voidaan tehdä vain manuaalisesti. 

Tutkivan testauksen etuna on, että testaaja voi mukautua havaintoihinsa lennossa ilman tarvetta kirjoittaa uutta testitapausta. 

Tutkiva testaus mahdollistaa myös yhteistyön, teorioiden muodostamisen ja oppimisen lennossa. 

Kun ketterän kehityksen teoria on tullut yhä tunnetummaksi, myös tutkiva testaus on yleistynyt. 

Automaatiotestauksesta puuttuu tutkivaan testaukseen tarvittava joustavuus ja luovuus, jotta se olisi riittävän ketterää. Se toimii parhaiten jäykässä ympäristössä, jossa se tietää tarkalleen, mitä etsiä. Tutkiva testaus on täysin päinvastaista – QA-testaajaa ohjeistetaan menemään minne tahansa hän haluaa. 

Mitä mieltä olet?

Jotkut vannovat automaatiotestauksen nimeen, kun taas toiset ajattelevat yhä, että manuaalinen testaus on oikea tapa. Miten QA-tiimit voivat mielestäsi saada eniten irti automaatiotestauksesta? Oletko sitä mieltä, että olemme valmiita tekoälyn hyödyntämiseen testauksessa?

Tilaa The CTO Clubin uutiskirje saadaksesi uusimmat artikkelit ja alan asiantuntijoiden päivitykset.

Jason Boog
Over his 15-year career, Jason Boog has worked as a QA tester, QA analyst, and Senior QA Analyst on video games, commercial sites, and interactive web applications. He spent more than a decade building out the QA team and process as Director of Quality & Client Support at a full-service digital agency.
Follow the author:

You may also like