April 2014

Regressietest automatiseren, zinvol of niet?

Bij het testen van wijzigingen is het aan te bevelen om, naast de wijziging zelf, ook de aangrenzende onderdelen te testen. Hiermee wordt (hopelijk) aangetoond dat de wijziging geen negatief effect, ook wel regressie genoemd, heeft op de ongewijzigde onderdelen. Het in toenemende mate moeten testen op regressie is vaak een aanleiding om te onderzoeken of het zinvol is om deze tests te automatiseren. Het is namelijk lastig om steeds weer de handen bij ‘de business’ op elkaar te krijgen voor het testen van ongewijzigde functionaliteit. Minder handmatig testwerk en inkorten van de doorlooptijd klinken hierbij natuurlijk als muziek in de oren. Maar bent u er klaar voor als organisatie?

Geautomatiseerd testen

Er zijn uiteenlopende randvoorwaarden waaraan moet worden voldaan om het geautomatiseerd testen te laten slagen. Geautomatiseerd testen is echter sterk af te raden wanneer het testproces onvoldoende volwassen is. De grootste winst zit bovendien in een gestructureerd en volwassen testproces. Dit gestructureerde testproces ziet er op toe dat de testinspanning wordt verricht op basis van risico’s (de grootste risico’s worden als eerste en het meest uitvoerig getest). Door in een vroeg stadium de belangrijkste fouten te vinden, worden de herstelkosten beperkt. Binnen een volwassen testproces wordt bovendien de (regressie)testset dusdanig opgebouwd dat deze makkelijk te onderhouden is. Alleen wanneer de testset makkelijk onderhoudbaar is, kan deze eenvoudig worden bijgewerkt, waardoor deze herbuikbaar wordt in volgende tests.

In de praktijk blijkt het erg bewerkelijk om deze en andere randvoorwaarden in te voeren. Het inzetten van bijvoorbeeld Excel en Word biedt weinig uitkomst, omdat de samenhang en het overzicht van alle losse documenten al snel ontbreekt. Hergebruik wordt bovendien ondoenlijk met honderden losse bestanden (vaak verspreid over netwerkschijven en verschillende projectmappen).

Geautomatiseerd regressie testen met Testersuite

Met behulp van een testmanagement tool zoals Testersuite wordt het mogelijk om geleidelijk de verschillende randvoorwaarden voor geautomatiseerd regressietesten te implementeren én te borgen. Het overwegen van het automatisch uitvoeren van regressietests wordt dus pas zinvol als er sprake is van een gestructureerd testproces, ondersteund door een testmanagementtool. Het is daarbij aan te bevelen om te beginnen met een inventarisatie van de tests die, als ze automatisch worden uitgevoerd, de meeste winst opleveren:

  • Onderdelen niet vaak wijzigen maar wel een groot probleem opleveren (risico) als deze niet goed functioneren
  • Onderdelen waarvan de tests zeer tijdrovend  zijn
  • Onderdelen die vaak worden meegenomen in een regressietest (veel technische of functionele afhankelijkheden)

Aan de hand van een businesscase kan de afweging gemaakt worden of de overstap naar geautomatiseerd testen loont. Hou hierbij rekening met de volgende zaken:

  • Het vereist (technische) kennis om de handmatige testscripts om te zetten naar geautomatiseerde scripts
  • Bij wijzigingen moeten de geautomatiseerde testscripts die de wijziging raken worden aangepast
  • Voor nieuwe functionaliteit moet opnieuw worden nagedacht hoe deze getest moet worden
  • Het is sterk af te raden om alle tests te automatiseren!

We helpen u graag bij het structureren van uw testproces en het implementeren van de verschillende randvoorwaarden voor geautomatiseerd testen. Testersuite bevat bovendien integratiemogelijkheden met geautomatiseerde testtools. Neem gerust contact met ons op om in een vrijblijvend gesprek te bepalen of het voor uw organisatie zinvol is om geautomatiseerd regressie te testen.

 

« terug