Testauksen hallinnan työkalutuki

Olin viime viikolla HP:n käyttäjäkerhon tapaamisessa mukana panelistin ominaisuudessa ja pääsin kuulemaan esityksiä testaushallinnan työkalutuen ympärillä. Ja tietysti osallistumaan keskusteluun omalta osaltani. Minun työkalunegatiivisuuteni oli kutsujieni tiedossa - tai negatiivisuus on aika vahva ilmaus, olen vain vahvasti varovainen hyötyjen arvioinnin osalta enkä pidä "ei mitään" vastakandidaattina keskitetyn tietokannan kaupallisille välineille mahdollisia työkaluja vertaillessa.

Tilaisuus oli varsin inspiroiva monenkin asian osalta. Jaettavaksi jäi muistiin muutamia tarinoita:

1. Olen huomaamattani muuttanut mieltäni
2. Tarve täydelliselle jäljitettävyydelle testaushallinnan perusteena on lähinnä surullinen
3. Realistiset hyötyarvioinnit haastavia

Olen huomaamattani muuttanut mieltäni

Eräs osallistujista saa minun pisteeni suurimman pohdiskelun aloittamisesta kommentillaan tilaisuuden jälkipuinneissa. Puhuttuani testaushallinnan työkalutuesta osana paneelia olin tehnyt ilmeisesti jossain määrin selväksi varovaisen välttelevän asenteeni kaupallisiin testaushallinnan välineisiin. Testauksellinen kolleega muistutti minua siitä että olen puhunut samasta aiheesta varsin toisella painotuksella Conformiqilla työskentelyn aikoinani, kertoen että minulla on vahva usko siihen että ilman kaupallista testaushallinnan välinettä ei pärjää.

Rehellisyyden nimissä minun täytyy tunnustaa että en todellakaan enää muistanut mitä olen aikanaan puhunut, mutta vanhoja materiaaleja kaivelemalla pieniä muistoja palaa mieleen. Koko harjoitus muistutti siitä miksi mielellään laitan jäsennyksiäni näkyville enkä enää pelkää väärässä olemista niin etten voisi näkemyksiäni jakaa - se on loistava keino oppia jotain itsestään.

Tämä ei ole ainoa käännös mielipiteissäni. Suhteeni testitapauksiin on toinen iso tunnistamani täyskäännös. Mutta se on toisen kirjoitelman asia.

Koen että en kuitenkaan ehkä ihan täyskäännöstä ole tehnyt, vaikkakin vahvasti eri tavalla asian selvästi näen. Kokemukset F-Securella osoittivat että "väline" voi olla paljon muutakin kuin kaupallinen kantapohjainen työkalu. F-Securen kokemuksien Word-Excel -kokonaisuus oli sinänsä paljon enemmän kuin mitä olen tottunut näiltä kaupallisilta välineiltä saamaan. Keskeistä olikin prosessin ja sen dynamiikan fiksu ja yksinkertainen mukaantuominen: testiloki, joka auttaa hallinnoimaan toistotarpeeseen liittyviä päätöksiä on aivan kriittinen. Ja sen puutteellisuus on yksi suurimmista asioista joka minua kaupallisissa testauksen hallinnan välineissä häiritsee.

Tarve täydelliselle jäljitettävyydelle testaushallinnan perusteena on lähinnä surullinen

Osana paneelia keskustelimme työkalujen tarpeellisuudesta ja hyödyistä. Perustellessani sitä miksi erityisesti ketterien projektien osana koen että nykyiset testaushallinnan työkalut saattavat tuoda enemmän hidasteita kuin tehosteita, yhtenä anekdotaalisena toteamuksena työkalun hyödyllisyydestä nostettiin esiin tarina testaajasta, joka suoritti tuntien testit minuutissa: työkalu toimi keskeisenä ongelman näkyviin tuojana.

Jäin tämän maininnan osalta pohtimaan sitä että jos työkalun osalta kyttäyskulttuuri todella on yksi suuria hyötyjä, kuinka surullinen testauksen toimintaympäristö voikaan olla. Jos tämä todella olisi yksi painokkaimmista tarpeistamme testihallinnan työkaluihin, olisin erityisen surullinen testauksen puolesta.

Ketterien menetelmien tiimeissä tiimin sisäinen näkyvyys on minun kokemuksieni mukaan jo vahva keino nähdä jos joltakulta hommat lipeävät aivan ala-arvoiseen minimiin, mutta tiimi on keino auttaa toisia positiivisesti oppimaan mikä on odotettu standardi. Annettu anekdootti muistutti minua siitä että ehkä vielä meillä testauksessa voi olla kohdalla lievästi surullinen tilanne, jossa toiminnasta irrallaan oleva esimies työkalun mittareiden perusteella arvioi onnistumistamme ja yleensäkin töiden tekemistä. Taisimme kuitenkin kaikki tiedostaa että vaikka näitäkin tilanteita löytyy, se tuskin on tarkoituksenmukainen tila ylläpidettäväksi pidemmän päälle.

Realistiset hyötyarvioinnit haastavia

Esityksissä tuli esiin, kuten yleensäkin työkaluinvestoinneista puhuttaessa, hyötyjen arviointi. Yhdessä esityksessä jopa vilauteltiin kyselytyökalua, jonka avulla voi paikallistaa hyödyt ja muuttaa ne rahaksi osana investointipäätöstä. Ihanan houkutteleva ajatus, mutta varovaisuus ja negatiivisuus nostivat minulle taas päätään. Työkalut, vaikka kuinka sisältävätkin räätälöitävissä olevan prosessin, asettavat yleisesti prosessille tiettyjä reunaehtoja dokumentointiolettaman suhteen. Miten tuottavuuteen vaikuttaa dokumentointiin liittyvät kustannukset? Ovatko dokumentoidut testit todella uudelleenkäytettäviä ja niille joille ovat, ovatko ne uudelleenkäytettyinä oikeasti hyödyllisiä? Jos ne ovat hyödyllisiä, miksi ne ovat hyödyllisiä, ja olisiko muita keinoja vähentää toistotarvetta?

Minua hämmentää edelleen yleiseltä tuntuva ajatus että työkalut vain säästävät aikaa. Entäs ne ylimääräiset kliksuttelut joita jokainen testaaja joutuu tekemään kymmeniä ellei satoja päivässä saadakseen datan määrämitalliseksi? Entä testitapauksen pakottaminen annettuun mallipohjaan työkalussa, johon se ei nyt oikeastaan sovi juuri tällä tekniikalla tehtynä? Entä kiertoreitit joita joutuu kehittelemään että saa asian tehtyä niinkuin haluaisi ja tarvitsisi? Mitenkä ylläpito kun mikään työkalussa ei houkuta oppimaan (lisää dokumentointia), muuttamaan prioriteettia (taas lisää dokumentointia) ja toimimaan kokonaisuuden eduksi kun ohjelmisto muuttuu jatkuvasti - ja syystä, suuntana parempi ohjelmisto.