Um das Testmanagement für ein Projekt so umfassend wie nötig, gleichzeitig aber so einfach wie möglich zu gestalten benötigen wir Hilfsmittel, welche weit über die gängigen Funktionen einer Textverarbeitungs- oder Tabellenkalkulationssoftware hinausgehen. Wir Consultants von SwissQ verwenden üblicherweise das bei unseren Kunden bereits im Einsatz stehende Testmanagement-Tool. Hat der Kunde jedoch kein solches Instrument zur Hand, schlagen wir ein geeignetes oder ein uns bekanntes Produkt zur Unterstützung vor. Genau so verhält es sich bei einem aktuellen Projekt eines grossen Transportunternehmens, bei welchem SwissQ für die Durchführung der User Acceptance Tests einer Systemerweiterung beauftragt wurde. Ich bin als Tester ein Teil des von SwissQ gestellten dreiköpfigen Testteams. Wir arbeiten eng mit den Ansprechpartnern unseres Kunden zusammen. Aus diesem Grund legen wir grossen Wert darauf, dass uns das Testmanagement-Tool in allen Bereichen des Testmanagements, der Zusammenarbeit sowie der Testdurchführung optimal unterstützt. Ein nützliches Testmanagement-Tool sollte über folgende Eigenschaften verfügen:
- Gemeinsames Requirements- und Testfall-Repository
- Bereitstellung und Organisation von umfangreichen (Test-)Daten
- Vereinfachte Zusammenarbeit im Team/Projekt (Collaboration)
- Ortsunabhängiger Zugriff auf das System
- Integration von Test- und Reporting-Tools
- Abbildung von Prozessen und Standards
- Benutzerfreundliche und intuitive Oberfläche
Um unseren Nutzen aus dem Tool zu maximieren haben wir darauf geachtet, dass Funktionen wie das Verknüpfen verschiedener Work Items, das Bilden von Testsuiten, die eindeutige Zuweisung an verantwortliche Tester sowie die Verwaltung und Auswertung bereits durchgeführter Testläufe möglich ist. Unterstützt uns das Tool zusätzlich bei der Erstellung aussagekräftiger Reports und können die festgestellten Defects gesammelt und priorisiert werden, so erfüllt das Tool bereits unsere wesentlichsten Anforderungen.
Der gezielte Einsatz einer solchen Anwendung zahlt sich oftmals bereits nach kurzer Projektzeit aus. Bedingung dafür ist natürlich, dass die eingesetzte Lösung auf die individuellen Bedürfnisse des Projekts eingestellt wird. Aus der Fülle von Produkten und Anbietern aber das richtige Werkzeug zu finden ist gar nicht so einfach. Wähle ich ein Open Source-Tool, eine SaaS-Lösung oder doch eine etablierte und weit verbreitete kommerzielle Software eines renommierten Anbieters? In den nachfolgenden Abschnitten heben wir die Vor- und Nachteile der vorhandenen Produktgruppen hervor und beschreiben, wie wir für ein Projekt die optimale Lösung evaluiert haben.
Open Source
Open Source-Tools bestechen durch ihre hohe Flexibilität und Anpassbarkeit. Nicht zu vergessen ist die unschlagbare preisliche Komponente. Nachteile sind wohl, dass einerseits keine ordentlichen Updates erfolgen und durch die selbst vorgenommenen Anpassungen möglicherweise ein erheblicher Aufwand bei der Wartung entstehen kann. Nachfolgend finden Sie eine kleine Auswahl von Open Source Tools:*
Software as a Service (SaaS)
Lösungen, welche als Service angeboten werden, beherbergen einige positive Eigenschaften. Einerseits muss weder für die geeignete technische Infrastruktur, noch für Datensicherungen und Datensicherheit gesorgt werden. Andererseits kann der Service bei vielen Anbietern zeitnah wieder gekündigt bzw. auch nur für eine bestimmte Zeit abonniert werden. Vor allem für projektbezogene, klar terminierte Aufgaben könnte sich die Wahl eines solchen Services anbieten. Nachfolgend einige Tools welche als Service angeboten werden:*
Kommerzielles Testmanagement-Tool
Kommerzielle Testmanagement-Anwendungen zeichnen sich bei mehreren Faktoren aus. Unter anderem sicherlich mit den umfangreichen und tiefgreifenden Funktionen. So bildet eine ausgewachsene Applikation den gesamten Lebenszyklus eines Produktes von der Entstehung bis zur Stilllegung ab. Ein kritischer Faktor könnten hierbei die tendenziell hohen Kosten für die Lizenzen sein. Nachfolgend einige Tools dieser Kategorie:*
- HP Quality Center / ALM
- Tricentis Tosca Testsuite
- Microsoft Testmanager
- IBM Rational Quality Manager
- Polarion ALM
Unter diesem Link auf den aktuellen Trendreport 2014 bezüglich Agilität, Testing und Requirements Engineering finden Sie auch die Markterhebung über die Verbreitung der Testmanagement-Tools in der Schweiz.
Soweit so gut – doch welches Werkzeug ist nun das richtige für unser Projekt?
Um das herauszufinden haben wir eine Evaluation durchgeführt und dabei als erstes alle möglichen Anbieter und Produkte zusammengetragen. Als nächstes haben wir einen Kriterienkatalog bestimmt, welcher im Wesentlichen aus den eingangs erwähnten Anforderungen bestand. Kriterien, welche uns besonders wichtig waren, haben wir als Muss-Kriterien gekennzeichnet und in einer Voranalyse alle Produkte auf die Erfüllung dieser Punkte untersucht. Diejenigen Produkte, welche diese Selektion erfolgreich überstanden haben, wurden nun anhand einer Nutzwertanalyse allen Kriterien gegenübergestellt und bewertet. Nach Beendigung der Bewertung, konnte aufgrund der Wertpunktevergabe eine Rangierung gebildet werden. Aufgrund dieser Rangliste haben wir die drei Favoriten abschliessend einer genauen Untersuchung unterzogen. Dazu eignet sich besonders der Download einer Trialversion oder alternativ eine Online Live-Demonstration eines Produktvertreters. Nach dieser finalen Beurteilungsrunde haben wir gemeinsam das optimale Tool für unser Vorhaben erkoren und die entsprechenden Schritte für die Einführung eingeleitet. Selbstverständlich ist bei einer derartigen Analyse die subjektive Wahrnehmung der bewertenden Person nicht zu unterschätzen. Leicht lässt man sich unbewusst durch zweitrangige Reize beeinflussen, welche mit den effektiven Kriterien gar nichts zu tun haben. Allenfalls sollte also in Erwägung gezogen werden, dass die Bewertung durch eine weitere Person durchgeführt wird. Allfällige Abweichungen oder Unklarheiten in der Bewertung sollten angesprochen und dabei geklärt werden.
Nun sind Sie an der Reihe...!
Es gibt keine richtige oder falsche Lösung. Evaluieren Sie die optimale Software, indem Sie die für Sie wichtigen Kriterien zusammenstellen. Suchen Sie sich anschliessend die potenziellen Produktkandidaten und stellen Sie diese den definierten Kriterien gegenüber. Vielleicht entdecken Sie ja, dass dabei nicht das preisintensive Luxusmodell als Favorit hervorgeht, sondern bereits eine schlanke Open Source- oder SaaS-Lösung ausreicht. Oder vielleicht machen Sie ja die Erfahrung, dass es Anwendungen gibt, welche noch weit mehr Funktionalität bieten, als die bisher eingesetzte Lösung. Egal nach welcher Methode (Agil, V-Modell, RUP, etc.) Sie vorgehen, welchen finanziellen Spielraum Ihr Projekt aufweist oder welche Ansprüche Sie an die Qualität Ihres Produktes haben, es gibt ein Werkzeug, welches Sie bei der Organisation Ihres Testvorhabens optimal unterstützt.
Fazit unserer Evaluation für das aktuelle Projekt
Die systematische Evaluation des geeigneten Tools hat sich für das Projekt bei unserem Kunden bereits bewährt. Wir haben eine Software gefunden, welche exakt unsere Bedürfnisse abdeckt. Mittlerweile ist das Tool bereits im Einsatz und unterstützt uns im täglichen Management der Requirements, Testcases und Testläufe sowie in der Erstellung der adäquaten Reports. Da unser Engagement beim aktuellen Projekt zeitlich begrenzt ist, war eines der Hauptkriterien, ein Tool zu finden, bei welchem keine Mindestvertragsdauer besteht und die Nutzerlizenzen möglichst auf jeden Zeitpunkt und ohne lange Vorlaufzeit gekündigt werden können. Aufgrund dieser Gegebenheit haben wir uns schliesslich für die Abonnierung eines Services (SaaS) entschieden. Gerne hilft Ihnen SwissQ auch die für Ihr Vorhaben ideale Testmanagement-Software zu finden. Wir unterstützen Sie bei der Erstellung des Anforderungskatalogs, der Auswahl des bestmöglichen Tools oder auch in der effektiven Planung und Ausführung des Testvorhabens.