QA&TEST 2011 Konferenz Eindrücke

Letzte Woche habe ich an der QA&TEST-Konferenz in der schönen Stadt Bilbao teilgenommen. In diesem Beitrag gebe ich einen Eindruck von einigen der Präsentationen, die ich besucht habe, und von den Ideen, die ich mitgenommen habe. Die wertvollsten Sitzungen, die ich besucht habe, waren "Pushing the Boundaries of User Experience" von Julien Harty und "Automated Reliability Testing via hardware interfaces" von Bryan Bakker. Lesen Sie mehr darüber in diesem Artikel.

Ich hatte das große Glück, eingeladen zu werden, auf der 10. Ausgabe der QA&TEST zu präsentieren. Die Konferenz konzentriert sich auf die Qualitätssicherung und das Testen von eingebetteten Systemen, ein Bereich, über den ich nur wenig weiß. Als ich in den späten neunziger Jahren mit dem Testen begann, hatte ich das Glück, mit einem Herrn zusammenzuarbeiten, der seinen Job bei Fokker verloren hatte (der Flugzeughersteller war gerade in Konkurs gegangen). Bei Fokker testete er Instrumente, die in den Flugzeugen verwendet wurden, wie Höhenmesser, Geschwindigkeitsmesser und andere feine Maschinen. Er wusste sehr wenig über Computer und kämpfte mit den für mich grundlegenden Dingen (da ich selbst ein Anfänger war), aber er war auch einer der struktur- und detailkritischsten Menschen, mit denen ich je gearbeitet habe. Neben einer Menge Testtechniken und der Verantwortung für meine Arbeit habe ich aus dieser Erfahrung gelernt, dass Testen gleich Testen ist und in den meisten Bereichen die gleichen Regeln gelten. Nachdem ich also über das oben Gesagte nachgedacht hatte, nahm ich die Einladung gerne an. Was ich auf der Konferenz erfahren habe, ist, dass es beim Testen eingebetteter Systeme um Softwaretests geht, und zu meinem Glück können in diesem Bereich agile Methoden und Testautomatisierung genauso angewendet werden. Automatisierte Zuverlässigkeitstests über Hardwareschnittstellen von Bryan Bakker Wie Testautomatisierung erfolgreich eingesetzt werden kann, wurde von Bryan Bakker, einem weiteren Redner, in einer großartigen Präsentation einer Fallstudie über die Arbeit seines Teams hervorgehoben. Das Team wurde aufgefordert, die Zuverlässigkeit eines Systems zu verbessern und rief es in einem Akt der Rebellion dazu auf, die Testautomatisierung zu erhöhen, anstatt neue Funktionen hinzuzufügen. Dies führte (wenn ich mich an die richtigen Zahlen erinnere) zu einer Einsparung von über 1,2 Millionen Euro an Schäden, die Bugs in der Produktion sonst verursacht hätten. Das Ergebnis war so spektakulär, dass sie zusätzliches Budget erhielten, um ihre Arbeit fortzusetzen, aber auch, um den Ansatz in anderen Projekten anzuwenden. Ein interessanter Aspekt seiner Präsentation, der zwar eher auf eingebettete Systeme zugeschnitten ist, aber auch in anderen Bereichen Anwendung finden könnte, war ein intelligenter Testplaner, den sie eingeführt hatten. Bei dem zu testenden Produkt handelte es sich um ein medizinisches Röntgengerät, bei dem es unter Umständen zu einer Überhitzung des Motors kam, so dass es Stunden dauerte, bis er sich wieder abgekühlt hatte, was eine Fortsetzung des Testlaufs unmöglich machte. Wann immer dies festgestellt wurde, wurde automatisch auf andere Testarten umgeschaltet, die weniger vom Motor abhängig waren und so lange laufen konnten, bis der Motor wieder abgekühlt war. Eine einfache, aber effektive Zeitersparnis, die von einem pragmatischen Geist stammt. Kontinuierliche Qualitätsverbesserung mit Hilfe der Root Cause Analysis von Ben Linders Eine Sitzung, an der ich leider nicht teilgenommen habe, über die ich aber eine interessante Diskussion mit dem Vortragenden geführt habe, war die Abschlusspräsentation der Konferenz von Ben Linders mit dem Titel "Kontinuierliche Qualitätsverbesserung mit Hilfe der Root Cause Analysis". Er behauptet, dass ein Team die Anzahl der Fehler, die es während eines Sprints machen wird, genau vorhersagen kann, und er hat eine Methode entwickelt, um diese Anzahl mit Hilfe der Ursachenanalyse zu reduzieren. Ich fand diese Idee faszinierend und etwas umstritten, denn ich habe noch keinen Entwickler getroffen (vor allem nicht in agilen Projekten), der zugeben, geschweige denn vorhersagen kann, dass er Fehler macht. Aber so wie ich es verstanden habe, funktioniert es ähnlich wie die Vorhersage der Arbeitsgeschwindigkeit: Sie werden immer genauer, indem Sie historische Daten aus früheren Sprints verwenden. Runaway Test Automation Projects von Michael Stahl Die Präsentation von Michael Stahl mit dem Titel "Runaway Test Automation Projects" schien für agile Umgebungen weniger relevant zu sein (zumindest für die, in der ich gearbeitet habe), er wies jedoch auf viele gültige Risiken hin, die bei der Testautomatisierung bestehen. Das Wichtigste, was die Zuhörer mitnehmen konnten, war meiner Meinung nach der Punkt, dass Testautomatisierung wie "normale" Software behandelt werden sollte, d.h. durch die Erstellung von Unit-Tests, die Anwendung von Qualitätsstandards und die Verwendung von Versionskontrolle. Dinge, die meiner Erfahrung nach wie gesunder Menschenverstand klingen, aber dennoch sehr wahr sind. Pushing the Boundaries of User Experience von Julien Harty Die Präsentation, die für mich wahrscheinlich den größten Mehrwert hatte, hieß "Pushing the Boundaries of User Experience", von Julien Harty von Ebay. Er erzählte eine aufschlussreiche Geschichte über automatisierte User Experience Tests. Mit Crawlern wie Crawljax kann das dynamische (Ajax) Verhalten einer Website analysiert werden. Mit der statischen Analyse können Probleme mit der Barrierefreiheit gefunden werden, die sehr wichtig sein können, wenn Sie die WCAG-Richtlinien einhalten wollen, was aber kaum je richtig beachtet wird. Barrierefreiheit wird oft als etwas angesehen, das es einer Minderheit leichter macht, aber aus der Sicht der Entwicklung hilft es, die Testbarkeit des Produkts zu verbessern. Was das Testen der Barrierefreiheit aus geschäftlicher Sicht sinnvoll macht, ist, dass es tatsächlich hilft, die Suchmaschinenoptimierung zu verbessern, was die Sichtbarkeit der Website in den Suchmaschinen erhöht.Er erklärte, wie bei Ebay automatisierte Tests durchgeführt werden, um die Benutzerfreundlichkeit und Barrierefreiheit zu verbessern, aber auch um Layout-Probleme und Browser-Abhängigkeiten auf kostengünstige Weise zu finden.Mit FightingLayoutBugs können Layout-Fehler auf extrem einfache, aber effektive Weise gefunden werden. Lassen Sie mich dies ein wenig genauer beschreiben.Wie funktioniert das? Erstens müssen Sie wissen, welche Pixel zu Text gehören, zweitens müssen Sie wissen, welche Pixel zu einer horizontalen oder vertikalen Kante gehören, und wenn sich nun Textpixel und Kantenpixel überschneiden, haben Sie einen Layoutfehler. Klingt ziemlich einfach und ist es auch! Wie wird Text erkannt? Der gesamte Text einer Seite wird auf eine weiße Schriftfarbe gesetzt und ein Schnappschuss wird gemacht. Der gesamte Text auf einer Seite wird auf schwarz gesetzt und ein Schnappschuss wird gemacht. Wenn nun die beiden Bilder verglichen werden, sind alle unterschiedlichen Pixel wahrscheinlich Text. Wie werden horizontale und vertikale Linien erkannt? Setzen Sie zunächst den gesamten Text auf der Seite auf transparent (das Einstellen der Textfarbe erfolgt übrigens mit jQuery), so dass nur noch Grafiken vorhanden sind, und machen Sie einen Screenshot. Nun wird ermittelt, welche Pixelfolgen eine bestimmte Mindestlänge und die gleiche oder eine sehr ähnliche Farbe haben. Es werden nur diejenigen ausgewählt, die einen hohen Kontrast nach links oder rechts aufweisen. Die gleiche Vorgehensweise gilt für horizontale Linien. Vergleichen Sie nun das Ergebnis mit dem identifizierten Text. Wenn sich Text und Linien überschneiden, liegt ein Layoutfehler vor (der zufällig automatisch gemeldet wird). Während einer Live-Demo hat Julian einige dieser Tools mit der Konferenz-Website verglichen. Das Testen der Barrierefreiheit zeigte, wie schlecht die Zugänglichkeit für Personen war, die auf Tabulatoren angewiesen sind, um auf dem Bildschirm zu navigieren. Die statische Analyse der Website zeigte, dass die Seite Url's mit doppelten oder gar keinen Alt-Texten enthielt. Dinge, die auf den ersten Blick unbedeutend erscheinen, aber für behinderte Menschen unerlässlich sind. Zum Schluss enthüllte er ein Sicherheitsproblem, das für einige Heiterkeit sorgte. Er verriet den lukrativsten Rabattcode für die Registrierung. Es stellte sich heraus, dass alle Ermäßigungscodes für die Konferenz im Javascript im Seitenquelltext fest einkodiert waren. Alles in allem war es eine wertvolle Lernerfahrung, abgesehen davon, dass ein Besuch in Bilbao allein schon eine Reise wert ist!