Eine mögliche Ursache für das Fehlschlagen eines Testschritts ist die Aktualisierung einer Anwendungsversion. Sie zeichnen einen Test mit einer Version einer Anwendung auf. Wenn Sie einen Test für eine neue Version der Anwendung wiederverwenden, die beispielsweise neue Schaltflächen aufweist oder in der sich Objekte an anderen Positionen befinden, können diese Objekte bei der Testwiedergabe nicht gefunden werden. Eine weitere Ursache für das Fehlschlagen eines Schritts ist die Änderung von Daten seit dem Zeitpunkt der Testaufzeichnung (beispielsweise ein Datum).
Objekteigenschaften werden während der Testaufzeichnung erfasst und im Nur-Lese-Modus in der Eigenschaftentabelle der Ansicht Mobile- und Webbenutzerschnittstellendaten angezeigt. Um ein Objekt während der Wiedergabe in der zu testenden Anwendung zu finden, vergleicht die Test Workbench die Eigenschaften des Objekts, die während der Aufzeichnung erfasst wurden, mit der Beschreibung der Eigenschaften, die im Bereich "Benutzeraktion – Details" des Testeditors angezeigt werden. Diese Eigenschaften variieren in Abhängigkeit davon, ob es sich um eine Android-, iOS- oder Webbenutzerschnittstellenanwendung handelt.
Wenn Sie einen Schritt in einem aufgezeichneten Test auswählen, zeigt der Testeditor die Objekteigenschaften an, für die eine Aktion ausgeführt wird. Die Objekteigenschaften werden im Feld Objekt angegeben durch gefolgt von einem Operatorfeld und einem Einfügefeld für den Eigenschaftswert aufgelistet. Unter den Standardobjektkennungen sind je nach Grafikobjekt Inhalt, Klasse, ID oder Xpath zu finden.
Sie können diese Parameter (Eigenschaft, Operator, Eigenschaftswert) im Bereich Benutzeraktion – Details des Testeditors oder über das Kontextmenü in der Ansicht Mobile- und Webbenutzerschnittstellendaten ändern. Wenn Aktionen aus der Liste Testinhalte ausgewählt werden, wird die Ansicht Mobile- und Webbenutzerschnittstellendaten automatisch dahingehend synchronisiert, dass der Screenshot für den ausgewählten Schritt angezeigt wird. Eigenschaften können auf der Registerkarte "Screenshot", auf der Registerkarte "Elemente" oder in der Eigenschaftentabelle mithilfe des Kontextmenüs geändert werden.
Geben Sie zur Verbesserung der Objektidentifikation die Eigenschaften an, die im Test verwendet werden sollen. Einige Anwendungen verwenden Eigenschaften, die durch benutzerdefinierte Attribute beschrieben sind und beim Testlauf nicht automatisch erkannt werden. Um dieses Standardverhalten zu umgehen, können Sie eine sortierte Liste der benutzerdefinierten Attribute festlegen, sodass diese als die Haupteigenschaften erkannt und währned der Testausführung verwendet werden.
Beim Ausführen eines Tests müssen die Grafikobjekte automatisch erkannt werden; in einigen Fällen kann es jedoch schwierig sein, das Element zu identifizieren, für das die Aktion ausgeführt wird. In diesem Fall müssen Sie das Testscript aktualisieren und genauere Informationen zum Auffinden des Objekts angeben, für das die Aktion ausgeführt werden soll.
Ein Beispiel: Sie zeichnen einen Test auf und ein Schritt lautet "Auf 'Text bearbeiten'-Feld klicken, wenn der Textinhalt '30. August 2013' ist". Bei einer automatischen Wiedergabe des Tests schlägt dieser fehl, wenn das Datum nicht mehr "30. August 2013" lautet. Sie müssen den Schritt ändern und genauere Informationen zum Auffinden des Objekts angeben, für das die Aktion ausgeführt werden soll. Auf diese Weise kann das Objekt bei der Ausführung des Tests gefunden und automatisch verwendet werden. Die Test Workbench stellt verschiedene Möglichkeiten bereit, um Objekte zu identifizieren und zu finden und die Zuverlässigkeit von Testscripts zu erhöhen.
In Test Workbench sind verschiedene Objektpositionsoperatoren verfügbar, um Objekte in einer zu testenden Anwendung zu identifizieren. Diese werden in den Feldern Objektposition im Bereich Benutzeraktion – Details des Testeditors angezeigt. Es können zwei Objektpositionen in einem Testschritt zum Festlegen von Positionsbedingungen und Auffinden des Zielobjekts im Test verwendet werden. Details hierzu finden Sie unter Objektpositionsbedingungen in einem Testscript festlegen.
Beim Aufzeichnen eines Tests wird das Objekt, für das eine Aktion ausgeführt wird, durch seine Haupteigenschaft identifiziert. Diese Eigenschaft ist üblicherweise eine Texteigenschaft. Mitunter ist die Identifikation von Texteigenschaften jedoch schwierig. Dies könnte der Fall sein, wenn es keine Eigenschaftsbeschreibung oder keine Bezeichnung gibt, um das Zielelement in einem Testschritt zu identifizieren. In diesen Situationen verwendet der Testgenerator eine Bildeigenschaft, um die Elemente in den Testschritten zu identifizieren.
Zur Beseitigung möglicher Bilderkennungsprobleme verwendet die Test Workbench Bildkorrelationen, um Objekte während der Wiedergabe zu erkennen und zu verwalten. Das Bild, für das die Aktion ausgeführt wird (das Referenzbild) wird während der Testaufzeichnung erfasst und während der Wiedergabe mit dem Bild der zu testenden Anwendung (potenzielles Bild) verglichen. Ein Erkennungsschwellenwert wird verwendet, um eine anpassbare Quote an Unterschieden zwischen dem Referenzbild und dem potenziellen Bild zu akzeptieren und zu bewerten, ob die Bilder übereinstimmen. Standardmäßig ist der Erkennungsschwellenwert auf 80 und der Fehlertoleranzwert auf 20 festgelegt.
Wenn der Schwellenwert auf 0 festgelegt wird, wird das potenzielle Bild ausgewählt, das dem Referenzbild am ähnlichsten ist, und zwar auch dann, wenn es nicht das gleiche Bild ist. Wenn Sie den Schwellenwert auf 100 festlegen, führt bereits der kleinste Unterschied zwischen den Bildern dazu, dass die Bilderkennung scheitert. So würde beispielsweise ein Bild, dessen Breite oder Höhe abweicht, da seine Größe bei der Wiedergabe auf einem Tablet geändert wurde, nicht ausgewählt, wenn der Schwellenwert zuvor auf 100 festgelegt wurde, und zwar auch dann nicht, wenn es sich um das gleiche Bild handelt. Sie können die Seitenverhältnistoleranz ändern, falls ein Test auf Geräten fehlschlägt, deren Anzeige nicht das gleiche Seitenverhältnis aufweist, oder wenn sich die bei der Wiedergabe in der Anwendung verfügbaren Bilder von den Bildern unterscheiden, die bei der Aufzeichnung des Tests verfügbar sind.
Die Test Workbench zeigt die Ansicht Bildübereinstimmungsvorschau an, wenn Sie den Erkennungsschwellenwert im Testeditor festlegen, um Ihnen bei der Bestimmung von Bildern zu helfen, die geeignet sind, das Zielobjekt bei der Wiedergabe des Tests zu identifizieren. Die am besten geeigneten potenziellen Bilder sind grün. Bilder, deren Bewertung über dem Schwellenwert liegt, sind gelb und gelten als weniger gut geeignet. Und Bilder, deren Bewertung unter dem Schwellenwert liegt, sind rot. Diese potenziellen Bilder stimmen nicht mit den Referenzbildern überein.
Die Details zur Bildkorrelation finden Sie im Testbericht, der angezeigt wird, wenn die Testausführung beendet ist.