테스트에서 단계 실패가 발생하는 한 가지 이유는 애플리케이션의 버전이 업데이트되는 경우입니다. 한 애플리케이션 버전에서 테스트를 레코딩합니다. 예를 들어 새 단추 또는 새 오브젝트 위치가 있는 새 버전의 애플리케이션에서 테스트를 다시 사용하는 경우 테스트가 재생될 때 이러한 오브젝트를 찾을 수 없습니다. 단계가 실패하는 다른 이유로 테스트가 레코딩된 시간 이후에 테스트의 데이터가 변경된 경우가 있습니다(예: 날짜).
테스트 레코딩 중에 오브젝트 특성이 캡처되어 모바일 및 웹 UI 데이터 보기의 특성 테이블에 읽기 전용으로 표시됩니다. 재생하는 동안 테스트의 애플리케이션에서 오브젝트를 찾기 위해 테스트 워크벤치는 레코딩 중에 캡처된 오브젝트의 특성을 테스트 편집기의 사용자 조치 세부사항에 표시된 특성에 대한 설명과 비교합니다. 이러한 특성은 Android, iOS 또는 웹 UI 애플리케이션에 따라 다릅니다.
레코딩된 테스트에서 단계를 선택할 때 조치가 수행된 오브젝트 특성이 테스트 편집기에 표시됩니다. 오브젝트 특성이 오브젝트 식별 기준 필드에 나열되고, 그 다음에 연산자 필드와 특성 값에 대한 삽입 필드가 있습니다. 표준 오브젝트 ID 중에서, 그래픽 오브젝트에 따라 컨텐츠, 클래스, ID, 'Xpath를 찾을 수 있습니다.
컨텍스트 메뉴를 사용하여 모바일 및 웹 UI 데이터 보기 또는 테스트 편집기의 사용자 조치 세부사항 영역에서 이러한 매개변수(특성, 연산자, 특성 값)를 변경할 수 있습니다. 테스트 컨텐츠 목록에서 조치를 선택하면 모바일 및 웹 UI 데이터 보기가 선택된 단계에 대한 화면 캡처를 표시하기 위해 자동으로 동기화됩니다. 컨텍스트 메뉴를 사용하여 화면 캡처 탭, 요소 탭 또는 특성 테이블에서 특성을 수정할 수 있습니다.
오브젝트 식별을 향상시키려면 테스트에서 사용할 특성을 지정하십시오. 일부 애플리케이션에서는 사용자 정의 속성으로 설명된 특성을 사용 중이며, 이러한 사용자 정의 특성은 테스트 실행 시 자동으로 발견되지 않습니다. 이러한 표준 작동을 극복하기 위해, 테스트 실행 중 사용자 정의 속성이 기본 특성으로 식별되고 사용되도록 순서 지정된 사용자 정의 속성 목록을 설정할 수 있습니다.
테스트가 실행될 때 테스트의 그래픽 오브젝트가 자동으로 발견되어야 하지만 일부 경우에는 조치가 수행되는 요소를 식별하기 어려울 수도 있습니다. 이 경우 조치를 수행할 오브젝트를 찾으려면 테스트 스크립트를 업데이트하고 더 정확한 정보를 제공해야 합니다.
예를 들면 다음과 같습니다. 테스트를 레코딩합니다. 한 가지 단계는 '컨텐츠가 'August 30th, 2013'인 텍스트 편집 클릭'입니다. 테스트가 자동으로 재생되면 날짜가 더 이상 August 30, 2013이 아닌 경우 실패합니다. 단계를 수정하여 조치를 수행할 오브젝트를 찾기 위한 더 정확한 정보를 제공해야 합니다. 이를 통해 테스트가 실행될 때 오브젝트를 찾아서 자동으로 사용할 수 있습니다. 테스트 워크벤치는 오브젝트를 식별하여 찾고 테스트 스크립트 안정성을 늘리는 다양한 방법을 제공합니다.
테스트 워크벤치에서는 다양한 오브젝트 위치 연산자를 사용하여 테스트할 애플리케이션에서 오브젝트를 식별할 수 있습니다. 오브젝트는 테스트 편집기의 사용자 조치 세부사항 영역에 있는 오브젝트 위치 필드에 표시됩니다. 테스트 단계에서는 두 개의 오브젝트 위치를 사용하여 위치 조건을 설정하고 테스트의 대상 오브젝트를 찾을 수 있습니다. 세부사항은 테스트 스크립트에서 오브젝트 위치 조건 설정의 내용을 참조하십시오.
테스트가 레코딩될 때 조치가 수행되는 오브젝트는 일반적으로 텍스트 특성인 기본 특성으로 식별됩니다. 때때로 텍스트 특성을 쉽게 식별할 수 없는 경우가 있습니다. 예를 들어 특성 설명이 없거나 레이블이 없어서 테스트 단계에서 대상 요소를 식별하지 못하는 경우입니다. 이 경우 테스트 생성기는 이미지 특성을 사용하여 테스트 단계에서 요소를 식별합니다.
가능한 이미지 인식 문제를 수정하기 위해 테스트 워크벤치는 이미지 상관을 사용하여 재생 중에 오브젝트를 인식하고 관리합니다. 조치가 수행되는 이미지(참조 이미지)는 테스트 레코딩 중에 캡처되어 재생 시 테스트의 애플리케이션 이미지(후보 이미지)와 비교됩니다. 인식 임계값을 사용하여 참조 이미지와 후보 이미지 간의 차이에 대해 조정 가능한 비율을 허용하며 이미지가 일치하는지 여부를 평가합니다. 기본 인식 임계값은 80으로 설정되며 기본 허용 오차 비율은 20으로 설정됩니다.
임계값을 0으로 설정하면 동일한 이미지가 없어도 참조 이미지와 가장 유사한 후보 이미지가 선택됩니다. 임계값을 100으로 설정하면 이미지가 약간만 달라도 이미지 인식이 실패합니다. 예를 들어 임계값이 100으로 설정되면 동일한 이미지라도 태블릿 디바이스에서 재생될 때 이미지 크기가 조정되어 너비나 높이가 다른 이미지는 선택되지 않습니다. 화면 비율이 다른 디바이스에서 테스트가 실패하거나 재생 시 애플리케이션에서 사용 가능한 이미지가 테스트가 레코딩될 때의 이미지와 다른 경우 가로 세로 비율 허용 오차를 수정할 수 있습니다.
테스트 워크벤치는 테스트 편집기에서 인식 임계값을 설정할 때 이미지 일치 미리보기 보기를 표시하여 테스트 재생 시 테스트 오브젝트를 식별하는 정확한 이미지를 찾는 데 도움을 줍니다. 가장 좋은 후보 이미지는 초록색이고, 스코어가 임계값을 초과한 가장 부적절한 이미지는 노란색이며, 임계값 미만인 이미지는 빨간색입니다. 이러한 후보 이미지는 참조 이미지와 일치하지 않습니다.
테스트 실행이 완료되면 표시되는 테스트 보고서에서 이미지 상관 세부사항을 찾을 수 있습니다.