텍스트를 클릭 한 GUI 자동화

Question

지정된 이미지 (예 : 잘 알려진 Sikuli)를 클릭 할 수있는 많은 GUI 자동화 도구가 있습니다. 이미지가 아닌 지정된 텍스트를 클릭 할 수있는 방법이 있습니까? 이 도구는 것이 방법 :

1. 메이크업 스크린 샷
2. 는

가 훨씬 쉬울 것이 위치에에 (어떻게 든)

찾기 텍스트 위치

보내기 클릭 이벤트를 텍스트를 인식 이 방법을 사용하여 테스트를 작성하는 것은 (모든 인터페이스에는 텍스트 버튼, 입력 등이 있습니다) 모든 단일 요소에 대한 스크린 샷을 작성하는 것이 아닙니다. (나는 '어떤 텍스트 - 여기'(클릭 호출 시도)

내가 Sikuli에서 일부 OCR 기능을 본 적이 있지만, 나를 위해 작동하지 않았다.

Answer 1

Sikuli 내장 된 OCR 기능입니다 꽤 버그와 불안정. 모든 (또는 적어도 대부분의) 관련 문제가 this 버그에 나열되어 있습니다. 그러나있는 몇 가지 가능한 해결 방법은 항상 또한, 그러나, 적용이되지 않습니다 ..

1. 텍스트가 당신, 알려진 경우 텍스트의 스크린 샷을 찍은 다음 화면으로 확인하십시오 예를 들어, thi의 정확한 글꼴을 알고 계시다면 이 텍스트를 화면에 자동으로 생성하여 패턴으로 사용하여 다른 곳에 배치 할 수 있습니다.

2. 내장 된 tesseract OCR은 폰트가 더 크고, "더 두껍고"그레이 스케일 (보통) 일 때 훨씬 더 잘 수행됩니다. 따라서 실제 인식을 시도하기 전에 배경 이미지 프로세싱을 수행 할 수 있습니다. 더 나은 인식을 위해 이미지의 크기를 조정하고 필터링하려면 Imagemakick을 사용했습니다. 백그라운드에서 명령 행 도구로 사용할 수 있습니다. 예를 들면 :

   변환 필터 - 스플라인 -resize 100 배 -unsharp 10x20 타입 그레이 스케일

난이 직접 질문에 대답하지 않는 것을 알고 있지만이 당신이 최종 솔루션으로 복용하는 것이 좋습니다 단계입니다 .

Answer 2

저는 Deskover 회사의 개발자이며 현재 귀하의 요구에 부응하는 UiPath Studio 응용 프로그램을 개발 중입니다.

우리는 100 % 정확도, 화면상의 특정 텍스트를 찾기위한 능력, 컨트롤 또는 전체 창, 텍스트 또는 컨트롤을 클릭 할 수있는 능력 등 다양한 기술에 대한 텍스트 인식 기능을 제공합니다.

워크 플로를 만들어 순차적으로 다른 작업을 실행할 수 있습니다.

우리는 Deskover에서 Sikuli 프로젝트의 큰 팬입니다. 우리는 실제로 UiPath Studio에서 동일한 이미지 인식 엔진을 사용합니다.

UiPath Studio는 워크 플로를 쉽게 만드는 데 도움이되는 시각적 도구이지만 기본 API를 사용하고 텍스트를 추출하고 클릭하는 응용 프로그램을 구현할 수도 있습니다. UiPath 라이브러리 here에 대한 자세한 내용을 확인할 수 있습니다.