자동화 프로젝트에서 작업 중입니다. 사용자가 데스크톱에서 수행하는 [응용 프로그램 실행, 입력 된 데이터, 입력 유형 등] 활동을 캡처해야합니다. 나는 지금까지 MS 오피스, .NET 앱 등 네이티브 윈도우 기반 애플리케이션을 위해 잘 작동하는 마이크로 소프트 UI UI 자동화 프레임 워크를 보았습니다. 그러나 다른 웹 브라우저에서 정보를 캡처하는 유용한 정보/샘플을 찾지 못했습니다 [크롬은 필수입니다] , 파이썬 애플 리케이션, 자바 애플 리케이션 등 MS UI 자동화 프레임 워크가 이러한 애플 리케이션을 지원하는지 여부를 확인하시기 바랍니다 수 있습니다. 이러한 응용 프로그램에서 사용자 활동을 추출하는 작업 예제는 높이 평가 될 것입니다. 감사.Microsoft UI 자동화 프레임 워크는 Chrome, Python 및 Java Apps에서 작동합니까?
크롬은 도구 모음, 탭, 메뉴, 버튼 주위에 UI 자동화, 웹 페이지 만 지원합니다. 웹 페이지로 렌더링 된 모든 것은 UIA에서 볼 수 없습니다.
웹 페이지 콘텐츠의 경우 가장 쉬운 방법은 브라우저의 사실상 표준의 일종이며 UIA와 관련이없는 Selenium (ChromeDriver으로 구동)을 사용하는 것입니다.
앱이 UIA를 지원하는지 테스트하려면 테스트가 매우 쉽습니다. UIA의 Inspect tool을 실행하고 해당 애플리케이션에서 UI 트리를 확인하십시오. 사이먼의 대답에
일부 추가 ... 당신이 chrome --force-renderer-accessibility을 실행하면
크롬 페이지 내용이 UIA 볼 수 있습니다. 기존 Chrome 프로세스에서만 작동하지 않습니다. 사용자는 새 탭 chrome://accessibility을 수동으로 만들고 모든 또는 일부 선택된 페이지에 대해 UIA를 활성화 할 수 있습니다. 이 방법은 Linux의 AT-SPI 접근성 기술에서도 작동합니다. 물론 Selenium WebDriver는 업계 표준입니다. 하지만 다른 방법이 있습니다. Mozilla와 IE는 기본적으로 UIA를 지원합니다.
Inspect.exe은 this GitHub repo에서 간단하게 다운로드 할 수 있습니다.
Java 앱과 관련하여 앱 유형에 따라 다릅니다. 귀하의 기회는 약 50/50입니다.
WxPython 또는 PyQt5는 UIA에 유용합니다. TkInter 또는 Kivy 앱은 그렇지 않습니다.
P. Python 라이브러리 pywinauto을 사용하는 how to drag a file from explorer.exe and drop to Google Drive in Chrome의 예가 있습니다.