通過單擊文本實現GUI自動化

Question

有許多GUI自動化工具允許點擊指定的圖像（例如衆所周知的Sikuli）。有沒有辦法點擊指定的文本，而不是圖像？這樣的工具將：

1. 化妝截圖
2. 識別文本上
3. 查找文本位置（在某種程度上）
4. 發送click事件到這個位置

這會容易得多使用這種方法編寫測試（許多界面都有文本按鈕，輸入等），而不是爲每個元素製作截圖。

我已經看到了一些Sikuli OCR功能，但它並沒有爲我工作（我試過調用點擊（「一些文本，在這裏」）。

Answer 1

Sikuli內置的OCR功能是相當馬車和不穩定的。所有（或至少大部分）的相關問題列在this BUG，但是也有少數可能的解決方法是哪些，但並不總是同樣適用..

1. 如果文字是已知的，你可以截取文字，然後查找作爲屏幕截圖。例如，如果您知道確切的字體您可以在屏幕上自動生成此類文本，並將其用作其他位置的圖案。

2. 基於內置tesseract的OCR在字體較大，「更胖」和灰度（通常）時表現明顯更好。因此，在嘗試實際識別之前，您可能會進行一些背景圖像處理。我使用Imagemakick調整和過濾圖像以獲得更好的識別。它可以在後臺作爲命令行工具。例如：

   轉換型濾波器花鍵調整大小100×10×20 -unsharp型灰度

我知道這並不直接回答你的問題，但這些都是你可以考慮邁出的最終解決方案的步驟。

Answer 2

我是Deskover公司的一名開發人員，目前我們正在開發一款符合您需求的應用程序UiPath Studio。

我們提供100％的準確率，發現在屏幕上在一個地區特定的文本，控制或整個窗口，並點擊文字或控制的能力能力的各種技術文本識別。

您可以通過創建工作流順序執行不同的操作。

我們在Deskover是Sikuli項目的忠實粉絲。我們實際上在UiPath Studio中使用相同的圖像識別引擎。

UiPath Studio是一個可視化工具，可幫助您輕鬆創建工作流程，但您也可以使用基礎API並實施一個應用程序來提取文本和點擊。 你可以找到更多關於UiPath庫here的詳細信息。