RPA最核心的功能自然是模擬人手工在電腦上操作的具體動作，包括鼠標和鍵盤操作，當然由于RPA本身是軟件，有天然的優(yōu)勢，可以比人操作的更快，并可以完成一些人手無法實現(xiàn)的操作（比如只keydown不keyup，鼠標上下滾輪--即使該電腦的鼠標沒有滾輪，鼠標光標不動情況下的按鈕點擊，等等）。

模擬的技術有如下幾類：

利用WIN32 API基于屏幕坐標點進行鼠標的移動點擊拖放以及鍵盤操作

利用WIN32 API獲取句柄從而在鼠標光標不動情況下直接操作windows OS上運行的任意窗體及其內(nèi)的控件

利用IE DOM類庫在鼠標光標不動情況下直接操作IE瀏覽器所打開的網(wǎng)頁中的HTML元素

利用圖像識別和OCR技術基于屏幕區(qū)域截圖比對來獲取屏幕坐標位置并用WIN32 API觸發(fā)鼠標鍵盤操作

當然，多數(shù)主流產(chǎn)品都會組合以上幾種技術，開發(fā)人員可以根據(jù)具體案例選擇一種或幾種實現(xiàn)RPA。下一步技術的發(fā)展無疑是朝著智能化方向進步，通過嵌入機器學習引擎來自適應被操作對象的版本迭代造成的細微變化（比如同樣的按鈕改了部分文字、移動了位置等等），而不至于讓RPA維護人員疲于奔命的不斷調(diào)試應付，尤其是在如今DevOps大面積采用情況下越來越快速的軟件產(chǎn)品升級。

而筆者認為智能化很可能會更多的借助第四種技術，因為圖像識別場景天然的適宜機器學習。MIT的一些師生開發(fā)的小工具Sikuli就是這種技術的生動寫照！




特別聲明：

文章來源：騰訊云社區(qū)，，RPA機器人

繼續(xù)閱讀：流程自動化   RPA

未經(jīng)允許不得轉(zhuǎn)載：RPA中國 | RPA全球生態(tài) | 數(shù)字化勞動力 | RPA新聞 | 推動中國RPA生態(tài)發(fā)展 | 流 > RPA核心技術手段