騰訊研究團隊開源了一款基于大語言模型的，用于手機端執行復雜任務的多模態智能代理框架——AppAgent。

據悉，AppAgent的功能與AutoGPT等智能代理類似，不依賴于操作系統的后臺訪問,而是通過UI界面進行點擊、滑動等擬人化操作，與App進行交互操作。

例如，AppAgent可以幫助用戶自動填寫Gmail內容，并發送郵件。所以，也可以看成手機端的智能RPA（機器人流程自動化）或智能“按鍵精靈”。

AppAgent功能展示

為驗證該框架的性能,研究人員在10個不同類別的應用程序上測試了50項任務,涵蓋社交媒體、郵件、地圖、購物等應用,以及圖像編輯等復雜功能。

結果顯示, AppAgent適應性強、學習和操作效率高，可以處理不同領域的APP任務。

開源地址：https://github.com/mnotgod96/AppAgent

論文地址: https://arxiv.org/abs/2312.13771

項目地址：https://appagent-official.github.io/

傳統的手機助手如Siri，主要是通過系統后端訪問和函數調用來實現自動化操作。這種方式有一個很大弊端，就是需要訪問用戶的隱私、敏感數據，可能會出現很嚴重的數據安全問題。

而AppAgent采用了一種和RPA類似的方法，通過點擊、滑動等模擬方式來操作APP，無需訪問任何敏感數據，同時加上了大語言模型的理解和學習能力，使其效果更加出色以及增強適配性。

多種學習模式

為了增強AppAgent的學習和適配能力，采用了自主探索和觀察人類示范兩種模式，也是AppAgent的核心模塊之一。

1）自主探索，在這個過程中，AppAgent與應用程序進行交互，并嘗試執行各種操作，例如，點擊按鈕、滑動屏幕等。

通過與應用程序的交互，代理能夠觀察到不同的反饋和結果，并從中學習到如何正確地操作應用程序。這種自主探索的學習方法使代理能夠逐步積累知識和經驗，建立起一個關于應用程序操作的知識庫。

2）觀察人類示范，AppAgent會觀察人類用戶在操作應用程序時的準確行為。通過分析和理解人類的示范行為，代理可以學習到正確的應用程序操作方式。

這種觀察人類示范的學習方法使代理能夠更快地學習和適應新的應用程序，因為它可以直接借鑒人類用戶的經驗和技巧。也可以理解成大模型中的，人類反饋強化學習過程。(RLHF)

通過這兩種學習模式，AppAgent可以學習到應用程序的界面結構、功能和操作規則。這樣的學習方法使得代理能夠在不同的應用程序之間執行復雜任務，并在真實世界的環境中展示出高效和熟練的操作能力。

視覺理解

這個模塊相當于AppAgent的“眼睛”，主要用于接收和識別UI界面元素。首先根據 XML 信息提取每個界面元素的唯一 ID 或自動生成 ID,然后在截圖中用透明數字對界面元素進行標注，可有效提高AppAgent操作應用程序流程的準確性。

此外,視覺理解模塊還可以利用機器視覺，進行圖片對象和語義特征的提取,例如，識別圖片內容、界面控件等，為后續的大腦、執行提供支持。

決策和執行模塊

執行模塊相當于AppAgent的“四肢”，定義了智能代理與界面交互時的基本操作動作,例如，點擊、滑動、長按等擬人化觸控操作。

執行模塊還定義了“輸入文本”和“返回上級頁面”等輔助操作。這些操作與各應用程序的界面屬性匹配,可以很好地完成用戶交互模擬，為整個框架提供了一致清晰地交互規范。

決策模塊相當于AppAgent的“大腦”，在接收到任務指令后,會根據探索文檔中的知識庫進行任務分析，然后執行。詳細流程如下：

1）觀察當前界面元素和狀態

2）思考下一步應采取的操作

3）執行選擇的操作動作

4）總結并記錄本輪執行結果

在這個迭代決策過程中,大腦模塊會充分利用前面兩種學習模式積累的經驗，以保證智能代理執行任務的高效性和準確性。

本文素材來源AppAgent論文，如有侵權請聯系刪除

繼續閱讀：

未經允許不得轉載：RPA中國 | RPA全球生態 | 數字化勞動力 | RPA新聞 | 推動中國RPA生態發展 | 流 > 騰訊開源AppAgent，手機的大模型智能代理