隨著AI技術的快速迭代，Alexa、Siri、小度、天貓精靈等語音助手得到了廣泛應用。但在自然語言理解和完成復雜任務方面仍然有限。

相比文本的標準格式，語音充滿復雜性和多樣性（例如，地方話）,傳統方法很難適應不同用戶的自定義語言，因此，語音助手需要針對固定領域設計語義解析方案,而無法對完全開放的語言進行建模。

為了解決這一難題，卡內基梅隆大學的研究人員基于大語言模型、視覺模型開發了HELPER。

該模型采用了檢索增強的大語言模型提示方法,可以將人機對話、指令和錯誤糾正轉換為一系列參數化的視覺運動。

同時在成功執行指令后，HELPER會將語言指令和執行計劃作為記憶進行存儲。

當用戶再次提出類似請求時,HELPER會自動檢索相關記憶并進行適當修改來滿足新的要求,從而實現個性化交互。

在TEACh的實驗數據顯示，從對話中推斷步驟的測試中，HELPER的任務成功率和目標條件成功率分別提高了1.7倍和2.1倍,超過了之前最好的模型。在從歷史對話中執行任務中,HELPER也取得了絕佳的效果。

開源地址：
https://github.com/Gabesarch/HELPER

論文地址：
https://arxiv.org/abs/2310.15127

研究人員用物理模擬的方式展示了多個示例，HELPER可以進行洗鍋、煮咖啡、做面包、整理卡片、制作飲料等一系列擬人化操作，并且你只需要詳細的告訴它一次就能記住你的需求，以后無需多說就能照著做。

從論文內容來看，HELPER的技術架構主要由規劃器、執行器和視覺語言模型三大塊組成。

規劃器

該模塊利用檢索增強的大語言模型來進行語義解析和生成一系列執行計劃，同時配備了一個文本到程序的外部記憶存儲器，相當于該模型的“大腦”。

在進行語言解析時,規劃器會先基于當前語言的輸入,使用大語言模型的編碼器計算輸入文本的向量表示，然后檢索出記憶庫中語義最相關的若干條記錄,將其中的文本-程序對作為LLM的文本示例,隨后讓LLM生成新的程序。

生成的程序使用Python語言描述,涵蓋一系列參數化的視覺運動函數,如pickup(X)、goto(X)等，同時也負責處理執行失敗后的重新規劃。

例如，當某個動作執行失敗時,系統會調用外部的視覺語言模型來分析失敗原因并生成文本反饋, 規劃器隨后會根據反饋提示LLM生成修正后的新程序。

此外, 規劃器也會在任務成功執行后,將用戶指令語言和對應的執行程序加入記憶庫中,實現個性化學習。

執行器

該模塊主要負責解析規劃器生成的程序,并基于當前環境執行指令操作，具體操作如下：

場景解析器:構建環境的語義地圖、占用地圖,以及通過目標檢測跟蹤對象信息。

動作執行器:將程序中的函數調用翻譯成具體的導航和操作動作執行。

前提檢查器:在執行每個動作前,驗證必要的前提條件是否滿足。

位置檢查器:當需要找到不在場景地圖中的目標物體時,該模塊會提示LLM生成可能的搜索位置。

簡單來說，執行器模塊相當于HELPER的“四肢”，用來執行具體的內容。

視覺語言模型

當具體計劃執行失敗時,系統需要分析失敗原因。所以，HELPER使用了視覺語言模型ALIGN進行糾錯、審查。

方法是將當前視覺輸入與一系列預定義的錯誤文本進行匹配,輸出最相似的錯誤類型,幫助規劃器模塊快速找到錯誤所在。這種方法比簡單的像素對比判斷故障類型更加精準和通用。

本文素材來源卡內基梅隆大學論文，如有侵權請聯系刪除

繼續閱讀：

未經允許不得轉載：RPA中國 | RPA全球生態 | 數字化勞動力 | RPA新聞 | 推動中國RPA生態發展 | 流 > 帶記憶的超級GPT智能體，能做飯、煮咖啡、整理家務！