10月27日，全球頂級機器人開發商波士頓動力（Boston Dynamics）在官網展示了一項新的研究，通過將ChatGPT、Spot以及其他AI模型相結合，開發了一種會說話的導游機器狗。

據悉,該機器狗能夠根據文字、語音提示與人類進行交談，同時提供了視覺問答功能,可以分析攝像頭拍攝的畫面,自動生成圖像說明。

波士頓動力表示，ChatGPT等大語言模型展現出了強大的控制和輸出能力，這讓他們大受啟發，可以用于控制物理機器人的行為和決策功能。例如，輸入一些特定景點數據、圖片等，可讓機器人提供邏輯清晰、條理分明的導游功能。

此外，這也增強了物理機器人的擬人化能力，如為你講一個冷笑話，做一個逗你開心的滑稽動作。如果采用傳統的發方法，將是一件非常困難的事情。

導游機器狗技術原理

波士頓動力使用了自研的四足機器人Spot作為物理機器人框架，實現了行走、監控、導航、掃描等基礎功能。

為了能讓機器狗說話與人類互動，研發人員為其配備了Respeaker V2揚聲器，這是一個帶有 LED 的環形陣列麥克風，可通過USB將其連接到Spot的EAP 2實現數據傳輸。

1）Spot EAP 2）揚聲器3） 藍牙音箱4）點臂和夾具相機

使用了一臺電腦作為機器狗的控制大腦，并通過Spot SDK與其實現數據交互。為了讓機器狗具備擬人化動作，例如，點頭，伸脖子等，使用了Spot的點臂和夾具相機。

用ChatGPT讓機器狗說話

物理硬件環境搭建完成后，為了使機器狗具備對話功能，研發人員使用了GPT-3.5和GPT-4與Spot SDK相結合，并進行了簡單的指令微調，讓機器狗具備了初級導游判斷和對話功能。

接下來,為了讓Spot與人類和環境進行交互,集成了VQA和語音轉文本軟件。同時將機器人的抓手攝像頭和前置機身攝像頭輸入BLIP-2,并以視覺問答模式(例如“這張圖片有什么有趣的地方?”等簡單問題)或圖像字幕模式運行它。

該過程大約每秒運行一次,結果將直接輸入到提示中。

為了讓機器狗可以實現“聽”的功能,研發人員將麥克風數據分塊輸入到OpenAI的語音模型Whisper中轉換為英文文本。

為了讓機器狗能與人類實現對話，需要將人類的語音指令轉換成文本用于提示ChatGPT，因此還需要一個轉換工具。開發人員在嘗試了多種工具后，決定使用了云服務ElevenLabs。

實驗中的驚奇現象

在多個測試對話過程中，研發人員發現了一個令人驚奇的現象，機器狗好像具備了簡單的自我決策能力。

例如，向機器狗詢問Marc Raibert（波士頓動力執行董事）是誰時？它回答：“我不知道他是誰，讓我們去服務臺問一問吧。”

到了服務臺，機器狗繼續向服務人員詢問Marc Raibert是誰？

當研發人員提問：你的父母是誰？機器狗走向了Spot V1和Big Dog的展示區，并認為這些機器人是它的父輩們。實際上，它們之間確實有關聯。

機器狗還展現出了有趣的一面，可以主動向路人詢問，周圍是否有神秘的生物。

波士頓動力表示，未來還會持續優化該產品的功能。ChatGPT與實體機器人的相結合，為大語言模型實現物理化落地打開了大門，可以在導游、娛樂、物流、陪伴等領域得到廣泛應用。

關于波士頓動力

波士頓動力（Boston Dynamics）成立于1992年，總部位于馬薩諸塞州波士頓。起初是麻省理工學院（MIT）的一個分支機構，后來發展成為一家獨立的公司。

波士頓動力以開發高度先進、靈活且具有實用性的機器人而聞名，其產品在工業、研究和消費領域都有應用，主要代表機器人包括：BigDog、Atlas、Spot、Handle等。

本文素材來源波士頓動力官網，如有侵權請聯系刪除

END

繼續閱讀：

未經允許不得轉載：RPA中國 | RPA全球生態 | 數字化勞動力 | RPA新聞 | 推動中國RPA生態發展 | 流 > 將ChatGPT與物理機器人結合，波士頓動力開發了一只怪物！