物理生成式AI駕駛平臺Waabi在官網宣布獲得2億美元，本次由英偉達（NVIDIA）、沃爾沃、保時捷、Uber、Khosla等全球知名企業投資。

Waabi僅成立3年便獲得4級自主駕駛權限，主要是借助了ChatGPT等生成式AI風口，將其融合在自動駕駛中突破了很多重大技術難點，將在2025年推出無人干預的全自動化運輸卡車。

Waabi開發了一個端到端的大模型Copilot4D，可以模擬人類的智力、推理和駕駛習慣。相比傳統的自動化駕駛方案所需要的訓練數據和算力資源更少，在安全、環境偵測方面卻有巨大提升，這也是全球為數不多將生成式AI與自動化駕駛相結合的案例之一。

其實，Waabi起初是一家自動化駕駛平臺，但看到全球生成式AI風口越刮越大并且已經進入商業化落地階段。所以，在今年3月18日官宣與英偉達進行深度技術合作，將NVIDIA DRIVE Thor集成在自動化駕駛技術中，同時轉型成為物理生成式AI駕駛平臺。

NVIDIA DRIVE Thor是一個包含從底層硬件GPU、開發層SDK再到應用層輔助駕駛、自動化駕駛的全套開發平臺。

其每秒可提供高達254萬億次運算，有12個外部攝像頭、3個內部攝像頭、9個雷達、12個超聲波和1個前置激光雷達等，是全球應用最多的自動化駕駛基礎開發套件之一。

NVIDIA DRIVE Thor體驗地址：
https://www.nvidia.com/en-us/self-driving-cars/in-vehicle-computing/

除了借助英偉達強大的開發生態之外，Waabi與多倫多大學的研究人員聯合開發了，通過離散擴散學習自動駕駛的無監督世界模型——Copilot4D。

Copilot4D是一個專為自動駕駛領域開發的大模型，其核心技術是將觀察標記化，通過向量量化變分自編碼器（VQVAE）將連續的傳感器數據，如激光雷達點云，轉換為離散的標記。

這種轉換不僅簡化了數據表示，VQVAE也能將輸入數據映射到有限的離散潛在空間中，有效地將高維、連續的數據壓縮為低維、離散的表示，從而降低了模型的復雜度并使得數據可以被高效地解碼和去噪。

在這些離散標記的基礎上，Copilot4D采用了一種新穎的離散擴散模型來預測未來的觀察結果，通過在數據中逐步引入噪聲，然后學習逆向過程以去除噪聲并重構數據。

與傳統的擴散模型相比，離散擴散模型專門針對離散數據設計，能夠更加高效地處理經過標記化的數據。

為了捕捉環境的動態變化，Copilot4D引入了時空變換器，基于Transformer架構在空間和時間維度上交替應用注意力機制。這種設計使得模型不僅能夠理解車輛在道路上的運動模式和行人的行走路徑，還能夠在不同時間步驟的標記之間建立聯系，生成連貫的未來環境預測。

在生成過程中，Copilot4D使用了分類器自由擴散引導（Classifier-Free Diffusion Guidance, 簡稱CFG）技術，通過調整模型的輸出分布來增強生成數據的質量和多樣性。

CFG可利用過去的代理歷史，例如，過去的觀察和行動，來引導未來的預測，從而顯著提高了環境的預測準確性和可靠性。

Copilot4D在多個自動駕駛數據集上NuScenes、KITTI Odometry和Argoverse2進行了評測。在1秒內的預測中，Copilot4D相比之前最佳方法將Chamfer距離（一種衡量點云間相似度的指標）降低了65%—75%。

而在3秒預測時也降低了超過50%，整體性能非常強悍，這也是被Waabi應用在自動化卡車駕駛中的主要原因之一。

物理生成式AI

在獲得巨額融資后，Waabi聯合創始人兼CEO Raquel Urtasun發表了一篇長文，介紹了物理世界中的生成式AI。

Raquel介紹技術

她表示，近兩年生成式AI取得了令人驚嘆的進步，ChatGPT通過了法律專業律師考試、專業醫師考試，Midjourney生成的圖片可以和專業設計師相媲美，Suno生成的音樂來頂級音樂人都贊不絕口。

但這些成就都是在虛擬世界完成的，我們該如何將其引入到現實的物理世界中呢？但引入的過程并不容易，首先，物理世界對安全的要求極高，幾乎不能出現半點錯誤，例如，在自動化駕駛卡車中如果大模型對環境的判斷、預測不準確，很容易出現嚴重的車禍事故。

其次，移動的卡車受限于環境，無法像超級算力矩陣那樣提供源源不斷的算力，只能在有限的空間內來完成部署和使用，這就對模型的性能有著極高的要求。

為了解決這些難題，Waabi開發了適用于物理世界的大模型，這是一種前所未有的突破。它不僅能感知這個真實的物理世界，創建可解釋的安全規則，還能以人類的方式進行推理，找出最佳的駕駛解決方案。

長距離的大型卡車駕駛是一個枯燥，容易讓人疲憊的職業，同時隨著全球勞動力的下降，有安全經驗的卡車司機正在逐年下降。

Waabi希望通過將生成式AI引入到自動化駕駛中，打造一批安全、可靠的“數字駕駛員”幫助企業解決運輸鏈難題，同時降低勞動成本。

本文素材來源Waabi官網、Copilot4D論文，如有侵權請聯系刪除

END

繼續閱讀：

未經允許不得轉載：RPA中國 | RPA全球生態 | 數字化勞動力 | RPA新聞 | 推動中國RPA生態發展 | 流 > 腦洞大開！用大模型開卡車，還融了2億美元