北京智源AI研究院、牛津大學(xué)、澳大利亞國立大學(xué)聯(lián)合發(fā)布了一項研究—3D-GPT，通過文本問答方式就能創(chuàng)建高精準(zhǔn)3D模型。

據(jù)悉，3D-GPT使用了大語言模型的多任務(wù)推理能力,通過任務(wù)調(diào)度代理、概念化代理和建模代理三大模塊，簡化了3D建模的開發(fā)流程實(shí)現(xiàn)技術(shù)民主化。

但3D-GPT與現(xiàn)有的文本生成3D模型方法大有不同,生成過程是可以操控函數(shù)進(jìn)行3D建模,而不是常規(guī)的3D神經(jīng)元表征，同時可與Blender（開源三維軟件）實(shí)現(xiàn)無縫集成。這極大提升了模型的靈活性和準(zhǔn)確性。

論文地址：https://arxiv.org/abs/2310.12945

Github（即將發(fā)布）：https://github.com/Chuny1/3DGPT

隨著Meta提出元宇宙概念后,全球?qū)Ω弑Ｕ娴?D內(nèi)容需求激增。然而,傳統(tǒng)的3D建模流程效率低下,設(shè)計師需要從基本形狀逐步打造模型,再進(jìn)行著色、細(xì)節(jié)處理等工作十分繁瑣，而3D-GPT技術(shù)框架可有效解決這一痛點(diǎn)。

從論文介紹來看，主要由任務(wù)調(diào)度代理、概念化代理和建模代理三大塊組成。任務(wù)調(diào)度代理扮演總指揮的角色,根據(jù)文本語言指令確定需要調(diào)用的建模函數(shù)，會查詢所有可用函數(shù)的文檔,選擇最合適的對象。

概念化代理用于豐富語言描述的細(xì)節(jié),為后續(xù)建模做準(zhǔn)備。以樹木生成為例,用戶提供的文字可能僅是“碧綠的樹林”,但建模需要更精確的參數(shù)如樹枝長度、樹葉類型等。而概念化代理就會自動補(bǔ)充這些細(xì)節(jié),輸出豐富的描述以指導(dǎo)建模。

建模代理則需要解析概念化代理輸出的語言描述,轉(zhuǎn)換為具體的代碼和參數(shù),調(diào)用相應(yīng)函數(shù)實(shí)現(xiàn)建模。

以天空渲染為例,輸入文字可能是“湛藍(lán)的天空”,建模代理就需要推斷出太陽強(qiáng)度、云層密度等參數(shù),并寫出調(diào)用天空渲染函數(shù)的代碼,最終輸出逼真的3D天空。

建模工具

3D-GPT使用了InfiniGen作為基于Python-Blender的過程化生成器。為讓大語言模型能夠高效利用InfiniGen,研究人員為每個函數(shù)Fj提供了提示,包括:

(1)函數(shù)文檔Dj:詳細(xì)解釋輸入?yún)?shù)Pj以及函數(shù)的目的和功能。

(2)易讀代碼Cj:提供容易理解的重構(gòu)函數(shù)代碼。

(3)所需信息Ij:概述推理函數(shù)參數(shù)所需的具體信息,協(xié)助理解函數(shù)的上下文和先決條件。

(4)使用示例Ej:提供示例演示如何從文本描述中推理參數(shù)Pj,以及如何調(diào)用函數(shù)。

這些資源使大語言模型可以利用其規(guī)劃、推理和工具使用的核心能力,根據(jù)語言指令高效地利用InfiniGen進(jìn)行3D生成。

在建模工具搭建好之后,3D-GPT采用了一個多代理協(xié)作框架，來處理3D建模流程。

任務(wù)調(diào)度代理

任務(wù)調(diào)度代理在規(guī)劃過程中發(fā)揮關(guān)鍵作用。通過用戶指令查詢函數(shù)文檔,然后選擇所需的函數(shù)進(jìn)行執(zhí)行。

選擇函數(shù)后,概念化代理進(jìn)行推理以豐富用戶提供的文本描述。最后,建模代理推斷每個選定函數(shù)的參數(shù),并生成Python代碼,調(diào)用Blender API接口,促進(jìn)相應(yīng)3D內(nèi)容的創(chuàng)建。

任務(wù)調(diào)度代理與系統(tǒng)的對話示例如下:

系統(tǒng):你是根據(jù)用戶指令選擇合適函數(shù)的高效規(guī)劃者。將被提供以下函數(shù):<(F名稱j,F用法j)>。以下是如何根據(jù)用戶指令選擇函數(shù)的幾個示例:<E任務(wù)調(diào)度j>。

用戶:我的指令是:<Li>。

任務(wù)調(diào)度代理:根據(jù)指令<Li>,我們確定了需要用于3D建模的函數(shù)子列表ˆF。

概念化代理

描述可能不會明確提供建模所需的詳細(xì)外觀描述。為緩解這一問題,引入了概念化代理,它與任務(wù)調(diào)度代理協(xié)作以增強(qiáng)用戶提供的文本描述(Li)。對于每個函數(shù)Fj,它會將用戶輸入文本和相應(yīng)的函數(shù)專屬信息進(jìn)行豐富,生成詳細(xì)的外觀描述Lij。

系統(tǒng)與概念化代理對話格式如下:

系統(tǒng):你是專業(yè)作家,擅長描述對象的外觀,特別是大型場景。給定描述<Li>,請?zhí)峁┮韵滦畔⑺璧脑敿?xì)描述<Ij>。

對于描述中未提及的術(shù)語,請發(fā)揮想象力,以確保它們與文本描述一致。概念化代理:根據(jù)<Li>和請求的信息<Ij>,擴(kuò)展后的描述是:<cLij>。

建模代理

在概念化之后,3D建模處理目標(biāo)是將詳細(xì)的人類語言轉(zhuǎn)換為機(jī)器可理解的語言。

在技術(shù)框架中,建模代理通過操作程序建模庫中的函數(shù)來創(chuàng)建逼真的3D模型。對于每個函數(shù)Fj和用戶指令Li,任務(wù)調(diào)度代理從概念化代理獲得增強(qiáng)上下文 cLij。

對于每個函數(shù)Fj,我們都有代碼Cj,函數(shù)文檔Dj和一個用法示例Ej。建模代理利用這些信息選擇適當(dāng)?shù)暮瘮?shù)并推斷出相應(yīng)的參數(shù)。

隨后,建模代理生成準(zhǔn)確調(diào)用所選函數(shù)的Python代碼(例如,在循環(huán)中調(diào)用它,而不是調(diào)用它),并使用適當(dāng)?shù)臄?shù)據(jù)類型正確傳遞推斷的參數(shù)給函數(shù)。

建模代理遵循以下對話模式:

系統(tǒng):你是一位優(yōu)秀的3D設(shè)計師,能夠?qū)㈤L文本描述轉(zhuǎn)換為參數(shù),并且擅長理解Python函數(shù)來操縱3D內(nèi)容。給定文本描述<cLij>,我們有以下函數(shù)代碼<Cj>和函數(shù)文檔<Dj>。

以下是一個關(guān)于如何調(diào)用函數(shù)以使場景符合描述的示例:<E建模j>。理解函數(shù),并通過調(diào)用函數(shù)建模符合文本描述的3D場景。

建模代理:根據(jù)描述<cLij>,將使用以下函數(shù),并采用各自的參數(shù)值。

Blender渲染:建模代理最終提供帶有推斷參數(shù)的Python函數(shù)調(diào)用,這些調(diào)用用于Blender節(jié)點(diǎn)控制和渲染,從而產(chǎn)生最終的3D網(wǎng)格和RGB結(jié)果。

測試數(shù)據(jù)

研究人員進(jìn)行了大量實(shí)驗,結(jié)果表明3D-GPT可以根據(jù)不同語言描述生成符合要求的3D場景和對象。具體表現(xiàn)如下：

3D-GPT可以根據(jù)簡要描述生成較大的3D場景,場景內(nèi)容與描述基本一致。對于單一對象,3D-GPT可以準(zhǔn)確捕捉其關(guān)鍵外觀特征,實(shí)現(xiàn)精細(xì)的形狀、曲線和屬性控制。

3D-GPT能夠正確理解工具的功能,獲取必要知識,并將其用于精確控制。即使參數(shù)與視覺外觀無直接關(guān)系,也能準(zhǔn)確推理參數(shù)值。在多步語言指令的場景中,3D-GPT能夠充分理解每一步指令,并對場景進(jìn)行準(zhǔn)確修改。

本文素材來源3D-GPT論文，如有侵權(quán)請聯(lián)系刪除

繼續(xù)閱讀：

未經(jīng)允許不得轉(zhuǎn)載：RPA中國 | RPA全球生態(tài) | 數(shù)字化勞動力 | RPA新聞 | 推動中國RPA生態(tài)發(fā)展 | 流 > 文本生成高精準(zhǔn)3D模型，北京智源AI研究院等出品—3D-GPT