單目深度估計一直是計算機視覺領域的難點。僅憑一張 RGB 圖像,想要還原出場景的三維結構,在幾何結構上非常不確定,必須依賴復雜的場景理解能力。

即便使用更強大的深度學習模型來實現，也面臨算力需求高、圖像數據注釋量大、泛化能力弱等缺點。

為了解決這些難題，蘇黎世聯邦理工學院的研究人員開發了Marigold模型。Marigold不需要從零開始訓練，而是在Stable Diffusion（著名開源文生圖模型）的基礎上進行微調，只需要使用合成數據微調了中間的去噪網絡,其他模塊例如，編碼/解碼結構均保持原樣,極大降低了訓練成本。

實驗數據顯示，盡管Marigold從未直接學習過真實的深度信息，但在真實場景的測試中，其性能卻超越了其他專門訓練過的模型，并且遷移、兼容性非常強。

開源地址：https://github.com/prs-eth/Marigold

論文地址：https://arxiv.org/abs/2312.02145

Marigold的核心技術思路是，利用Stable Diffusion模型所捕獲的豐富先驗知識，來提升深度估計的泛化能力和性能。

簡單來說，就是把Stable Diffusion當成一個圖片查詢數據庫，只修改其去噪模塊，就變成了可實現單目深度估計的全新模型。

Marigold的關鍵點在于保持預訓練擴散模型的潛在空間，只對去噪U-Net進行修改和微調。

這種方法非常高效，無需實際深度圖像的訓練數據，就能在多個真實數據集上取得出色的性能表現。

Marigold提供了一個簡單而資源高效的微調協議，將預訓練的擴散生成模型轉化為圖像條件的深度估計器，成為了一種功能強大的單目深度估計模塊。

Marigold通過使用合成的RGB-D數據以及在一塊消費級顯卡上只訓練了幾天，將Stable Diffusion轉化為Marigold模型。主要流程如下：

去噪U-Net

研究人員主要通過修改和微調Stable Diffusion模型的去噪U-Net模塊，來實現深度估計。去噪U-Net是一個編碼器-解碼器結構的神經網絡，用于從輸入圖像中學習去除噪聲的表示。

在Marigold模型中，研究人員保持了擴散模型的潛空間不變，只對去噪U-Net模塊進行微調，以適應深度估計任務。

合成數據訓練

為了微調Marigold模型，研究人員使用了合成的RGB-D訓練數據，對模型進行訓練。合成數據是通過在虛擬環境中，渲染圖像并生成對應的深度圖來創建的。

通過使用合成數據進行訓練，Marigold可以學習到廣泛的場景和物體形狀，從而提高其在未見過數據集上的泛化能力。

仿射不變深度估計

Marigold使用了一種仿射不變的深度估計方法，能夠估計圖像中每個像素的深度值，而不受全局偏移和尺度的影響。

這種仿射不變性對于在不同場景和尺度下進行深度估計非常重要。通過估計仿射不變的深度，Marigold可以消除由于相機內參的不確定性，而引入的深度估計誤差。

本文素材來源Marigold論文，如有侵權請聯系刪除

END

繼續閱讀：

未經允許不得轉載：RPA中國 | RPA全球生態 | 數字化勞動力 | RPA新聞 | 推動中國RPA生態發展 | 流 > 魔改Stable Diffusion，開源創新“單目深度估計”模型