超快速Radiance Fields重建技術

Introduction

神經輻射場 (NeRF) 架構的引進,徹底改變了經由給定一組影像來重建場景輻射場的相關技術發展。然而,即使針對單一場景而言,NeRF 與其變體模型的學習建構,往往需要從數小時到數天不等的訓練時間。相較之下,本項技術不僅能重現與 NeRF 相當品質的結果,且只需使用一個 GPU, 便可在不到 15 分鐘的時間內達到快速收斂。


本方法所提出的表示模型採用密度體素網格來解釋場景幾何,並結合淺層網路的特徵體素網格來代表複雜的視角相關外觀。基於現有使用離散化體積表示來進行建模,我們亦提出兩種簡單且有效率的新技術,有助於快速收斂和高品質輸出。


首先,我們介紹了體素密度的激活內插方法,能夠以較低解析度的網格來產生銳利的表面。其次,為了解決直接體素密度次優化問題,我們藉由先驗模型來加強優化過程。

https://github.com/sunset1995/DirectVoxGO https://sunset1995.github.io/dvgo/


關鍵字 : 神經輻射場 視圖合成 場景重建 電腦視覺 深度學習
研究計畫名稱 : 聰明生產與智慧精準製造之數位決策、AI模型、大數據治理與核心技術之整合製造平台及其科技法律與產業生態系統
計畫主持人 : 簡禎富
子計畫主持人 : 劉庭祿