來源：計算機視覺工坊
添加v：dddvisiona，備註：3D GS，拉你入群。文末附行業細分群
0. 寫在前面
不知道大傢3D Gaussian Splatting學的怎麼樣了，有沒有搞完一些相關工作呢？今天筆者為大傢推薦一篇4D GS的最新開源工作DreamGaussian4D，可以快速生成三維動態模型。
下面一起來閱讀一下這項工作~
1. 論文信息
標題：DreamGaussian4D: Generative 4D Gaussian Splatting
作者：Jiawei Ren, Liang Pan, Jiaxiang Tang, Chi Zhang, Ang Cao, Gang Zeng, Ziwei Liu
機構：南洋理工大學S-Lab、上海AI Lab、北京大學、密歇根大學
原文鏈接：https://arxiv.org/abs/2312.17142
代碼鏈接：https://github.com/jiawei-ren/dreamgaussian4d
官方主頁：https://jiawei-ren.github.io/projects/dreamgaussian4d/
2. 摘要
近年來，4D內容生成取得了令人矚目的進展。然而，現有方法存在優化時間長、缺乏運動可控性、細節層次低的問題。在本文中，我們介紹了一種基於4D Gaussian拋雪球表示的高效4D生成框架DreamGaussian4D。我們的關鍵見解是，高斯拋雪球中空間變換的顯式建模使其與隱式表示相比更適合4D生成環境。DreamGaussian4D將優化時間從幾個小時縮短到幾分鐘，允許靈活控制生成的3D運動，並生成可在3D引擎中高效渲染的動畫網格。
3. 效果展示
先看一下這個4D生成效果。
最重要的是，繼承了3D GS的快！僅需要幾分鐘就可以完成模型優化。
4. 主要貢獻
（1）將可變形的高斯拋雪球表示用於4D內容生成，並觀察到其顯式空間變換建模顯著地將優化時間從幾個小時減少到僅僅幾分鐘。
（2）設計了一個圖像到4D的框架，從圖像條件生成的視頻中學習運動，從而允許更可控和多樣化的3D運動。
（3）提出了一種雙向可視化紋理優化策略，進一步增強了輸出動畫網格的質量，使得該框架更容易在現實環境中部署。
5. 具體原理是什麼？
首先使用Dream GaussianHD獲得靜態3D GS模型，並使用圖像到視頻的擴散模型獲得驅動視頻。然後優化了一個變形網絡，該網絡學習在不同時間戳下對靜態3D GS進行變形，並通過對驅動視頻的MSE損失和SDS損失進行監督。最後，通過雙向可視化流水線可以導出每幀的網格並對紋理圖進行細化。
6. 和其他SOTA方法的對比
DreamGaussian4D實現了對輸入圖像更好的忠實度，更大的運動量和更高的細節層次。
速度比較。Dream Gaussian4D將優化時間從幾個小時縮短到幾分鐘。
7. 總結
這篇文章提出了Dream Gaussian4D，一個使用4D Gaussian拋雪球生成4D內容的框架。在高斯拋雪球中對空間變換進行顯式建模，可以大大簡化4D生成任務。DreamGaussian4D顯著地將優化時間從幾個小時減少到幾分鐘。此外，使用生成的視頻驅動運動可以首次實現對3D運動的顯式控制。最後，DreamGaussian4D允許網格提取和時間相幹紋理優化，這有利於現實世界的應用。
對更多實驗結果和文章細節感興趣的讀者，可以閱讀一下論文原文~