來源：計算機視覺工坊

v：dddvisiona，備註：立體匹配，拉你入群。文末附行業細分群

論文題目：Boosting Multi-view Stereo with Late Cost Aggregation

作者：Jiang Wu, Rui Li等

作者機構：Northwestern Polytechnical University

論文鏈接：https://arxiv.org/pdf/2401.11751.pdf

代碼鏈接：https://github.com/Wuuu3511/LAMVSNET

本研究提出了一種後期聚合的方法，用於多視圖立體匹配中的成對匹配代價聚合。與先前的早期聚合方案不同，本文的方法允許在整個網絡前饋過程中進行成對代價的聚合，以實現準確的估計。相比於加權求和構建中間代價的方法，後期聚合通過在不同視圖通道中保留所有成對代價，使得後續的深度網絡能夠充分利用關鍵的幾何線索，而不丟失代價的準確性。本文還提出了一些進一步的技術，包括解決視圖順序依賴性、處理靈活的測試視圖以及改進深度過濾過程。盡管方法相對簡單，但在基線方法上取得了顯著的改進，與最先進的方法相比，實現了可比較的結果，並具有有利的計算開銷。

讀者理解：

這篇文章主要關註多視圖立體匹配（MVS）領域中的成對匹配代價聚合問題，並提出了一種後期聚合方法，以克服早期聚合方案的局限性。文章通過分析指出，早期聚合可能會損害信息豐富的匹配代價，因此引入了保留視圖成本的概念，實現了在整個網絡前饋過程中的成對代價聚合。此外，文章介紹了一系列技術，包括處理視圖順序依賴性、適應多樣化測試視點以及優化點雲過濾，以進一步提高多視圖立體匹配的性能。

總體而言，這篇文章對於MVS領域中的成對匹配代價聚合問題提出了一種新穎的解決方案，並通過實驗證明了該方法的有效性。文章的結構清晰，技術推導和實驗設計都比較詳細，為該領域的研究提供了有價值的思路和方法。

1 引言

本文介紹了在圖像三維重建領域中取得顯著進展的多視圖立體匹配（MVS）技術，並重點關註了成對匹配代價的關鍵性貢獻。隨著深度學習的興起，成對匹配代價成為基於卷積神經網絡（CNN）的方法的基本輸入，減輕了深度網絡對幾何模糊的敏感性，提高了重建準確性。然而，先前的方法在早期聚合中存在問題，可能損害信息豐富的匹配代價。為解決這一挑戰，本文提出了一種後期聚合方法，以及相應的視圖洗牌、處理靈活測試輸入和改進點雲過濾等技術，以實現更好的信息利用和重建效果。通過在多個數據集上的實驗證明，本方法顯著優於基線方法，為MVS中的聚合設計提供了新的思路。

2 方法

本文提出了一種用於多視圖立體匹配（MVS）的後期聚合方法，以改善深度網絡對幾何匹配中信息豐富成對匹配代價的利用效果。以下是方法學的詳細總結：

• 成對代價構建：采樣一組深度假設，通過可微分的單應矩陣將源視圖的特征對齊到參考視圖上，構建成對代價體積。這體積通過點乘相似性計算得到，保留了各個深度假設下的匹配代價。

• 後期聚合與保留視圖：與先前采用的早期聚合不同，提出了後期聚合的思想，避免了構建中間代價，使深度網絡能夠一直受益於信息豐富的成對匹配代價。通過淺層卷積層對每個成對代價體積進行正則化，形成保留視圖的代價體積，其中每個通道保留了一個源視圖的信息。

• 處理視圖順序依賴性：為了解決保留視圖中的視圖順序依賴性，引入了視圖洗牌技術，即對保留的代價體積進行通道的隨機排列。這有助於深度網絡更好地利用來自不同視圖的信息。

• 靈活測試輸入處理：針對測試階段可能有不同數量的輸入視圖，提出兩種測試時成對代價構建方法。當測試視圖數增加時，通過迭代推斷保留一部分視圖，最終綜合所有推斷結果。當測試視圖數減少時，復制可能更具信息的成對代價以適應訓練時的代價形狀。

• 多視圖一致性過濾：引入了一種改進的深度圖過濾方案，利用絕對深度值代替相對深度值進行動態一致性檢查，並加入了來自源視圖的光度一致性約束，提高了點雲生成的精度和完整性。

通過實驗證明，本方法在DTU、Tanks and Temples以及ETH3D數據集上顯著優於基線級聯MVS，並與最先進方法在計算開銷上取得可比較的結果。這一研究為多視圖立體匹配中聚合設計提供了一種新的思路，強調了在信息豐富性和簡單性之間的平衡，使得更好地利用成對匹配代價成為可能。

3 總結

本研究通過對早期聚合方案的局限性進行分析，提出了一種基於保留視圖成本的後期聚合方法。在此基礎上，引入了一系列技術，包括降低對視圖順序的依賴性、適應多樣化的測試視點以及優化點雲過濾。總體而言，我們的方法為多視圖立體方法的聚合策略設計提供了新的思路。

下載

在公眾號「計算機視覺工坊」後臺，回復「3dcv」,即可獲取工業3D視覺、SLAM、自動駕駛、三維重建、事件相機、無人機等近千餘篇最新頂會論文；巴塞羅那自治大學和慕尼黑工業大學3D視覺和視覺導航精品課件；相機標定、結構光、三維重建、SLAM，深度估計、模型部署、3D目標檢測等學習資料。

3D視覺方向交流群成立啦

目前工坊已經建立了3D視覺方向多個社群，包括SLAM、工業3D視覺、自動駕駛、三維重建、無人機方向，細分群包括：

[工業3D視覺]相機標定、立體匹配、三維點雲、結構光、機械臂抓取、缺陷檢測、6D位姿估計、相位偏折術、Halcon、攝影測量、陣列相機、光度立體視覺等。

[SLAM]視覺SLAM、激光SLAM、語義SLAM、濾波算法、多傳感器融合、多傳感器標定、動態SLAM、MOT SLAM、NeRF SLAM、機器人導航等。

[自動駕駛]深度估計、Transformer、毫米波|激光雷達|視覺攝像頭傳感器、多傳感器標定、多傳感器融合、自動駕駛綜合群等、3D目標檢測、路徑規劃、軌跡預測、3D點雲分割、模型部署、車道線檢測、Occupancy、目標跟蹤等。

[三維重建]NeRF、多視圖幾何、OpenMVS、MVSNet、colmap、紋理貼圖等

[無人機]四旋翼建模、無人機飛控等

除了這些，還有求職、硬件選型、視覺產品落地、最新論文、3D視覺最新產品、3D視覺行業新聞等交流群

大傢可以 v: dddvisiona，備註：加群 方向 學校|公司, 小助理會拉你入群。