來源：3D視覺工坊
v：dddvision，備註：SLAM，拉你入群。文末附行業細分群
0. 寫在前面
基於學習的局部特征匹配器在不同特征的數據集上的泛化性不太好，所以這篇文章提出了一種在新數據集上微調的方法，來提高泛化性和匹配精度。
下面一起來閱讀一下這項工作~
1. 論文信息
標題：SCENES: Subpixel Correspondence Estimation With Epipolar Supervision
作者：Dominik A. Kloepfer, João F. Henriques, Dylan Campbell
機構：牛津大學、澳大利亞國立大學
原文鏈接：https://arxiv.org/abs/2401.10886
2. 摘要
從場景的兩個或多個視圖中提取點對應關系是一個基本的計算機視覺問題，對於相對相機位姿估計和運動產生的結構特別重要。現有的局部特征匹配方法，通過在大規模數據集上進行對應監督訓練，在測試集上獲得了高精度的匹配。然而，與經典的特征提取器不同，它們不能很好地泛化到與它們訓練的數據集具有不同特征的新數據集上。相反，它們需要微調，即假設地面-真值對應關系或地面-真值相機姿態和3D結構是可用的。我們通過去除3D結構的要求(例如，深度圖或點雲)來放松這個假設，並且隻需要相機的姿態信息，這些信息可以從裡程計中獲得。我們這樣做是通過用極線損失代替對應損失，這鼓勵假定的匹配位於相關的極線上。雖然弱於對應監督，但我們觀察到這一線索足以在新數據上微調現有模型。然後，我們通過使用一種新穎的自舉方法中的位姿估計，進一步放松了已知相機位姿的假設。我們在極具挑戰性的數據集上進行了評估，包括一個室內無人機數據集和一個室外智能手機相機數據集，在沒有強大監督的情況下獲得了最先進的結果。
3. 效果展示
SCENES (有極線監督的亞像元匹配估計)學習在不需要匹配監督的情況下找到高質量的局部圖像匹配。（a）中的紅色像素對應於（b）中的紅色極線。網絡最初將紅色像素與藍色像素進行匹配，但極線損失偏好匹配在極線(不一定是最接近的點)上。通過最先進的MatchFormer算法找到的匹配關系（c），然後使用SCENES可以優化匹配關系（d）。
4. 主要貢獻
（1）對現有匹配損失進行極線損失替換，消除了對強匹配監督的需求；
（2）在僅位姿監督或無監督的新域上適應預訓練模型的策略。
5. 和其他SOTA方法的對比
室內EuRoC-MAV數據集上的相對位姿估計性能。
室外San Francisco Landmarks數據集上的相對位姿估計性能。
6. 總結
這篇文章提出了一種估計兩幅圖像之間亞像素匹配關系的方法，不需要真值匹配關系進行訓練。作者將標準分類和回歸匹配損失重新定義為極線損失，在訓練過程中隻需要真實的基礎矩陣。
對更多實驗結果和文章細節感興趣的讀者，可以閱讀一下論文原文~
下載
在公眾號「3D視覺工坊」後臺，回復「 3dcv」,即可獲取工業3D視覺、SLAM、自動駕駛、三維重建、事件相機、無人機等近千餘篇最新頂會論文；巴塞羅那自治大學和慕尼黑工業大學3D視覺和視覺導航精品課件；相機標定、結構光、三維重建、SLAM，深度估計、模型部署、3D目標檢測等學習資料。
3D視覺方向交流群成立啦
目前工坊已經建立了3D視覺方向多個社群，包括SLAM、工業3D視覺、自動駕駛、三維重建、無人機方向，細分群包括：
[工業3D視覺]相機標定、立體匹配、三維點雲、結構光、機械臂抓取、缺陷檢測、6D位姿估計、相位偏折術、Halcon、攝影測量、陣列相機、光度立體視覺等。
[SLAM]視覺SLAM、激光SLAM、語義SLAM、濾波算法、多傳感器融合、多傳感器標定、動態SLAM、MOT SLAM、NeRF SLAM、機器人導航等。
[自動駕駛]深度估計、Transformer、毫米波|激光雷達|視覺攝像頭傳感器、多傳感器標定、多傳感器融合、自動駕駛綜合群等、3D目標檢測、路徑規劃、軌跡預測、3D點雲分割、模型部署、車道線檢測、Occupancy、目標跟蹤等。
[三維重建]NeRF、多視圖幾何、OpenMVS、MVSNet、colmap、紋理貼圖等
[無人機]四旋翼建模、無人機飛控等
除了這些，還有求職、硬件選型、視覺產品落地、最新論文、3D視覺最新產品、3D視覺行業新聞等交流群
大傢可以 v：dddvisiona，備註：加群 方向 學校|公司, 小助理會拉你入群。