來源：3D視覺工坊

v：dddvision，備註：無人機，拉你入群。文末附行業細分群

論文題目：Control-Aware Trajectory Predictions for Communication-Efficient Drone Swarm Coordination in Cluttered Environments

作者：Longhao Yan,Jingyuan Zhou等

作者機構：National University of Singapore等

論文鏈接：https://arxiv.org/pdf/2401.12852.pdf

該研究提出了一種基於控制感知的學習軌跡預測算法，用於在無人機（UAV）群體中實現通信高效的控制。該算法結合了軌跡壓縮和重建、軌跡預測以及KKT條件訓練等三個關鍵模塊。其中，軌跡壓縮和重建模型基於變分自動編碼器，軌跡預測模型基於EvolveGCN，該模型能夠處理動態圖。此外，算法采用分佈式模型預測控制（DMPC）方法，並通過KKT條件在訓練過程中將DMPC信息編碼到神經網絡中。實驗結果表明，在漏鬥狀環境中，該算法表現優越，提供了接近最優的控制性能，並對有限通信能力和測量噪聲具有魯棒性。

讀者理解：

這篇論文提出了一種學習軌跡預測算法，專註於提高無人機群體在復雜環境中的通信效率。主要貢獻包括引入軌跡壓縮和重建模型、軌跡預測模型，並通過KKT條件的訓練方法嵌入決策過程信息，從而提高了算法的控制性能和魯棒性。

我認為該研究在解決無人機群體控制中的通信效率問題上邁出了重要的一步。通過將學習和優化方法相結合，算法在處理復雜環境中的通信限制時表現出色。同時，將決策過程信息整合到訓練網絡中，有助於提高算法對物理約束的考慮，使得生成的軌跡更具實用性。

對於未來的研究方向，作者提出了一些有趣的方向，如在更復雜的環境中測試算法、提高算法的泛化能力以及探索通信通道先驗知識的編碼方式。這些方向有望進一步完善算法的性能和適用范圍。

1 引言

本文通過開發一種學習算法，使每個UAV能夠在充滿障礙物的環境中以不同的通信能力水平（帶寬、數據包丟失率、較低頻率等）預測其鄰近UAV的軌跡。該算法通過在貝葉斯框架中整合基於變分自動編碼器（VAE）的軌跡壓縮和重建模型與基於圖卷積網絡（GCN）的軌跡預測模型，結合了三種信息：（i）每個UAV及其鄰居的歷史狀態，（ii）鄰居傳遞的壓縮消息，（iii）每個UAV的決策過程信息，通過凸優化為基礎的DMPC方法表征。同時，通過采用Karush–Kuhn–Tucker（KKT）條件的方法對開發的神經網絡進行訓練，使軌跡預測算法能夠編碼有關UAV決策制定的信息，從而提高控制性能。在文獻調研中，發現目前尚無明確編碼代理決策過程知識的軌跡預測算法存在。

2 方法

本文提出了一種控制感知的學習軌跡預測方法，旨在應對無人機（UAV）在通信有限的復雜環境中的運行挑戰。方法包括以下關鍵組成部分：

• 軌跡預測算法設計：通過學習方法，預測每個UAV周圍其他UAV的軌跡，采用預測它們在前一時間步的計劃軌跡的方式。

• 數學表示：通過定義符號表示，使用U˜ k−1 ij表示UAV j在時步k−1計劃的軌跡，由UAV i在時步k開始估計。簡化表示為U˜ k−1 j。所有鄰居UAV的預測軌跡可以用U˜ k −i = { ˜Uk−1 j }j∈Ni表示。

• 軌跡預測算法組成：方法包括四個組件：（i）基於變分自動編碼器（VAE）的軌跡壓縮和重建，（ii）基於EvolveGCN的軌跡預測，（iii）貝葉斯層用於整合VAE和EvolveGCN的預測軌跡，以及（iv）KKT增強訓練方法，將DMPC信息編碼到神經網絡中。

具體組件細節：

• VAE模型：使用編碼器ϕe和解碼器ϕd，將計劃軌跡壓縮到低維度信息，並通過解碼器進行重建，以此作為真實軌跡的估計。

• EvolveGCN（EG）模型：利用LSTM編碼器、障礙物編碼器、EvolveGCN圖卷積網絡以及LSTM解碼器，從動態感知圖中提取空間-時間相關性，用於估計計劃軌跡。

• 貝葉斯整合：利用簡單的貝葉斯方法整合VAE和EG的軌跡預測，形成後驗分佈。

• KKT訓練：利用Q學習模型，通過訓練神經網絡，結合QP生成神經網絡和可微分KKT層，將DMPC模型信息引入訓練過程，提高預測準確性。

• 訓練方法：通過模擬生成的數據進行神經網絡訓練，使用KKT信息增強訓練，以保證估計的軌跡符合DMPC模型，同時考慮DMPC模型的結構信息。

該方法的優勢在於提高了對有限通信能力和測量噪聲的魯棒性，在漏鬥狀環境中實驗結果表明，相較於先進的基準算法，該方法在控制性能和魯棒性方面表現更優越。

3 總結

本文提出了一種學習軌跡預測算法，實現了在UAV群體控制中的高效通信，尤其是在復雜的、充滿障礙物的環境中。該算法通過結合軌跡壓縮和重建模型以及軌跡預測模型，以及采用KKT條件的訓練方法，成功地將DMPC信息嵌入神經網絡，取得了優於現有基準算法的效果。未來研究方向包括在更復雜環境中評估算法，提高算法的泛化能力，明確通信通道先驗知識的編碼方式，以及進行軌跡預測與通信配置的協同設計。

下載

在公眾號「3D視覺工坊」後臺，回復「 3dcv」,即可獲取工業3D視覺、SLAM、自動駕駛、三維重建、事件相機、無人機等近千餘篇最新頂會論文；巴塞羅那自治大學和慕尼黑工業大學3D視覺和視覺導航精品課件；相機標定、結構光、三維重建、SLAM，深度估計、模型部署、3D目標檢測等學習資料。

3D視覺方向交流群成立啦

目前工坊已經建立了3D視覺方向多個社群，包括SLAM、工業3D視覺、自動駕駛、三維重建、無人機方向，細分群包括：

[工業3D視覺]相機標定、立體匹配、三維點雲、結構光、機械臂抓取、缺陷檢測、6D位姿估計、相位偏折術、Halcon、攝影測量、陣列相機、光度立體視覺等。

[SLAM]視覺SLAM、激光SLAM、語義SLAM、濾波算法、多傳感器融合、多傳感器標定、動態SLAM、MOT SLAM、NeRF SLAM、機器人導航等。

[自動駕駛]深度估計、Transformer、毫米波|激光雷達|視覺攝像頭傳感器、多傳感器標定、多傳感器融合、自動駕駛綜合群等、3D目標檢測、路徑規劃、軌跡預測、3D點雲分割、模型部署、車道線檢測、Occupancy、目標跟蹤等。

[三維重建]NeRF、多視圖幾何、OpenMVS、MVSNet、colmap、紋理貼圖等

[無人機]四旋翼建模、無人機飛控等

除了這些，還有求職、硬件選型、視覺產品落地、最新論文、3D視覺最新產品、3D視覺行業新聞等交流群

大傢可以 v：dddvisiona，備註：加群 方向 學校|公司, 小助理會拉你入群。