機器人行業正在經歷以生成式 AI 為主導的智能化變革，從而實現前所未有的感知和適應能力。作為智能機器人領域的領跑者，NVIDIA 正不斷深耕、持續創新，提供最先進的 AI 解決方案為機器人賦能。
例如在硬件方面，NVIDIA 瞄準嵌入式邊緣計算領域推出了 Jetson 平臺，在這個系列中，有支持入門級邊緣 AI 應用程序和設備的 Jetson Nano，也有適用於機器人開發的 Jetson Orin。
在應用平臺方面，NVIDIA 的 Omniverse 可用於開發和部署基於 OpenUSD 的 3D 應用與工作流，其為機器人仿真平臺 Isaac Sim 賦能，後者還能進一步減小機器人算法從仿真環境遷移到實際平臺的成本。
本文盤點了 NVIDIA 在 2023 年機器人領域的成果以及研究方向，共同感受 NVIDIA 對於機器人前沿領域的新思考及其應用迭代。
▍技術藍圖：NVIDIA 賦能機器人智能化發展
（1）NVIDIA 擴大 Isaac 軟件的接入范圍，並提高 Jetson 平臺的可用性，加快機器人技術從雲到邊緣的發展
NVIDIA 於 GTC 2023 上宣佈，Omniverse Cloud 將托管在 Microsoft Azure 上，以擴大 Isaac 軟件的接入范圍並提高 Jetson 平臺的可用性。Omniverse 是一個連接數字與現實世界的工業數字化平臺，通過邊緣 AI 和雲端計算，將使得制造企業更容易接受 AI 工具，從而有助於幫助企業實現制造過程數字化。例如寶馬集團與自動化公司 idealworks 就已經在 Omniverse 中使用 Isaac Sim，生成合成數據並運行相關場景，用於測試和訓練 AMR 與工廠機器人。同時全線 Jetson Orin 模組均已推出，為邊緣 AI 和機器人應用帶來性能上的飛躍。
詳細文章鏈接：《GTC23 | NVIDIA 擴大 Isaac 軟件的接入范圍並提高 Jetson 平臺的可用性，加快機器人技術從雲到邊緣的發展》
（2）NVIDIA Isaac AMR 助力，移動機器人實現高級自動化
NVIDIA 註意到多個行業在降本增效驅使下，對移動機器人的需求日益增長。為此推出了可用於打造新一代自主移動機器人（AMR）車隊的全新平臺 NVIDIA Isaac AMR 。建立在 NVIDIA Nova Orin 參考架構的基礎上，這是一個主要用於仿真、驗證、部署、優化和管理自主移動機器人車隊的平臺，包含了邊緣到雲的軟件服務、計算以及一套參考傳感器和機器人硬件，Isaac AMR 能為移動機器人帶來先進的測繪、自主和模擬能力，可加快 AMR 的開發和部署速度，減少成本並縮短產品上市時間。
詳細文章鏈接：《COMPUTEX2023 | NVIDIA Isaac AMR 助力移動機器人實現高級自動化》
（3）基於 NVIDIA Jetson ，使用硬件在環設計機器人
Hardware-in-the-Loop（硬件在環，HIL）測試是一種強大的工具，用於驗證和核實包括機器人技術和計算機視覺在內的復雜系統的性能。NVIDIA 結合 HIL 這一主線，展示了如何設置 HIL 和使用 NVIDIA Jetson Isaac ROS 模塊進行測試，以及如何嘗試 NVIDIA Isaac Sim，從而獲得更安全、更可靠、更高效的產品。
詳細文章鏈接：《基於 NVIDIA Jetson 使用硬件在環設計機器人》
（4）NVIDIA 擴展機器人平臺，迎接生成式 AI 的崛起
NVIDIA 在 Jetson 平臺上對 Metropolis 和 Isaac 框架進行了有史以來規模最大的軟件擴展，NVIDIA Isaac ROS 機器人框架全面上市，並結合 Transformer 模型與生成式 AI 的強大功能來滿足邊緣 AI 的快速部署需求。同時，NVIDIA 還創建了一個 Jetson 生成式 AI 實驗室，以供開發者利用最新的開源生成式 AI 模型進行開發。
詳細文章鏈接：《NVIDIA 擴展機器人平臺，迎接生成式 AI 的崛起》
（5）訓練自主移動機器人使用合成數據，檢測倉庫托盤千斤頂
在訓練那些部署在 AMR 上的感知 AI 模型時， 3D 仿真生成的合成數據（SDG）可以發揮關鍵作用。NVIDIA 在一項研究中，展示了如何使用 NVIDIA Isaac Sim 中的 NVIDIA Omniverse Replicator 生成合成數據，隨後使用 NVIDIA TAO Toolkit 中的合成數據對模型進行訓練，最後將模型在真實數據上的性能可視化，並修改參數以生成更好的合成數據，達到期望的性能水平。
詳細文章鏈接：《如何訓練自主移動機器人使用合成數據檢測倉庫托盤千斤頂》
▍NVIDIA 機器人開發工具解析
從零開始創建一個機器人並非極其困難，使用合適的開發工具，能夠輕松達到事半功倍的效果。我們發現，NVIDIA 關於機器人創建的必要知識和所涉工具已經形成了一整套閉環，能夠幫助用戶輕松完成從 0 到 1 的開發串聯。
（1）數據合成和訓練
在現實世界中，制造機器人需要從頭開始創建數據集，涉及到采集和註釋海量真實圖像等，NVIDIA 開發出了 Isaac Sim Replicator 和 NVIDIA TAO 工具套件，前者用於生成合成數據，後者可對合成數據進行訓練，為機器人的仿真打下堅實的基礎。
詳細文章鏈接：《從 0 到 1 搭建機器人 | 使用 NVIDIA Isaac Sim Replicator 和 TAO 套件進行數據合成和訓練》
（2）創建虛擬環境，進行仿真開發與測試
創建虛擬環境，進行機器人的仿真開發與測試往往是機器人開發的第二步。NVIDIA 對應可以使用的工具是 NVIDIA Isaac Sim，這是一款可擴展的機器人仿真應用程序和合成數據生成工具，能驅動逼真的、物理準確的虛擬環境，從而生成數據集，用於訓練將在實體機器人上運行的機器學習模型。值得註意的是，即使是用於機器人仿真的虛擬環境，也會遵守物理定律，並力求模擬現實世界的重力、摩擦、材料和照明條件。
詳細文章鏈接：《從 0 到 1 搭建機器人 | 利用 NVIDIA Isaac Sim 創建虛擬環境進行仿真開發與測試》
（3）加速 SDK 打造自主機器人
機器人成為咖啡師的秘密是自主機器學習，NVIDIA 提供了打造自主機器人的方式，通過 NVIDIA Jetson 和一系列硬件加速 SDK，能將 AI 緊密融入基於 NVIDIA Jetson 的自主機器人系統，推動機器人在感知、決策和交互方面邁向更智能化的未來。在軟件層面，NVIDIA JetPack 捆綁了所有 Jetson 平臺軟件，包括 TensorRT、cuDNN、CUDA Toolkit、VPI、GStreamer 和 OpenCV，而且所有這些軟件都建立在 Jetson Linux 之上，帶有 LTS Linux 內核。
詳細文章鏈接：《從 0 到 1 搭建機器人系列 | 利用 NVIDIA Jetson 和硬件加速 SDK 打造自主機器人》
（4）由一到多，打造機器人車隊
“單個”機器人移向“多個”機器人集群如何實現編隊控制？NVIDIA 利用 Isaac AMR ，能為機器人的開發提供最先進的 AI 平臺和工作流程，便捷、高效地管理機器人編隊，以優化生產力。NVIDIA Isaac AMR 是一個可用於打造新一代 AMR 車隊的平臺，包含了從邊緣到雲的軟件服務、計算以及一套參考傳感器和機器人硬件，用於仿真、驗證、部署、優化和管理 AMR 車隊，在大型、高動態、非結構化的環境中確保先進的測繪、自主和仿真能力。
詳細文章鏈接：《從 0 到 1 搭建機器人系列 | 利用 Isaac AMR 輕松部署機器人車隊》
▍腦洞大開：NVIDIA 解鎖機器人多樣可能
除了傳統的機器人應用開發，NVIDIA 的開發者套件以及其開發者計劃正吸引著全球各地的開發者參與其中，借助完善的工具搭建各類意想不到的機器人。
（1） AI 驅動維修機器人
來自克羅地亞的 Goran Vuksic 在現實世界中制造出了《星球大戰》中的維修機器人（Pit Droid）。他使用 NVIDIA Jetson Orin Nano 開發者套件作為機器人的大腦，讓這個身高不到四英尺、眼睛隻有一個簡單網絡攝像頭的機器人，能夠識別物體並隨之轉頭。Vuksic 還加入了 NVIDIA 開發者計劃，並將他的機器人帶到歐洲各地的技術會議上，用這個大傢熟悉的“星球大戰”角色展示邊緣 AI 平臺的強大力量。
詳細文章鏈接：《開發者使用 NVIDIA Jetson 讓 AI 驅動維修機器人》
（2）能瞄準、射門和得分的自主足球機器人
足球被認為是全世界最受歡迎的運動之一，因此，自然會有人致力於向機器人“傳授”足球比賽的精髓，包括如何搶球、瞄準球門、傳球和進球得分等。來自巴西累西腓伯南佈哥聯邦大學的學生及其指導老師，共同制造了一個由 NVIDIA Jetson Nano 開發者套件驅動的全向移動機器人，該機器人可以自主執行足球任務。
詳細文章鏈接：《NVIDIA Jetson 月度項目：能瞄準、射門和得分的自主足球機器人》
（3）前往火星的“變形金剛”
美國加州理工學院發佈了搭載 NVIDIA Jetson 平臺的 M4 Morphobot。它不但能夠飛行、行駛和行走，還能通過組合技能完成八套排列組合的動作，這款機器人被稱為“多模式移動變形機器人”（Multi-Modal Mobility Morphobot）。美國國傢航空航天局（NASA）正在將其作為火星漫遊車候選項目進行開發。
詳細文章鏈接：《前往火星的“變形金剛”：加州理工學院開發的全地形機器人有望執行 NASA 任務》
▍小結
如今，機器人正與大模型結合，快速走向基礎智能體。在生產力提升的迫切要求下，生成式 AI 加速機器人仿真，驅動 AI 應用賦能千行百業，包括農業、建築業、醫療健康、零售業、物流倉儲和制造等領域，開始轉向由 AI 驅動的智能機器人。而想要實現掌握廣泛技能並能夠泛化到多個環境中的生成式 AI 賦能的機器人，核心要素離不開數據、算法和算力。
基於已有優勢，NVIDIA 目前在機器人領域同樣正處於領跑地位。在這個過程中，快速增長並展現出巨大潛力的機器人業務也正逐漸走向 NVIDIA 的舞臺中心，NVIDIA 在軟件和硬件方面對此長期佈局，努力為機器人廠商、愛好者及研究者提供下一代的強有力工具。