基于Omniverse的NVIDIA Isaac Sim 現(xiàn)已發(fā)布公測版
加入技術(shù)交流群
Omniverse是NVIDIA模擬器的根本基礎(chǔ)，包括加入了多項新功能的Isaac平臺。NVIDIA Isaac Sim目前已發(fā)布公測版，您可以通過該平臺探索更高級的機器人模擬功能。
本文引用地址：http://www.ex-cimer.com/article/202106/426497.htmIsaac Sim基于NVIDIA Omniverse平臺而構(gòu)建，它是一個機器人模擬應(yīng)用與合成數(shù)據(jù)生成工具。機器人專家可使用它更高效地訓練和測試機器人，模擬機器人與指定環(huán)境的真實互動，而且這些環(huán)境可以超越現(xiàn)實世界。
Isaac Sim的發(fā)布還增加了經(jīng)過改進的多攝像頭支持功能、傳感器功能以及一個PTC OnShape CAD導(dǎo)入器，讓3D素材的導(dǎo)入變得更加輕松。從實體機器人的設(shè)計和開發(fā)、機器人的訓練，到在“數(shù)字孿生”中的部署（數(shù)字孿生是一種精確、逼真的機器人模擬和測試虛擬環(huán)境），這些新功能將全方位地擴大可以建模和部署的機器人和環(huán)境范圍。
主要新功能
● 支持多攝像頭
● 帶合成數(shù)據(jù)的魚眼相機
● 支持ROS2
● PTC OnShape導(dǎo)入器
● 經(jīng)過改進的傳感器支持
○ 超聲波傳感器
○ 力傳感器
○ 自定義激光雷達模式
● 可從NVIDIA Omniverse Launcher中下載
Isaac Sim可以將多攝像頭傳感器數(shù)據(jù)發(fā)送到Rviz（ROS可視化工具）
在Isaac Sim中控制Dofbot操作機器人
Isaac Sim實現(xiàn)了更多的機器人模擬
開發(fā)者早已明白強大的模擬環(huán)境對機器人測試和訓練的益處，但此類模擬器往往存在著限制其使用的缺點。Isaac Sim通過以下優(yōu)勢來彌補這些缺點。
逼真的模擬
為了提供逼真的機器人模擬，Isaac Sim運用了Omniverse平臺的強大技術(shù)：使用PhysX 5進行高級GPU物理模擬、借助實時光線追蹤和路徑追蹤實現(xiàn)高逼真度，以及支持物理渲染的材質(zhì)定義語言（Material Definition Language ，MDL）。
模塊化設(shè)計與豐富的應(yīng)用
Isaac Sim專為解決許多最常見的機器人用例而創(chuàng)建，包括操控、自主導(dǎo)航和用于訓練數(shù)據(jù)的合成數(shù)據(jù)生成。其模塊化設(shè)計能夠讓用戶輕松自定義和擴展工具集，以適應(yīng)多種應(yīng)用和環(huán)境。
無縫連接和互操作性
借助NVIDIA Omniverse，Isaac Sim可以使用Omniverse Nucleus和Omniverse Connectors在通用場景描述（USD）中合作構(gòu)建、分享、導(dǎo)入環(huán)境模型與機器人模型。通過ROS/ROS2接口或功能齊全的Python腳本，以及用于導(dǎo)入機器人模型和環(huán)境模型的插件，可以輕松地讓機器人的大腦與虛擬世界相連。
Isaac Sim的合成數(shù)據(jù)生成助力實現(xiàn)機器學習
合成數(shù)據(jù)生成是一個重要的工具，它正在被越來越多地用于訓練當今機器人的感知模型。獲取真實世界的、正確標記的數(shù)據(jù)是一項耗時且成本高昂的工作。 但就機器人技術(shù)而言，在現(xiàn)實世界中收集某些所需的訓練數(shù)據(jù)可能太困難或太危險。 對于必須靠近人類工作的機器人來說尤其如此。
Isaac Sim 內(nèi)置了對訓練感知模型很重要的各種傳感器類型的支持。這些傳感器包括 RGB、深度、邊界框和分割。
玻璃物體的真值合成數(shù)據(jù)
在公測版中，我們能夠輸出KITTI格式的合成數(shù)據(jù)。這些數(shù)據(jù)可以直接用于NVIDIA遷移學習工具包，以使用特定用例數(shù)據(jù)提高模型性能。
域隨機化
域隨機化能夠?qū)Χx模擬場景的參數(shù)進行更改，如場景中的照明、顏色和材質(zhì)紋理等。域隨機化的主要目標之一，便是通過將神經(jīng)網(wǎng)絡(luò)暴露在所模擬的各種域參數(shù)中，來加強機器學習（machine learning ，ML）模型的訓練。這有助于模型在真實世界場景中實現(xiàn)有效的泛化。實際上，這項技術(shù)能夠教會模型忽略不重要的內(nèi)容。
工廠場景的域隨機化
Isaac Sim能夠?qū)Χx一個特定場景的多個不同屬性進行隨機化。借助這些功能，機器學習工程師可以確保合成數(shù)據(jù)集包含足夠的多樣性來驅(qū)動穩(wěn)健的模型性能。
可隨機化的參數(shù)
顏色 | 動作 |
規(guī)模 | 亮度 |
紋理 | 材質(zhì) |
網(wǎng)格 | 可視性 |
旋轉(zhuǎn) |
在Isaac Sim公測版中，我們通過允許用戶定義隨機化區(qū)域來增強域隨機化功能。開發(fā)人員現(xiàn)在可以在場景中要隨機化的區(qū)域周圍繪制一個框，場景的其余部分將保持靜態(tài)。
評論