Agent Skills
› isaac-sim/IsaacSim
isaac-sim/IsaacSim
GitHub通过TCP连接远程执行Isaac Sim的Python代码,支持启动仿真、创建USD场景、控制相机、运行物理模拟及截图等操作。
Install All Skills
npx skills add isaac-sim/IsaacSim --all -g -y
Skills in Collection (28)
通过TCP连接远程执行Isaac Sim的Python代码,支持启动仿真、创建USD场景、控制相机、运行物理模拟及截图等操作。
需要远程自动化控制Isaac Sim仿真环境
批量执行3D场景构建或渲染任务
npx skills add isaac-sim/IsaacSim --skill isaac-sim-remote -g -y
用于分析和优化Isaac Sim性能。通过运行基准测试、捕获Tracy配置文件并导出CSV,对比参考数据以优化工作负载。提供参数校验、环境配置及多种基准脚本指引。
分析 Isaac Sim 性能
运行基准测试
捕获 Tracy 性能分析文件
优化 Isaac Sim 工作负载
npx skills add isaac-sim/IsaacSim --skill profile-isaac-sim -g -y
生成基准验证捕获图像与黄金参考图像的像素差异GIF动画,用于可视化验证失败、对比图像差异及调试图像容差问题。
用户请求可视化验证失败
比较捕获图像与黄金图像
生成差异GIF动画
调试图像容差问题
npx skills add isaac-sim/IsaacSim --skill validation-diff-gifs -g -y
通过TCP远程连接并控制Isaac Sim,支持启动、执行Python代码、操作USD场景、仿真控制及截图等自动化任务。
需要远程自动化控制Isaac Sim仿真环境
批量执行仿真测试或生成渲染截图
npx skills add isaac-sim/IsaacSim --skill isaac-sim-remote -g -y
针对Isaac Sim 6处理大型USD场景时出现的挂起、冻结及性能下降问题提供诊断与修复方案,涵盖启动、加载、着色器编译、物理模拟、渲染及内存等场景。
Isaac Sim在打开大型场景时卡死或无响应
仿真环境启动阶段发生挂起
进行大规模场景的性能调优
npx skills add isaac-sim/IsaacSim --skill isaac-sim-troubleshooting -g -y
Isaac Sim仿真交付前验证工具,检查脚本、USD场景及渲染输出。拦截黑屏、废弃导入、硬编码路径/IP、光照缺失及配置错误等缺陷,确保交付质量。
子代理生成仿真脚本或USD场景准备交付时
渲染帧或训练产物需进行质量校验时
npx skills add isaac-sim/IsaacSim --skill isaac-sim-validator -g -y
从USD场景生成ROS兼容的占用栅格地图,支持PhysX碰撞几何与直接投影两种路径。用于机器人导航、路径规划验证及感知训练数据生成,涵盖障碍提取、网格投影及Nav2集成。
需要为AMR或机器人生成导航用的占用地图
进行感知训练数据的地图构建
验证多机编队的路径规划可行性
计算碰撞避让缓冲区
npx skills add isaac-sim/IsaacSim --skill occupancy-map -g -y
提供 Isaac Sim 性能分析与优化工作流,包括基准测试运行、Tracy 性能分析捕获及 CSV 导出。指导用户配置环境、选择基准脚本并验证参数,以测量帧时间并对比参考数据。
分析 Isaac Sim 性能
运行基准测试
捕获 Tracy 性能分析数据
优化仿真负载
npx skills add isaac-sim/IsaacSim --skill profile-isaac-sim -g -y
自动从交互中提炼新知识,更新技能库。触发于用户纠错、调试迭代或发现新 workaround。包含提取、分类、编写和验证流程,将经验转化为可复用的程序或规则,防止知识流失。
用户纠正错误
复杂问题调试超过3次
发现未文档化的变通方案
子代理遇到未知失败
定期心跳回顾
npx skills add isaac-sim/IsaacSim --skill skill-distillation -g -y
提供OpenUSD场景中的3D空间推理能力,涵盖坐标转换、metersPerUnit处理、变换矩阵顺序、网格布局及碰撞检测等核心数学逻辑与最佳实践。
需要正确放置3D资产到USD场景
处理不同资产的米制单位转换
计算物体旋转、平移和缩放矩阵
npx skills add isaac-sim/IsaacSim --skill spatial-reasoning -g -y
用于Omniverse USD资产流水线,涵盖资产发现、测量、占位符替换、偏移校正及渲染验证。
USD资产目录构建与测量
占位符几何体替换为真实资产
无头渲染兼容性校验
npx skills add isaac-sim/IsaacSim --skill usd-pipeline -g -y
通过生成像素差异GIF动画,对比基准测试捕获图像与黄金参考图像,用于可视化验证失败并调试图像容差问题。
需要可视化验证失败场景
比较捕获图像与黄金图像的差异
生成差异GIF以调试图像容差问题
npx skills add isaac-sim/IsaacSim --skill validation-diff-gifs -g -y
基于Isaac Sim构建无头合成数据生成管道,通过Replicator采集带标注的RGB、深度、分割及位姿数据,支持COCO/KITTI等格式,用于训练数据集构建。
生成合成数据
创建训练数据集
构建SDG管道
npx skills add isaac-sim/IsaacSim --skill data-collection-sim -g -y
Isaac Sim相机技能,涵盖RTX相机创建、配置、标定、镜头畸变处理及合成数据生成。指导使用RtxCamera和CameraSensor进行RGB/深度采集、 annotator挂载及真实世界参数转换。
创建或配置USD相机图元
挂载RGB或深度annotator
应用镜头畸变模型
转换相机内参至Omniverse单位
使用Replicator生成合成数据
npx skills add isaac-sim/IsaacSim --skill isaac-camera -g -y
提供Isaac Sim在无头模式下的启动配置、CLI参数及Python脚本集成方法,支持批量仿真与数据生成。
headless Isaac Sim
--no-window
batch simulation
SimulationApp
physics-only
standalone Python script
npx skills add isaac-sim/IsaacSim --skill isaac-sim-headless-deployment -g -y
Isaac Sim 仿真编排器,负责解析自然语言请求,分解任务并路由至专用技能(如USD、渲染、物理),管理环境配置与子代理协调,确保仿真场景构建、机器人控制及数据生成的正确交付。
创建包含机器人和环境的仿真场景
在 Isaac Sim 中控制机器人
生成渲染图或相机截图
收集 Physical AI 训练数据
运行 GPU 无头仿真
编排仓库中的多机器人车队
npx skills add isaac-sim/IsaacSim --skill isaac-sim-orchestrator -g -y
提供Isaac Sim无头渲染、灯光配置、ACES校准及合成数据生成的完整流水线指南,涵盖RT2与路径追踪选择、相机数学及帧质量验证。
Isaac Sim无头渲染
生成合成数据
构建渲染管线
调整灯光和色调映射
npx skills add isaac-sim/IsaacSim --skill isaac-sim-rendering -g -y
配置 Isaac Sim 与 ROS 2 的桥接,支持传感器数据发布、机器人命令订阅及多机器人命名空间通信。
连接 Isaac Sim 到 ROS 2
从仿真发布传感器数据到 ROS 2
设置多机器人命名空间的 ROS 2 通信
npx skills add isaac-sim/IsaacSim --skill isaac-sim-ros2-bridge -g -y
用于在Isaac Sim中配置和模拟各类传感器(如RTX相机、激光雷达、IMU等),支持多厂商资产挂载、扫描模式编写、合成数据生成及域随机化,适用于构建多AOV感知流水线。
设置RGB/深度/分割/激光雷达/声呐/IMU传感器
将供应商激光雷达USD附加到机器人
编写自定义扫描模式
使用域随机化生成合成训练数据
构建多AOV感知流水线
npx skills add isaac-sim/IsaacSim --skill isaac-sim-sensor -g -y
Isaac Sim机器人操作技能,提供IK控制、抓取验证及cuMotion/PINK等运动规划方案。用于机械臂拾放、轨迹跟踪及姿态管理。
实现机械臂逆运动学控制
配置机器人抓取与放置流程
选择并集成cuMotion或PINK运动规划器
存储和回放机器人命名姿态
npx skills add isaac-sim/IsaacSim --skill manipulation-ik -g -y
提供构建、组合和优化 Agent Skills 的模式与框架,涵盖技能路由、分块处理、质量门禁及从零开发新技能的 MSF 流程,用于设计多技能工作流和技能层级。
创建新的 Agent Skill
改进现有 Skill
设计多技能协作工作流
规划技能分解与层级结构
npx skills add isaac-sim/IsaacSim --skill meta-skills -g -y
用于在Isaac Sim中生成移动机器人合成传感器数据集,通过两阶段流程(无渲染轨迹录制与带传感器回放渲染)支持RGB/深度等数据生成及自定义机器人子类。
生成移动机器人训练数据
录制仿真轨迹并回放渲染传感器数据
实现自定义MobilityGenRobot
npx skills add isaac-sim/IsaacSim --skill mobility-gen -g -y
Isaac Sim物理仿真配置指南,涵盖场景设置、求解器选择(Newton/PhysX)、刚体与关节配置、传感器及USD数据读取。用于解决物体穿模、构建机械机构等物理仿真任务。
配置物理场景参数
选择物理后端或求解器
调试物体穿模问题
设置刚体碰撞材质
构建机械联动机构
npx skills add isaac-sim/IsaacSim --skill physics-simulation -g -y
将URDF/MJCF机器人描述转换为USD格式,支持Isaac Sim和Isaac Lab。涵盖通过ROS2节点或离线XACRO导入、配置应用、后处理管道及反向导出功能,用于解决质量/关节行为等导入问题。
需要将URDF或MJCF文件转换为USD格式以在Isaac Sim或Isaac Lab中使用
调试机器人模型导入后的质量、关节行为或自碰撞问题
需要将USD文件逆向导出为URDF格式
npx skills add isaac-sim/IsaacSim --skill urdf-mjcf-to-usd-conversion -g -y
指导在USD中构建和验证多臂机器人,涵盖物理关节组装、Isaac Robot Schema语义层应用及部署前的扁平化处理。
创建多肢体机器人USD模型
为现有USD添加Isaac Robot Schema
调试浮动手臂或连接错误
部署前扁平化Articulation
npx skills add isaac-sim/IsaacSim --skill usd-articulation -g -y
Isaac Sim USD资产架构指南,规范二进制几何与USDA层分离、组合弧使用及RL优化策略。
构建机器人或环境资产
重构现有USD资产结构
调试物理参数未生效问题
优化RL训练启动时间与显存
npx skills add isaac-sim/IsaacSim --skill usd-composition-architecture -g -y


