Agent Skills
› isaac-sim/IsaacSim
isaac-sim/IsaacSim
GitHub通过TCP连接远程执行Isaac Sim的Python代码,支持场景创建、物理模拟、截图及UI自动化。
Install All Skills
npx skills add isaac-sim/IsaacSim --all -g -y
Skills in Collection (28)
通过TCP连接远程执行Isaac Sim的Python代码,支持场景创建、物理模拟、截图及UI自动化。
需要远程操控Isaac Sim仿真环境
自动化执行仿真测试或数据生成
npx skills add isaac-sim/IsaacSim --skill isaac-sim-remote -g -y
指导用户配置环境并运行基准测试脚本,结合Tracy工具捕获性能数据、导出CSV并与参考值对比,以分析和优化Isaac Sim仿真场景的性能表现。
分析Isaac Sim性能瓶颈
运行基准测试比较帧率
使用Tracy工具进行性能剖析
优化仿真工作负载
npx skills add isaac-sim/IsaacSim --skill profile-isaac-sim -g -y
通过生成像素差异GIF动画,对比基准测试捕获图像与黄金参考图,用于可视化验证失败、比较图像差异及调试图像容差问题。
用户请求可视化验证失败
需要比较捕获图像与黄金参考图
生成差异GIF动画
调试图像容差问题
npx skills add isaac-sim/IsaacSim --skill validation-diff-gifs -g -y
通过TCP socket远程连接并控制Isaac Sim,执行Python代码、操作USD场景、运行仿真及截图。
需要远程自动化控制Isaac Sim仿真环境
在脚本中批量修改USD场景或运行物理仿真
npx skills add isaac-sim/IsaacSim --skill isaac-sim-remote -g -y
针对Isaac Sim 6处理大型USD场景时的卡顿、冻结及性能问题提供诊断与修复指南,涵盖启动、加载、渲染等环节。
Isaac Sim启动或阶段加载时卡死
MDL/着色器编译耗时过长
物理模拟或Replicator渲染挂起
Nucleus远程资产获取失败
OOM崩溃或内存溢出
npx skills add isaac-sim/IsaacSim --skill isaac-sim-troubleshooting -g -y
Isaac Sim仿真交付前的最终质量校验工具,检查脚本规范、USD场景结构及渲染输出。拦截黑帧、废弃导入、硬编码路径等问题,确保物理稳定与渲染质量达标。
验证Isaac Sim生成的Python脚本或USD场景
检查渲染帧或训练产物的合规性
npx skills add isaac-sim/IsaacSim --skill isaac-sim-validator -g -y
从USD仓库场景生成ROS兼容的占用栅格地图,用于机器人导航、感知训练及路径规划。支持基于PhysX碰撞几何的推荐扩展和直接USD投影备用方案,涵盖障碍物提取、2D网格投影及Nav2/A*集成。
需要为AMR车队或机器人生成导航地图
进行感知训练数据准备
验证路径规划算法
npx skills add isaac-sim/IsaacSim --skill occupancy-map -g -y
用于分析和优化 Isaac Sim 性能。通过运行基准测试、使用 Tracy 捕获性能数据并导出 CSV,对比参考结果以识别瓶颈并指导优化迭代。
用户请求对 Isaac Sim 进行性能分析或基准测试
用户需要测量帧时间或优化 Isaac Sim 工作负载
npx skills add isaac-sim/IsaacSim --skill profile-isaac-sim -g -y
在请求循环末尾自动提取新技能、更新或流程改进并写入库,防止知识流失。
用户纠正
解决新颖问题
发现未文档化的变通方案
超过3次迭代的调试
中间创建草稿技能
心跳回顾
每次请求结束
npx skills add isaac-sim/IsaacSim --skill skill-distillation -g -y
提供OpenUSD场景中的3D空间推理能力,涵盖坐标转换、metersPerUnit处理、变换矩阵顺序、碰撞检测、路径规划及网格布局等核心数学计算与工具函数。
需要在OpenUSD场景中放置或移动3D资产
处理USD文件的单位转换和坐标系统问题
进行3D物体的碰撞检测或空间索引查询
计算相机视角或物体朝向
npx skills add isaac-sim/IsaacSim --skill spatial-reasoning -g -y
用于 Omniverse USD 资产管线,涵盖资产发现、测量、占位符替换、偏移校正及渲染验证,支持无头渲染兼容性检查与场景组装。
USD资产目录构建与测量
占位符几何体替换为真实资产
无头渲染兼容性校验
场景装配与空间布局
npx skills add isaac-sim/IsaacSim --skill usd-pipeline -g -y
生成基准验证图像与黄金参考图之间的像素差异GIF动画,用于可视化验证失败、对比捕获与黄金图像,以及调试图像容差问题。
需要可视化验证失败结果
比较捕获图像与黄金图像
生成差异GIF动画
调试图像容差问题
npx skills add isaac-sim/IsaacSim --skill validation-diff-gifs -g -y
基于Isaac Sim构建无头合成数据生成管道,通过Replicator输出RGB、深度、分割及位姿等标注数据,支持COCO/KITTI格式,用于训练数据集制作与仿真数据生成。
需要生成合成训练数据
构建SDG数据管道
创建带标注的图像和位姿数据集
npx skills add isaac-sim/IsaacSim --skill data-collection-sim -g -y
Isaac Sim相机技能,涵盖USD相机创建、RTX传感器配置、镜头畸变、真实校准转换及Replicator合成数据生成。
创建或配置USD相机基元
应用OpenCV/LUT镜头畸变模型
将真实世界校准参数转换为Omniverse单位
使用Replicator生成合成数据
npx skills add isaac-sim/IsaacSim --skill isaac-camera -g -y
提供 Isaac Sim 6.0 无头模式(headless)的部署与运行指南,涵盖启动模式、CLI 参数、配置及 Python 批处理仿真模式,用于服务器端自动化数据生成和模拟任务。
Isaac Sim headless launch
--no-window flag usage
batch simulation setup
SimulationApp bootstrap pattern
physics-only simulation
npx skills add isaac-sim/IsaacSim --skill isaac-sim-headless-deployment -g -y
Isaac Sim 任务编排器,负责将自然语言请求分解并路由至专用技能(如USD、渲染、物理),管理环境配置,执行四阶段验证与集成流程,确保仿真场景构建及数据生成的正确性。
创建包含机器人和环境的仿真场景
控制 Isaac Sim 中的机器人行为
生成渲染图或相机截图
收集 Physical AI 训练数据
在 GPU 上运行无头仿真
编排仓库中的多机器人车队
npx skills add isaac-sim/IsaacSim --skill isaac-sim-orchestrator -g -y
提供Isaac Sim无头渲染管线,涵盖RT2/路径追踪选择、灯光配置、ACES色调映射及帧质量验证,用于合成数据生成与仿真场景优化。
Isaac Sim渲染
无头渲染
RT2或PathTracing模式切换
ACES色调映射校准
仓库场景灯光调试
合成数据生成
npx skills add isaac-sim/IsaacSim --skill isaac-sim-rendering -g -y
配置 Isaac Sim 与 ROS 2 的桥接,支持传感器数据发布、机器人控制订阅及多机器人命名空间通信,涵盖 OmniGraph 节点设置与 Nav2 集成。
连接 Isaac Sim 到 ROS 2
从仿真发布传感器数据到 ROS 2
订阅来自 Nav2 或其他节点的机器人命令
在仿真中设置多机器人命名空间的 ROS 2 通信
npx skills add isaac-sim/IsaacSim --skill isaac-sim-ros2-bridge -g -y
提供Isaac Sim 6中传感器仿真指南,涵盖RTX相机、激光雷达及物理传感器配置,支持多厂商资产挂载、扫描模式定制、Replicator数据生成与域随机化。
配置RGB/深度/分割等视觉传感器
集成Ouster或Velodyne等厂商激光雷达模型
使用Replicator进行合成数据生成和域随机化
设置IMU或接触等物理传感器
npx skills add isaac-sim/IsaacSim --skill isaac-sim-sensor -g -y
用于Isaac Sim中机器人操作技能的逆向运动学控制,支持末端执行器轨迹跟踪、抓取验证及基于cuMotion/PINK的避障规划。
需要实现机械臂的逆运动学求解与控制
配置机器人的抓取或放置任务
选择IK算法栈(如Differential IK, RMPFlow, PINK)
存储和回放机器人的命名姿态
npx skills add isaac-sim/IsaacSim --skill manipulation-ik -g -y
提供构建、组合和优化 Agent Skill 的模式与框架。涵盖技能路由、分块处理、质量门禁及 MSF 五阶段开发流程,用于创建新技能、设计多技能工作流及迭代现有技能。
创建新的 Agent Skill
改进或重构现有 Skill
设计多技能协作与工作流
将领域分解为子技能
npx skills add isaac-sim/IsaacSim --skill meta-skills -g -y
基于Isaac Sim MobilityGen扩展,通过两阶段管道(无渲染轨迹录制与带传感器回放渲染)生成移动机器人合成训练数据,支持多种场景及自定义机器人子类。
需要为移动机器人生成合成训练数据
使用Isaac Sim录制和回放机器人轨迹以获取RGB/深度等传感器数据
npx skills add isaac-sim/IsaacSim --skill mobility-gen -g -y
Isaac Sim物理仿真配置指南,涵盖场景设置、求解器选择(Newton/PhysX)、刚体与关节配置、传感器及USD数据读取,用于调试物理异常和构建机械机构。
配置PhysicsScene参数
选择物理求解器后端
调试物体穿模或下落异常
设置接触材料与关节驱动
npx skills add isaac-sim/IsaacSim --skill physics-simulation -g -y
将URDF/MJCF机器人描述转换为USD格式,支持Isaac Sim和Isaac Lab。涵盖ROS2节点直接导入、离线XACRO展开、后处理管道及USD导出回URDF,解决质量/关节行为等调试问题。
需要将URDF或MJCF文件转换为USD以用于Isaac Sim或Isaac Lab
在Isaac环境中调试机器人的质量、关节行为或自碰撞问题
需要将USD文件重新导出为URDF格式
npx skills add isaac-sim/IsaacSim --skill urdf-mjcf-to-usd-conversion -g -y
用于在USD中验证和构建多臂机器人关节,涵盖程序化组装、Isaac Robot Schema应用及部署前扁平化处理。适用于创建、重构或调试机器人模型。
在USD中创建多臂机器人模型
为现有USD添加Robot Schema
调试浮动关节或连接问题
为部署到Isaac Lab进行扁平化处理
npx skills add isaac-sim/IsaacSim --skill usd-articulation -g -y
指导 Isaac Sim 中 USD 资产的结构化组成,涵盖二进制几何体与 ASCII 层的分离、Asset Transformer 使用及 RL 性能优化。
构建机器人或环境资产
使用 Asset Transformer 重构资产
优化 RL 训练启动时间与显存占用
调试 USDA 物理编辑不生效问题
npx skills add isaac-sim/IsaacSim --skill usd-composition-architecture -g -y


