Agent Skills
› isaac-sim/IsaacSim
isaac-sim/IsaacSim
GitHub通过TCP连接远程执行Isaac Sim的Python代码,支持场景创建、物理模拟、截图及UI控制。提供启动配置、端口验证及扩展启用指南,适用于仿真环境自动化与交互操作。
Install All Skills
npx skills add isaac-sim/IsaacSim --all -g -y
Skills in Collection (28)
通过TCP连接远程执行Isaac Sim的Python代码,支持场景创建、物理模拟、截图及UI控制。提供启动配置、端口验证及扩展启用指南,适用于仿真环境自动化与交互操作。
需要远程连接并控制Isaac Sim仿真环境
在Isaac Sim中执行Python脚本或修改USD场景
进行Isaac Sim的自动化测试或截图采集
npx skills add isaac-sim/IsaacSim --skill isaac-sim-remote -g -y
指导用户配置环境并运行Isaac Sim基准测试,结合Tracy工具捕获性能数据、导出CSV并与参考值对比,以优化仿真工作负载的性能。
分析Isaac Sim性能瓶颈
运行基准测试脚本
使用Tracy进行性能剖析
优化仿真帧率或GPU性能
npx skills add isaac-sim/IsaacSim --skill profile-isaac-sim -g -y
用于生成像素差异GIF动画,对比基准验证截图与金标准图像,辅助调试视觉容错失败及渲染不一致问题。
可视化验证失败
对比截图与金标准图像
生成差异GIF
调试图像容错问题
npx skills add isaac-sim/IsaacSim --skill validation-diff-gifs -g -y
通过TCP连接远程执行Isaac Sim Python代码,支持场景创建、仿真控制、截图及UI交互。
需要远程操控Isaac Sim仿真环境
自动化执行Python脚本与仿真交互
npx skills add isaac-sim/IsaacSim --skill isaac-sim-remote -g -y
针对Isaac Sim 6处理大型USD场景时的卡顿、冻结及性能下降问题提供诊断与修复指南。涵盖启动、加载、渲染、物理模拟等阶段的故障排查及优化方案。
Isaac Sim启动或运行中卡死/无响应
加载大型USD场景时进度停滞
MDL材质编译或渲染线程阻塞
内存溢出(OOM)导致崩溃
npx skills add isaac-sim/IsaacSim --skill isaac-sim-troubleshooting -g -y
Isaac Sim仿真交付前验证工具,检查脚本、USD场景及渲染输出。拦截黑屏、过时API、硬编码路径、光照缺失及配置错误等质量问题,确保最终交付物符合规范。
验证Isaac Sim仿真脚本
检查渲染帧或训练产物
交付前USD场景质量审查
npx skills add isaac-sim/IsaacSim --skill isaac-sim-validator -g -y
从USD场景生成ROS兼容的占用栅格地图,支持PhysX碰撞几何与直接投影两种路径,用于机器人导航、感知训练及AMR路径规划验证。
需要为机器人导航或路径规划生成2D占用地图
进行感知训练数据生成
在仿真中验证AMR车队路径规划
npx skills add isaac-sim/IsaacSim --skill occupancy-map -g -y
用于分析和优化 Isaac Sim 性能,通过运行基准测试、使用 Tracy 捕获配置文件并导出 CSV 数据,辅助用户进行性能测量与对比。
用户要求分析或优化 Isaac Sim 性能
用户需要运行基准测试或测量帧率
npx skills add isaac-sim/IsaacSim --skill profile-isaac-sim -g -y
在请求循环末尾自动提取经验,将调试、修正或新发现转化为可复用的技能文档,防止知识流失。
用户纠正错误
解决需多次迭代的问题
发现未记录的工作区
子代理遭遇未知失败
定期心跳回顾
npx skills add isaac-sim/IsaacSim --skill skill-distillation -g -y
提供OpenUSD场景中3D空间推理能力,涵盖坐标转换、单位换算、变换矩阵顺序、碰撞检测、布局算法及相机朝向计算,确保物体正确放置与场景构建。
在USD场景中放置或组合3D资产
处理不同资产的米制单位转换
计算物体变换矩阵或相机朝向
npx skills add isaac-sim/IsaacSim --skill spatial-reasoning -g -y
用于USD资产发现、测量、放置和验证的流水线,支持占位符替换、偏移校正及无头渲染兼容性校验。
需要批量整理或测量USD资产属性
将场景中的占位几何体替换为真实资产
构建模块化库的场景布置
验证资产在无头渲染环境下的兼容性
npx skills add isaac-sim/IsaacSim --skill usd-pipeline -g -y
生成像素差异GIF动画,对比基准验证捕获图像与黄金参考图,用于可视化验证失败、比较图像差异及调试图像容差问题。
用户请求可视化验证失败
比较捕获图像与黄金图像
生成差异GIF
调试图像容差问题
npx skills add isaac-sim/IsaacSim --skill validation-diff-gifs -g -y
构建基于Isaac Sim的无头合成数据生成管道,利用Replicator采集RGB、深度、分割等标注数据,支持多种数据集格式输出。
需要生成合成训练数据集
构建SDG(合成数据生成)流水线
使用Isaac Sim进行传感器数据模拟
npx skills add isaac-sim/IsaacSim --skill data-collection-sim -g -y
Isaac Sim相机技能,涵盖RTX相机创建配置、标定转换、镜头畸变应用及Replicator合成数据生成。
相机参数配置
镜头畸变校正
合成数据生成
npx skills add isaac-sim/IsaacSim --skill isaac-camera -g -y
提供 Isaac Sim 无头模式运行指南,涵盖启动模式、CLI 参数及 Python 批处理模拟流程,用于服务器端自动化数据生成与仿真。
headless Isaac Sim
--no-window
batch simulation
SimulationApp
physics-only
npx skills add isaac-sim/IsaacSim --skill isaac-sim-headless-deployment -g -y
Isaac Sim 顶层调度器,将自然语言请求转化为可运行仿真。负责环境变量管理、任务分解、路由至专业技能(如 USD 处理、渲染、验证),并在交付前验证输出。
创建包含机器人或环境的仿真场景
控制 Isaac Sim 中的机器人
生成渲染图或相机截图
收集物理 AI 训练数据
在 GPU 上运行无头仿真
编排仓库中的多机器人编队
npx skills add isaac-sim/IsaacSim --skill isaac-sim-orchestrator -g -y
Isaac Sim无头渲染技能,涵盖帧捕获、灯光配置、ACES色调映射及合成数据生成。提供RT2与PathTracing对比、摄像机数学计算及画面验证方法,适用于机器人和工厂场景的逼真渲染管线构建。
Isaac Sim rendering
headless render
synthetic data generation
warehouse lighting
RT2 or PathTracing setup
npx skills add isaac-sim/IsaacSim --skill isaac-sim-rendering -g -y
配置 Isaac Sim 与 ROS 2 的桥接,支持传感器数据发布、机器人控制订阅及多机器人命名空间通信。
连接 Isaac Sim 到 ROS 2
发布仿真传感器数据到 ROS 2
从 Nav2 订阅机器人控制指令
设置多机器人 ROS 2 通信
npx skills add isaac-sim/IsaacSim --skill isaac-sim-ros2-bridge -g -y
提供Isaac Sim中传感器仿真指南,涵盖RTX相机、激光雷达及物理传感器配置,支持合成数据生成与域随机化。
配置RGB/深度/分割等视觉传感器
集成Ouster/Hesai等厂商激光雷达模型
设置IMU或接触传感器
使用Replicator生成合成训练数据
npx skills add isaac-sim/IsaacSim --skill isaac-sim-sensor -g -y
提供Isaac Sim中机器人操作与逆运动学控制的开发模式,涵盖差分IK、原生Pose管理、抓取设置及cuMotion/PINK等避障算法选型,辅助实现机械臂的拾取放置与轨迹规划。
需要控制机械臂进行拾取、放置或跟随目标
实现基于逆运动学的末端执行器控制
配置机器人抓取逻辑(如FixedJoint)
选择适合场景的IK求解器(如cuMotion避障)
npx skills add isaac-sim/IsaacSim --skill manipulation-ik -g -y
提供构建与编排 Agent 技能的元技能框架,涵盖技能路由、分块处理及质量门禁等组合模式,以及从零开发新技能的 MSF 五阶段流程。用于创建、优化技能或设计多技能工作流。
需要从零开始构建新的 Agent 技能
设计或优化多技能协作与工作流架构
对现有技能进行迭代改进或分解领域
npx skills add isaac-sim/IsaacSim --skill meta-skills -g -y
基于Isaac Sim生成移动机器人合成训练数据。通过两阶段管道:无头录制轨迹,回放渲染RGB/深度等传感器数据。适用于随机路径跟随、自定义机器人子类及SDG数据采集。
需要为移动机器人生成带传感器标注的合成数据集
在无头模式下录制机器人运动轨迹并回放渲染
npx skills add isaac-sim/IsaacSim --skill mobility-gen -g -y
Isaac Sim物理仿真配置指南,涵盖场景设置、求解器选择、刚体与关节配置、传感器及调试技巧。
配置Isaac Sim物理场景
选择Newton或PhysX求解器
设置刚体和关节参数
调试物体穿模问题
npx skills add isaac-sim/IsaacSim --skill physics-simulation -g -y
提供URDF/MJCF至USD的转换技能,涵盖Isaac Sim/Lab导入、ROS2节点集成及XACRO处理,用于机器人资产在仿真环境中的部署与调试。
将URDF或MJCF文件转换为USD格式
配置Isaac Sim机器人资产导入参数
从ROS2节点动态获取并导入robot_description
处理XACRO文件的离线展开或在线解析
调试机器人质量、关节行为或自碰撞问题
将USD导出回URDF进行往返测试
npx skills add isaac-sim/IsaacSim --skill urdf-mjcf-to-usd-conversion -g -y
指导在USD中构建和验证多臂机器人,涵盖物理关节组装、Isaac Robot Schema语义叠加、现有模型改造及部署前扁平化处理。用于解决浮动关节或连接错误等调试问题。
创建多肢体机器人
为现有USD添加Robot Schema
调试浮动关节或几何体断开
为Isaac Lab部署进行扁平化
npx skills add isaac-sim/IsaacSim --skill usd-articulation -g -y
针对Isaac Sim的USD资产架构指南,规范二进制几何与USDA分层结构,支持RL优化、物理调试及变体创建。
构建机器人或环境资产
使用Asset Transformer重组资产
优化RL训练启动时间与显存
调试USDA中的物理编辑问题
处理USD组合弧与分层
npx skills add isaac-sim/IsaacSim --skill usd-composition-architecture -g -y


