Agent Skills
› isaac-sim/IsaacSim
isaac-sim/IsaacSim
GitHubIsaac Sim合成数据生成(AEDG)入口技能,负责路由请求并维护上下文。支持模拟人/机器人行为、物理事件、物体放置及摄像头覆盖,用于生成带标注的合成数据。
Install All Skills
npx skills add isaac-sim/IsaacSim --all -g -y
Skills in Collection (89)
Showing top 50 of 89 by quality score. Use the install list command or open individual skills for the rest.
Isaac Sim合成数据生成(AEDG)入口技能,负责路由请求并维护上下文。支持模拟人/机器人行为、物理事件、物体放置及摄像头覆盖,用于生成带标注的合成数据。
需要生成合成数据时
规划AEDG运行任务时
npx skills add isaac-sim/IsaacSim --skill action-and-event-data-generation -g -y
用于生成确定性USD光照覆盖子层,支持随机化灯光属性(强度、色温等),适配Isaac Sim Replicator Agent数据生成。
需要为USD场景创建光照变体
准备IRA数据集的光照资产路径
npx skills add isaac-sim/IsaacSim --skill actor-sdg-generate-lighting-variations -g -y
生成 Isaac Sim Replicator Agent YAML 配置的变体并批量运行 Actor SDG。支持参数扫描、种子随机化及输出目录隔离,提供配置验证与脚本执行辅助功能。
需要生成多个不同参数的仿真配置变体
批量执行 Actor SDG 数据生成任务
npx skills add isaac-sim/IsaacSim --skill actor-sdg-sweep-config -g -y
基于LLM将自然语言场景转化为行为树文件,用于Isaac Sim仿真。需NVIDIA API Key,通过脚本API生成行为树,支持上下文初始化。
将自然语言描述转换为行为树逻辑
生成机器人或角色的行为序列文件
npx skills add isaac-sim/IsaacSim --skill behavior-tree-generation -g -y
用于在Isaac Sim中校准已放置摄像头的技能。提取相机内参、外参及视场多边形,生成Metropolis格式的calibration.json及顶视图参考图。需确保相机已就位且处于同一会话中,适用于仿真环境下的传感器标定任务。
需要为虚拟场景中的摄像头生成标定文件
使用Isaac Sim进行机器人或自动驾驶仿真并需获取相机参数
完成摄像头放置后需要进行视觉数据准备
npx skills add isaac-sim/IsaacSim --skill calibrate-metropolis-camera -g -y
基于Isaac Sim Replicator生成静态场景的标注合成数据,支持RGB、深度等格式,用于训练数据收集。
需要生成静态场景的合成训练数据
执行无头批处理渲染以获取标注帧
npx skills add isaac-sim/IsaacSim --skill data-collection-sim -g -y
用于生成和验证 Isaac Sim IRI 事件配置 YAML,涵盖倾倒、火灾和溢出等场景。支持离线结构校验与版本适配,辅助调试配置错误,确保仿真环境中的事件定义正确加载。
编写或修改 Isaac Sim 事件配置 YAML
调试事件配置格式或结构错误
验证配置文件的兼容性与有效性
npx skills add isaac-sim/IsaacSim --skill generate-incident-config -g -y
用于在Isaac Sim中创建和配置USD相机、渲染产品及镜头畸变,支持传感器管道设置、合成数据生成及新旧API迁移。
配置Isaac Sim相机参数
设置渲染产品与AOV
应用镜头畸变模型
生成合成数据
npx skills add isaac-sim/IsaacSim --skill isaac-camera -g -y
配置和排查Isaac Sim资产访问问题,包括区域配置、本地资产根及优先级诊断。
Isaac Sim资产缺失或不可达
需要配置区域路由
排查资产加载优先级冲突
npx skills add isaac-sim/IsaacSim --skill isaac-sim-assets -g -y
指导在无头模式下运行 Isaac Sim,支持批量仿真、自动化数据生成及无界面服务器任务。涵盖启动参数、脚本调用及故障排查,适用于物理模拟和渲染场景。
需要批量运行仿真任务
进行自动化数据生成
配置无头服务器环境
npx skills add isaac-sim/IsaacSim --skill isaac-sim-headless-deployment -g -y
用于安装 Isaac Sim(独立包、Docker 或 Python),执行预检、兼容性检查及 EULA 确认,严禁启动应用。
用户请求安装 Isaac Sim
需要验证系统兼容性与环境准备
npx skills add isaac-sim/IsaacSim --skill isaac-sim-installation -g -y
用于将项目从 Isaac Sim 5.1 迁移至 6.0,通过静态审计工具识别受影响的代码和配置,并进行运行时验证以确保工作流正常。
Isaac Sim 版本升级
发布迁移审计
npx skills add isaac-sim/IsaacSim --skill isaac-sim-migration -g -y
Isaac Sim编排技能,负责将目标转化为验证过的模拟库或集成。通过映射能力并按序执行专家技能(如运动生成)来完成演示交付,支持环境配置与故障排查。
需要整合并验证多个Isaac Sim演示场景
请求构建机器人臂避障运动的视频演示
npx skills add isaac-sim/IsaacSim --skill isaac-sim-orchestrator -g -y
用于通过TCP本地连接控制已运行的Isaac Sim,实现阶段迭代、物理模拟和截图等开发调试任务。
需要实时迭代3D场景或物理状态
获取应用截图或摄像头控制
npx skills add isaac-sim/IsaacSim --skill isaac-sim-remote -g -y
用于在 Isaac Sim 中执行无头渲染,支持 RT2/PathTracing、ACES 色调映射及仓库光照配置。提供捕获流水线、相机数学计算和量化验证工具,适用于帧捕获与渲染质量验证。
需要生成高质量渲染帧
验证渲染质量或光照效果
配置 ACES 色调映射
npx skills add isaac-sim/IsaacSim --skill isaac-sim-rendering -g -y
用于克隆、配置或构建 Isaac Sim ROS 工作区(humble_ws/jazzy_ws)。支持原生 colcon、Docker、Pixi 及自定义接口等多种构建方式,包含详细的安全权限与前置条件检查。
需要克隆 Isaac Sim ROS 工作区
请求构建 humble_ws 或 jazzy_ws
指定使用 Docker 或 Pixi 方法构建 ROS 环境
npx skills add isaac-sim/IsaacSim --skill isaac-sim-ros-workspaces -g -y
提供Isaac Sim与ROS 2的集成能力,通过OmniGraph桥接发布订阅话题,支持Nav2导航及多机器人命名空间管理。用于仿真环境中的机器人集群通信、话题同步及 fleet 演示脚本执行。
需要在Isaac Sim中连接ROS 2节点
配置多机器人仿真环境的命名空间
调试ROS话题与仿真状态不同步问题
运行ROS 2集成的自动化测试脚本
npx skills add isaac-sim/IsaacSim --skill isaac-sim-ros2-bridge -g -y
用于在Isaac Sim中模拟RTX相机、激光雷达、IMU等传感器,提供添加、调优和验证传感器的指导。
需要添加或配置仿真传感器
调试传感器数据异常
迁移旧版传感器API
npx skills add isaac-sim/IsaacSim --skill isaac-sim-sensor -g -y
诊断 Isaac Sim 启动挂起、场景加载停滞、渲染冻结及 GPU OOM 等问题,提供从环境配置到性能优化的排查指南。
Isaac Sim 启动或运行卡顿
USD 场景加载失败
渲染或物理模拟异常
npx skills add isaac-sim/IsaacSim --skill isaac-sim-troubleshooting -g -y
Isaac Sim交付前QA门禁,通过静态检查与受控运行时执行验证脚本合规性,拦截黑屏、废弃导入等缺陷。
Isaac Sim库或Kit脚本交付前质量检查
需要验证Python脚本在隔离环境下的正确性
npx skills add isaac-sim/IsaacSim --skill isaac-sim-validator -g -y
通过 Docker Compose 部署 Isaac Sim WebRTC 流媒体服务,在 Chromium 浏览器中远程查看仿真环境。适用于 Ubuntu/DGX Spark 主机,需 GPU 和 NGC 访问权限,非安装或无头模式。
需要在浏览器中运行 Isaac Sim
使用 WebRTC 流式传输 Isaac Sim
npx skills add isaac-sim/IsaacSim --skill isaac-sim-web-viewer -g -y
用于在实现前明确 Isaac Sim 演示、库或 POC 的交付范围、验收标准及证据要求,并将获批请求路由至编排器。
用户请求规划但未定义交付物
需要为 Isaac Sim 演示或技术参考定义验收标准
需要将构建好的演示路由给 isaac-sim-orchestrator
npx skills add isaac-sim/IsaacSim --skill isaac-sim-workflow -g -y
用于在Isaac Sim 6中控制机械臂,提供微分逆运动学、抓取帧、关节空间操作及接触验证功能。支持通过脚本执行机器人姿态控制与抓取任务。
需要控制机械臂进行抓取或放置操作
配置逆运动学( IK )目标点
验证机器人接触或抓取成功性
npx skills add isaac-sim/IsaacSim --skill manipulation-ik -g -y
提供构建和优化 Agent Skills 的模式与元技能框架,涵盖结构规划、MSF 开发流程及文件模板规范。
请求创建新的 Agent Skill
询问如何结构化或改进 Skill
生成 Meta-Skilling Framework 计划
npx skills add isaac-sim/IsaacSim --skill meta-skills -g -y
基于Isaac Sim的机器人合成数据生成工具,通过记录轨迹并回放渲染传感器数据(RGB/深度等),用于移动机器人训练数据集构建。
需要为移动机器人生成合成训练数据
使用Isaac Sim录制和回放机器人轨迹以渲染传感器输出
npx skills add isaac-sim/IsaacSim --skill mobility-gen -g -y
构建避障机械臂和移动底盘控制器,支持UR10抓取放置及物理仿真。用于Isaac Sim环境下的运动生成与执行。
需要构建避障机械臂或移动基座控制器
在Isaac Sim中进行机器人运动生成或物理仿真
npx skills add isaac-sim/IsaacSim --skill motion-generation -g -y
基于IRO bin_pack harmonizer,将3D物体重力稳定地装入容器并渲染合成数据。用于仓库物流装箱场景的数据生成,支持离线配置与在线渲染。
需要生成仓库包裹或托盘装箱的三维合成数据
需要将多个静态物体按边界框密集堆叠到容器中
npx skills add isaac-sim/IsaacSim --skill object-bin-packing -g -y
从USD场景生成ROS兼容的占用网格地图,用于Nav2等导航规划。支持PhysX碰撞体路径和USD投影回退路径,适用于仓库AMR路径规划验证及感知训练数据生成。
需要为Nav2或MobilityGen准备占用地图
从USD场景导出2D顶视图网格用于路径规划
生成机器人导航所需的感知训练数据
npx skills add isaac-sim/IsaacSim --skill occupancy-map -g -y
用于在 Isaac Sim 中配置物理仿真场景,包括刚体、关节、材质和传感器的设置。涵盖独立库与 Kit 适配器的差异,提供脚本使用及排错指南。
配置 Isaac Sim 物理场景
设置刚体和关节驱动
解决物理仿真加载或渲染问题
npx skills add isaac-sim/IsaacSim --skill physics-simulation -g -y
将遗留 PhysX USD 资产转换为兼容 Newton 的包,添加 Mjc 及 Newton 模式并分层管理,适用于需在两种引擎下运行的机器人模型。
需要将 PhysX USD 资产转换为 Newton 兼容格式
需要为现有 PhysX 资产添加 Newton 物理支持
npx skills add isaac-sim/IsaacSim --skill physx-to-newton-conversion -g -y
在Isaac Sim中围绕单一目标自动放置多个无遮挡相机,用于机器人或产品多视角检测。支持基于包围盒的遮挡过滤和导航网格约束,提供详细的故障排除指南。
需要为单个物体生成多个无遮挡视角
机器人或产品多视角检测数据准备
解决相机放置时的遮挡问题
npx skills add isaac-sim/IsaacSim --skill place-camera-aim-at -g -y
基于贪心算法在NavMesh或指定XY范围内自动放置摄像头,以最小数量满足目标覆盖率的设施监控布局工具。
需要优化安防摄像头布局
自动化生成最大覆盖率场景
npx skills add isaac-sim/IsaacSim --skill place-camera-max-coverage -g -y
用于测量 Isaac Sim 性能,支持运行基准测试、Tracy 性能分析、CSV 导出及帧时间对比。涵盖环境配置、参数校验及故障排查,适用于 GPU/CPU 工作负载的性能评估。
需要测量 Isaac Sim 或 Kit 工作负载的运行性能
使用基准测试或 Tracy 捕获进行性能分析
对比两次运行的帧时间数据
npx skills add isaac-sim/IsaacSim --skill profile-isaac-sim -g -y
用于在Isaac Sim仿真环境中通过Python API标记场景对象并触发倒塌、火灾和泄漏等事件,生成模拟事故数据及报告。
需要运行物理模拟事故测试
生成仿真环境中的突发事件数据
npx skills add isaac-sim/IsaacSim --skill run-incident-events -g -y
从会话经验中提炼持久化技能更新,在用户确认后提议修改技能库文件。用于捕获调试、工作流或纠正措施中的新知识,防止知识衰减。
用户纠正了错误方法
发现现有技能未覆盖的变通方案
任务迭代超过3次且用户认可修正
子智能体遇到未记录故障
npx skills add isaac-sim/IsaacSim --skill skill-distillation -g -y
解析技能评估报告,针对T1/T2/T3发现的问题进行诊断并应用修复,验证本地结果。
技能评估报告中有阻塞或可操作的问题
需要分析技能评估结果并修复
npx skills add isaac-sim/IsaacSim --skill skills-eval-triage -g -y
提供USD场景中的3D空间推理能力,包括坐标变换、边界框分析、碰撞检测及布局规划。用于在Isaac Sim中正确放置、缩放和排列场景资产,解决单位转换与矩阵顺序等关键问题。
需要在USD场景中放置或排列3D资产
计算物体的边界框或进行碰撞检测
处理不同资产的米制单位转换
执行基于坐标系的旋转和平移操作
npx skills add isaac-sim/IsaacSim --skill spatial-reasoning -g -y
将 URDF/MJCF 机器人描述转换为 USD 格式,适配 Isaac Sim/Lab。支持 CLI、Lab 脚本及 ROS2 导入,用于强化学习与遥操作资产构建。
需要导入新的机器人模型到 Isaac Sim
执行 URDF 或 MJCF 到 USD 的批量转换
npx skills add isaac-sim/IsaacSim --skill urdf-mjcf-to-usd-conversion -g -y
用于在USD中组装和验证多臂机器人关节层级,应用Isaac Robot Schema并执行结构校验。
组装多臂机器人关节层级
修复机器人关节树结构
验证USD Articulation结构
npx skills add isaac-sim/IsaacSim --skill usd-articulation -g -y
指导在Isaac Sim中构建仿真就绪的USD资产,通过分层Payload架构优化RL训练性能与VRAM。用于机器人/环境资产创建、结构重组及物理参数调试。
构建新的机器人或环境资产
使用Asset Transformer重组现有资产
诊断USDA中未生效的物理编辑
调试关节限制、质量或求解器参数
npx skills add isaac-sim/IsaacSim --skill usd-composition-architecture -g -y
用于USD资产发现、测量、放置及着色器兼容性验证的流水线,支持场景组装和无头渲染准备。
USD资产目录整理与测量
占位符几何体替换为真实资产
无头渲染前着色器兼容性检查
npx skills add isaac-sim/IsaacSim --skill usd-pipeline -g -y
生成验证捕获与基准图像间的像素差异GIF动画,用于快速定位视觉回归故障。提供脚本对比不同布局的图像,辅助排查容差设置及驱动差异问题。
需要分析视觉回归测试结果
调试基准测试中的图像失败
检查像素级差异以调整容差
npx skills add isaac-sim/IsaacSim --skill validation-diff-gifs -g -y
用于为视觉语言模型训练生成图像、字幕及结构化场景图。通过构建3D场景图并调用NVIDIA NIM LLM,实现场景标注与数据生成,支持离线配置与API集成。
需要为VLM训练生成带标注的图像和字幕数据
需要从3D场景提取结构化场景图(Scene Graph)
npx skills add isaac-sim/IsaacSim --skill vlm-scene-captioning -g -y
Isaac Sim合成数据生成(AEDG)的入口Skill,负责路由请求并提供共享上下文。支持模拟人形、机器人行为、物理事件及相机覆盖,用于规划SDG运行流程。
需要生成包含动作和事件的合成数据集
规划Isaac Sim合成数据生成任务
npx skills add isaac-sim/IsaacSim --skill action-and-event-data-generation -g -y
为Actor SDG生成确定性的USD灯光覆盖子层,用于随机化光照或创建变体。通过修改现有灯光属性(强度、色温等)实现,不改变基础场景,输出结果供Isaac Sim Replicator Agent使用以准备资产路径。
需要生成光照变体
随机化场景灯光
为IRA准备prop_asset_paths
npx skills add isaac-sim/IsaacSim --skill actor-sdg-generate-lighting-variations -g -y
生成 Isaac Sim Replicator Agent YAML 配置的多种变体,支持参数扫描与批量运行 Actor SDG。用于自动化配置管理和仿真数据生成任务。
需要批量生成不同参数的仿真配置文件
执行 Actor SDG 数据集生成的批处理任务
npx skills add isaac-sim/IsaacSim --skill actor-sdg-sweep-config -g -y
基于LLM将自然语言场景转换为行为树文件的技能,用于Isaac Sim仿真环境中的动作与事件数据生成。
根据自然语言描述生成行为树
创建行为树上下文或模式定义
npx skills add isaac-sim/IsaacSim --skill behavior-tree-generation -g -y
用于在 Isaac Sim 中校准已放置相机,提取内参、外参及视场多边形并生成 calibration.json。需先放置相机并运行 Python 服务器,依赖实时渲染会话。
需要获取虚拟相机的标定参数
生成 Metropolis 格式的校准文件
npx skills add isaac-sim/IsaacSim --skill calibrate-metropolis-camera -g -y


