Agent Skills
› isaac-sim/IsaacSim
isaac-sim/IsaacSim
GitHubIsaac Sim合成数据生成(AEDG)的入口技能,负责路由请求并传递启动器、扩展栈及环境变量等上下文。用于规划包含机器人行为、物理事件、相机覆盖及标注的合成数据生成任务。
安装全部 Skills
npx skills add isaac-sim/IsaacSim --all -g -y
集合内 Skills (89)
按质量分展示前 50 个(共 89 个),完整列表请用安装命令预览或逐个打开详情。
Isaac Sim合成数据生成(AEDG)的入口技能,负责路由请求并传递启动器、扩展栈及环境变量等上下文。用于规划包含机器人行为、物理事件、相机覆盖及标注的合成数据生成任务。
需要执行Isaac Sim合成数据生成任务
规划包含动作、事件或摄像头的SDG流程
npx skills add isaac-sim/IsaacSim --skill action-and-event-data-generation -g -y
用于为Actor SDG生成确定性的USD灯光覆盖子层,支持随机化灯光属性(强度、色温等),配合Isaac Sim Replicator Agent使用,以创建不同光照条件的资产变体。
需要生成多种光照条件的3D场景变体
为数据集准备不同的灯光参数组合
调整现有USD阶段中的灯光属性而不修改基础文件
npx skills add isaac-sim/IsaacSim --skill actor-sdg-generate-lighting-variations -g -y
用于生成和验证 Isaac Sim Replicator Agent (IRA) 的 YAML 配置变体,支持基于扫描配置的批量运行 Actor SDG。提供配置差异生成、模式校验及顺序执行功能。
需要生成多个不同参数的 IRA 配置文件变体
准备并批量运行 Actor SDG 仿真任务
对现有 YAML 配置进行参数扫描和自动化测试
npx skills add isaac-sim/IsaacSim --skill actor-sdg-sweep-config -g -y
基于LLM将自然语言场景转换为行为树文件的技能,用于Isaac Sim自动化数据生成。
将自然语言描述转化为机器人或角色的行为树逻辑
生成Actor上下文或元数据Schema以辅助行为树构建
npx skills add isaac-sim/IsaacSim --skill behavior-tree-generation -g -y
基于Isaac Sim的CameraCalibrationManager,对已放置相机进行标定,生成包含内参、外参及FOV多边形的calibration.json文件。需确保相机在视锥内且Kit会话运行中,适用于仿真环境中的相机校准任务。
需要为仿真场景中的相机生成标定数据
已完成相机放置并准备导出内参和外参
npx skills add isaac-sim/IsaacSim --skill calibrate-metropolis-camera -g -y
用于在静态场景中进行合成数据生成(SDG),通过Isaac Sim Replicator批量运行,输出带标注的RGB、深度等训练数据。适用于收集标注好的静态场景数据集,不适用于移动机器人场景。
需要生成静态场景的合成训练数据
使用Replicator进行批量渲染和标注采集
npx skills add isaac-sim/IsaacSim --skill data-collection-sim -g -y
用于生成和验证 Isaac Sim IRI 事件配置 YAML 文件,支持 topple、fire 和 spill 等事件类型。适用于编写或调试场景事件配置,确保结构正确并符合扩展规范。
编写 Isaac Sim 场景的事件配置文件
调试事件配置 YAML 的格式或内容错误
npx skills add isaac-sim/IsaacSim --skill generate-incident-config -g -y
用于在 Isaac Sim 6 中创建和配置 USD 相机、渲染产品、内参及镜头畸变,支持合成数据生成与传感器管线设置。
配置 Isaac Sim 相机参数
设置渲染产物与镜头畸变
构建多相机 rigs 或合成数据管道
npx skills add isaac-sim/IsaacSim --skill isaac-camera -g -y
用于配置和排查 Isaac Sim 资产访问问题,包括区域路由、本地资产包及环境变量优先级。适用于资产缺失或不可达场景。
Isaac Sim 资产加载失败
配置资产区域或本地路径
排查资产根目录优先级冲突
npx skills add isaac-sim/IsaacSim --skill isaac-sim-assets -g -y
指导在无头模式下运行Isaac Sim,支持批量仿真、自动化数据生成及无GUI服务器任务。涵盖CLI启动参数、脚本执行及故障排查,适用于物理模拟与渲染场景。
需要无头运行Isaac Sim
执行批量仿真或CI物理测试
配置无窗口渲染环境
npx skills add isaac-sim/IsaacSim --skill isaac-sim-headless-deployment -g -y
用于在公共构建中安装 Isaac Sim,支持独立二进制、Docker 镜像或 Python 包方式。严格限制仅执行安装与预检流程,禁止启动应用或导入库,需满足存储、GPU 及 EULA 等前置条件并获取用户批准。
需要安装 Isaac Sim 软件
选择 Isaac Sim 安装方式(独立/Docker/Python)
执行 Isaac Sim 系统兼容性检查
npx skills add isaac-sim/IsaacSim --skill isaac-sim-installation -g -y
用于审计和验证 Isaac Sim 项目从 5.1 迁移至 6.0 版本。通过运行静态审计工具盘点受影响范围,分类处理发现的问题,并执行运行时冒烟测试确保工作流正常,旨在保障跨版本升级的兼容性与正确性。
Isaac Sim 版本升级
跨发行版迁移
兼容性审计
npx skills add isaac-sim/IsaacSim --skill isaac-sim-migration -g -y
Isaac Sim编排器,用于将目标转化为验证后的库、Kit集成或可运行仿真。通过映射能力并按序执行专家技能(如运动生成),完成机器人演示的构建、交付及视频生成。
需要整合多个Isaac Sim演示并验证交付
请求构建障碍感知机械臂演示并生成视频
npx skills add isaac-sim/IsaacSim --skill isaac-sim-orchestrator -g -y
通过本地TCP socket控制已运行的Isaac Sim,实现阶段、物理和截图的实时迭代,无需重启应用。作为本地开发控制面板,提供安全受限的远程执行能力。
需要实时迭代3D场景或物理模拟时
对运行中的Isaac Sim进行截图或相机控制时
npx skills add isaac-sim/IsaacSim --skill isaac-sim-remote -g -y
提供Isaac Sim无头渲染能力,支持RT2/PathTracing、ACES色调映射及仓库灯光配置。用于自动化捕获高质量帧、验证渲染质量及执行量化评估,适用于仿真视觉数据生成与校准场景。
需要捕获仿真环境中的高质量渲染帧
验证渲染管线或灯光配置效果
进行基于图像的定量质量评估
npx skills add isaac-sim/IsaacSim --skill isaac-sim-rendering -g -y
用于克隆、配置和构建 Isaac Sim ROS 工作区(humble_ws/jazzy_ws),支持原生 colcon、Docker、自定义接口及 Pixi 等多种构建方式,确保依赖安装正确。
用户请求构建或配置 Isaac Sim ROS 工作区
需要设置 humble_ws 或 jazzy_ws 环境
npx skills add isaac-sim/IsaacSim --skill isaac-sim-ros-workspaces -g -y
用于在Isaac Sim中通过OmniGraph桥接ROS 2,支持Nav2集成与多机器人命名空间管理。提供脚本以发布/订阅话题、配置环境及调试常见问题。
需要仿真环境与ROS 2通信
配置多机器人命名空间
集成Nav2导航栈
npx skills add isaac-sim/IsaacSim --skill isaac-sim-ros2-bridge -g -y
用于在 Isaac Sim 中模拟 RTX 相机、LiDAR、雷达及物理传感器,支持添加、调优和验证。提供模块映射、故障排查及脚本使用指南,适用于机器人仿真与数据生成场景。
添加或配置 RTX 相机、LiDAR、IMU 等传感器
调试传感器仿真中的渲染黑屏或导入错误
查询传感器 API 的现代命名空间与迁移指南
npx skills add isaac-sim/IsaacSim --skill isaac-sim-sensor -g -y
用于诊断 Isaac Sim 启动挂起、阶段加载停滞、MDL编译冻结、物理步进阻塞及 GPU OOM 等故障。提供从快速流程图到各子系统(如 Replicator、Hydra、Nucleus)的详细排查步骤与解决方案,帮助开发者定位并解决性能下降和崩溃问题。
Isaac Sim 启动或关闭时卡死/无响应
加载大型 USD 场景时停滞
渲染帧率为零或黑屏
GPU 内存溢出 (OOM) 导致崩溃
物理模拟或传感器捕获异常
npx skills add isaac-sim/IsaacSim --skill isaac-sim-troubleshooting -g -y
Isaac Sim交付前QA门禁,通过静态检查与受限执行验证库/Kit脚本的导入、配置及渲染正确性,拦截常见缺陷。
Standalone library或Kit extension交付前验证
需要执行Python脚本进行运行时检查
npx skills add isaac-sim/IsaacSim --skill isaac-sim-validator -g -y
通过 Docker Compose 部署预构建的 Isaac Sim NGC 镜像,利用 WebRTC 将仿真环境流式传输至 Chromium 浏览器,实现无需本地安装客户端的 Web 端可视化交互。
需要浏览器访问 Isaac Sim
使用 WebRTC 流式传输仿真画面
避免安装原生桌面客户端
npx skills add isaac-sim/IsaacSim --skill isaac-sim-web-viewer -g -y
用于在开发前对Isaac Sim演示、库交付物进行范围界定和验收标准定义。当需求不明确时,通过澄清问题形成实施契约,并路由至编排器执行,确保交付物符合技术或展示要求。
用户请求规划但未提供明确交付标准
需要为Isaac Sim演示或库定义验收条件
npx skills add isaac-sim/IsaacSim --skill isaac-sim-workflow -g -y
用于Isaac Sim中机械臂的差分逆运动学、抓取框架及关节空间操控,支持目标位姿控制、抓取验证与交互工作流。
需要控制机械臂进行抓取或放置操作
设置基于IK的末端执行器控制
验证机器人抓取成功与否
npx skills add isaac-sim/IsaacSim --skill manipulation-ik -g -y
提供Agent技能的结构化创建与改进指南,基于元技能框架(MSF)涵盖发现、实践、捕获、验证和迭代阶段。用于规范技能模板编写、范围界定及库注册,确保技能复用性与可维护性。
需要设计或创建新的Agent技能
优化现有技能的架构或结构
遵循元技能框架进行技能开发
npx skills add isaac-sim/IsaacSim --skill meta-skills -g -y
用于在Isaac Sim中生成移动机器人合成数据集,通过两阶段流程记录轨迹并回放渲染传感器数据。
需要为移动机器人生成RGB/深度等传感器合成训练数据
执行机器人轨迹录制与回放渲染任务
npx skills add isaac-sim/IsaacSim --skill mobility-gen -g -y
用于构建避障机械臂和移动底盘控制器,主要支持UR10在障碍物环境下的抓取放置任务。结合cuMotion等算法实现运动生成,需配合Isaac Sim仿真环境及GPU资源使用。
需要构建避障机械臂控制逻辑
执行UR10在复杂环境中的抓取放置任务
配置移动底盘与机械臂协同运动
npx skills add isaac-sim/IsaacSim --skill motion-generation -g -y
用于在Isaac Sim中程序化将3D物体重力稳定地装入容器,并渲染合成数据。适用于仓库物流打包场景的数据生成。
需要生成仓库或物流装箱的3D合成数据
需要将多个3D物体打包到容器中并输出RGB/分割图
npx skills add isaac-sim/IsaacSim --skill object-bin-packing -g -y
从USD场景生成ROS兼容的占用栅格地图,支持Nav2、MobilityGen和A*规划器。通过PhysX碰撞体或USD投影两种路径实现,适用于AMR路径规划验证及感知训练数据生成。
需要为导航算法生成占用地图
将仿真环境转换为ROS格式用于路径规划
生成感知训练所需的二维栅格数据
npx skills add isaac-sim/IsaacSim --skill occupancy-map -g -y
用于在 Isaac Sim 中配置物理场景,包括刚体、碰撞、材质、关节驱动和传感器设置。提供独立库与 Kit 适配器的使用指南及故障排除。
配置 Isaac Sim 物理引擎
设置刚体和关节属性
调试物理模拟问题
npx skills add isaac-sim/IsaacSim --skill physics-simulation -g -y
将遗留 PhysX USD 资产转换为支持 Newton 求解器的包,通过添加 Mjc 和 Newton 架构并分层管理,实现双引擎兼容。
需要转换 PhysX USD 资产以兼容 Newton
Isaac Sim 中机器人物理引擎迁移
npx skills add isaac-sim/IsaacSim --skill physx-to-newton-conversion -g -y
用于在 Isaac Sim 中围绕单个目标物体自动放置多个无遮挡摄像机,适用于多视角产品或机器人检测。
需要为单一物体生成多个无遮挡视角的摄像机位
进行机器人或产品的多角度视觉检测模拟
npx skills add isaac-sim/IsaacSim --skill place-camera-aim-at -g -y
用于在Isaac Sim中基于贪心算法自动放置摄像头,以最大化覆盖指定楼层区域。适用于安防监控布局优化,需在启用的扩展和导航网格环境下运行,通过API实现高效覆盖率目标。
需要自动化生成多摄像头监控布局
优化设施内摄像头的数量与覆盖范围
npx skills add isaac-sim/IsaacSim --skill place-camera-max-coverage -g -y
用于分析 Isaac Sim 性能,支持基准测试、Tracy 捕获及 CSV 导出。涵盖环境配置、故障排查及脚本调用指引,适用于仿真平台性能优化与测量任务。
需要测量 Isaac Sim 或 Kit 工作负载的运行时性能
使用 Tracy 进行性能剖析或生成帧时间对比报告
排查 Nucleus 认证或 Tracy CSV 导出失败问题
npx skills add isaac-sim/IsaacSim --skill profile-isaac-sim -g -y
基于 Isaac Sim API 在仿真场景中触发倒塌、火灾和泄漏等事件,用于模拟事故并生成报告。
运行仿真事故场景
配置并执行物理事件
npx skills add isaac-sim/IsaacSim --skill run-incident-events -g -y
从交互会话中提取可复用的技能、流程或修复方案,生成更新建议。需用户确认后才写入文件,防止知识库退化。
任务迭代多次且用户确认修正
用户纠正错误操作
发现现有技能未覆盖的工作流或故障
npx skills add isaac-sim/IsaacSim --skill skill-distillation -g -y
分析技能评估报告,识别T1/T2/T3问题并应用修复。读取HTML日志和JSON状态文件,按严重程度处理Schema、安全等发现,验证本地修复效果,解决合并阻塞问题。
技能评估运行后存在可操作发现
技能阻塞合并或测试失败
npx skills add isaac-sim/IsaacSim --skill skills-eval-triage -g -y
提供USD场景中的空间数学计算、坐标变换、包围盒分析及碰撞检测布局辅助,用于正确放置和排列3D资产。
需要计算3D物体位置或旋转
进行场景资产布局与摆放
处理USD场景中的坐标系统转换
npx skills add isaac-sim/IsaacSim --skill spatial-reasoning -g -y
将URDF/MJCF机器人描述转换为USD格式,适配Isaac Sim和Isaac Lab。支持CLI导入、Lab脚本转换及ROS2集成,用于强化学习和遥操作场景的资产准备。
需要将URDF或MJCF文件转换为USD
在Isaac Sim中导入新机器人描述
npx skills add isaac-sim/IsaacSim --skill urdf-mjcf-to-usd-conversion -g -y
用于在USD中组装、验证多臂机器人关节层级,应用Isaac机器人Schema并修复物理连接。
组装多臂机器人结构
验证关节层级
应用机器人Schema
npx skills add isaac-sim/IsaacSim --skill usd-articulation -g -y
用于构建和结构化 Isaac Sim 仿真就绪的机器人或环境 USD 资产,通过分层载荷实现物理、外观及变体管理,优化 RL 训练启动与显存占用。
构建新的机器人或环境资产
重组现有资产结构
优化 RL 训练启动时间
诊断未生效的物理编辑
npx skills add isaac-sim/IsaacSim --skill usd-composition-architecture -g -y
用于USD资产发现、测量、放置及着色器兼容性验证的流水线工具,支持场景组装与无头渲染准备。
需要发现和测量USD资产属性
进行场景中的资产自动放置
验证无头渲染下的着色器兼容性
npx skills add isaac-sim/IsaacSim --skill usd-pipeline -g -y
用于生成验证捕获图像与黄金参考图之间的像素差异GIF动画,帮助快速定位基准测试中的视觉回归问题。
分析图像基准测试失败原因
排查视觉回归错误
npx skills add isaac-sim/IsaacSim --skill validation-diff-gifs -g -y
用于为视觉语言模型训练生成图像、描述对及结构化场景图。基于3D真实数据构建场景图,并调用NVIDIA NIM LLM生成简要、全局或问答式描述,支持独立运行或集成到Actor/Object SDG流程中。
需要为VLM训练准备带标注的图像和文本数据
需要从3D场景生成结构化的场景图(Scene Graph)
npx skills add isaac-sim/IsaacSim --skill vlm-scene-captioning -g -y
Isaac Sim合成数据生成入口,负责路由AEDG技能并传递上下文。支持模拟人/机器人行为、物理事件、物体放置及摄像头覆盖,提供带标注的合成数据。
需要生成包含动态行为和事件的合成训练数据
配置Isaac Sim的Actor或Incident仿真流程
npx skills add isaac-sim/IsaacSim --skill action-and-event-data-generation -g -y
为Actor SDG生成确定性USD光照覆盖子层,用于随机化灯光或准备IRA数据集。支持调整强度、色温等属性,输出可复现的光照变体文件。
需要为USD场景生成多种光照条件
使用Isaac Sim Replicator Agent进行数据增强
npx skills add isaac-sim/IsaacSim --skill actor-sdg-generate-lighting-variations -g -y
生成并验证 Isaac Sim Replicator Agent 的 YAML 配置变体,支持参数扫描与批量运行 Actor SDG 任务。
需要生成多个不同参数的仿真配置文件变体
准备批量执行 Actor SDG 训练或数据生成任务
npx skills add isaac-sim/IsaacSim --skill actor-sdg-sweep-config -g -y
基于LLM将自然语言场景转化为行为树文件,用于Isaac Sim仿真环境中的动作与事件数据生成。支持通过脚本API或Kit UI进行自动化构建,适用于机器人或代理的行为逻辑编排与测试场景。
需要将自然语言描述转换为行为树
在Isaac Sim中自动生成代理行为逻辑
使用LLM驱动的行为树规划器
npx skills add isaac-sim/IsaacSim --skill behavior-tree-generation -g -y
在Isaac Sim中,对已放置的相机进行标定,提取内参、外参和视场多边形,生成Metropolis格式的calibration.json及俯视参考图。需依赖特定扩展和运行环境。
需要为仿真场景中的相机生成标定文件
完成相机放置后执行标定流程
npx skills add isaac-sim/IsaacSim --skill calibrate-metropolis-camera -g -y


