Agent Skills
› EvolvingLMMs-Lab/LLaVA-OneVision-2
EvolvingLMMs-Lab/LLaVA-OneVision-2
GitHub指导编写符合 Conventional Commits 规范的 Git 提交信息,确保格式一致并支持自动生成变更日志。
Install All Skills
npx skills add EvolvingLMMs-Lab/LLaVA-OneVision-2 --all -g -y
Skills in Collection (8)
指导编写符合 Conventional Commits 规范的 Git 提交信息,确保格式一致并支持自动生成变更日志。
用户需要生成或修改 Git 提交信息
用户询问代码变更的提交描述规范
npx skills add EvolvingLMMs-Lab/LLaVA-OneVision-2 --skill commit-message -g -y
指导理解 LLaVA-OneVision2 中 cu_lengths 和 patch_positions 对 ViT 及 LLM 阶段注意力机制的控制逻辑,用于调试 packed 序列行为及跨样本隔离问题。
调试 packed vs non-packed attention 行为
分析 ViT 与 LLM 层 attention 控制差异
排查跨样本隔离机制问题
npx skills add EvolvingLMMs-Lab/LLaVA-OneVision-2 --skill cu-lengths-attention-flow -g -y
用于在多台节点并行将大规模SFT JSONL数据打包为Energon WebDataset分片。提供离线打包脚本使用指南、前置条件检查及流水线架构说明,支持固定序列长度和去填充处理。
需要将大规模SFT JSONL转换为WebDataset格式
需要在多节点并行执行离线数据打包任务
配置Energon Metadataset组装流程
npx skills add EvolvingLMMs-Lab/LLaVA-OneVision-2 --skill distributed-offline-packing -g -y
用于分析、调试和优化多GPU训练中LengthPoolSortDataset的跨rank长度同步机制,解决因样本长度差异导致的训练瓶颈。
分析多卡训练性能瓶颈
调优length_sort_pool_size参数
排查rank间同步等待问题
npx skills add EvolvingLMMs-Lab/LLaVA-OneVision-2 --skill length-pool-sort-dataset -g -y
用于验证 HuggingFace 与 Megatron/MCore checkpoint 行为一致性,涵盖 TP/PP 设置下的自动转换、pytest 测试套件执行及反向部署脚本使用。
需要验证 HF 和 Megatron checkpoint 是否一致
进行模型检查点格式转换或重新分片
npx skills add EvolvingLMMs-Lab/LLaVA-OneVision-2 --skill llava-onevision2-consistency -g -y
指导排查、设计或转换 Megatron/Megatron-Core 检查点,明确 TP/PP/EP 并行维度下的目录命名规则,纠正仅凭 PP>1 误判 3D 布局的常见错误。
排查 Megatron 检查点加载失败问题
转换不同并行策略的检查点格式
诊断 checkpoint 目录结构不匹配错误
npx skills add EvolvingLMMs-Lab/LLaVA-OneVision-2 --skill megatron-checkpoint-layout -g -y
用于将独立的 ViT 编码器和 LLM 合并为统一的 LlavaOnevision2 HuggingFace 检查点,并验证合并后权重及推理输出与原始模型的一致性。
需要合并 ViT 和 LLM 模型权重
验证多模态模型合并后的权重一致性
检查合并后的推理输出是否正确
npx skills add EvolvingLMMs-Lab/LLaVA-OneVision-2 --skill merge-ov2 -g -y
LLaVA-OneVision2训练侧样本打包环境配置指南,解释OFFLINE_PACKING_BMR与OFFLINE_PACKED_DATA协同作用及避坑。
配置训练环境变量
调试样本打包问题
npx skills add EvolvingLMMs-Lab/LLaVA-OneVision-2 --skill offline-packing-env-vars -g -y


