Agent Skills
› EvolvingLMMs-Lab/LLaVA-OneVision-2
EvolvingLMMs-Lab/LLaVA-OneVision-2
GitHub指导编写符合仓库规范的 Git 提交信息,遵循 Conventional Commits 标准,确保格式清晰、一致,适用于开源协作和日志生成。
Install All Skills
npx skills add EvolvingLMMs-Lab/LLaVA-OneVision-2 --all -g -y
Skills in Collection (8)
指导编写符合仓库规范的 Git 提交信息,遵循 Conventional Commits 标准,确保格式清晰、一致,适用于开源协作和日志生成。
需要生成或优化 Git commit message
检查提交信息是否符合规范
npx skills add EvolvingLMMs-Lab/LLaVA-OneVision-2 --skill commit-message -g -y
指导分析 LLaVA-OneVision2 中 cu_lengths 和 patch_positions 对 ViT 及 LLM 阶段注意力边界的控制机制,用于调试 packed 序列行为及跨样本隔离问题。
调试 packed vs non-packed attention 行为
分析 LLaVA-OneVision2 前向传播中的 attention 边界
理解 ViT 与 LLM 层 attention 控制差异
npx skills add EvolvingLMMs-Lab/LLaVA-OneVision-2 --skill cu-lengths-attention-flow -g -y
指导如何在多节点并行环境下,使用auto_pipe.sh将大规模SFT JSONL数据打包为Energon WebDataset分片。涵盖前置条件、四阶段流水线架构及关键设计决策。
需要并行处理大规模SFT数据集
构建Energon WebDataset格式数据
配置分布式离线打包流程
npx skills add EvolvingLMMs-Lab/LLaVA-OneVision-2 --skill distributed-offline-packing -g -y
用于分析、调试和多GPU训练调优LengthPoolSortDataset,解决跨Rank长度同步瓶颈以提升训练效率。
多GPU训练速度异常
排查Rank间同步等待
调优pool_size参数
npx skills add EvolvingLMMs-Lab/LLaVA-OneVision-2 --skill length-pool-sort-dataset -g -y
用于验证HuggingFace与Megatron/MCore模型检查点在TP/PP设置下的行为一致性,提供pytest测试套件及反向转换脚本,确保权重转换与部署的正确性。
验证HF与Megatron检查点一致性
执行模型权重转换测试
调试分布式训练配置差异
npx skills add EvolvingLMMs-Lab/LLaVA-OneVision-2 --skill llava-onevision2-consistency -g -y
指导排查和转换Megatron检查点布局,核心在于根据是否启用专家并行(EP)区分1D/2D与3D目录结构,纠正仅凭PP判断3D的常见错误。
排查Megatron检查点加载失败
设计检查点存储路径
转换不同并行策略的检查点
npx skills add EvolvingLMMs-Lab/LLaVA-OneVision-2 --skill megatron-checkpoint-layout -g -y
将独立ViT编码器与LLM合并为LlavaOnevision2统一HF检查点,并验证权重映射及推理输出的一致性。
需要合并多模态模型组件时
验证合并后模型权重和推理结果正确性时
npx skills add EvolvingLMMs-Lab/LLaVA-OneVision-2 --skill merge-ov2 -g -y
指导配置LLaVA-OneVision2训练侧样本打包的环境变量,阐明OFFLINE_PACKING_BMR与OFFLINE_PACKED_DATA需同时启用以消除padding,并澄清废弃变量陷阱。
配置LLaVA-OneVision2训练环境变量
调试训练侧样本打包问题
排查注意力泄漏或cu_lengths异常
npx skills add EvolvingLMMs-Lab/LLaVA-OneVision-2 --skill offline-packing-env-vars -g -y


