Agent Skills
› EvolvingLMMs-Lab/LLaVA-OneVision-2
EvolvingLMMs-Lab/LLaVA-OneVision-2
GitHub指导编写符合 Conventional Commits 规范的 Git 提交信息,涵盖类型选择、格式要求及正文规则,确保提交记录清晰一致。
Install All Skills
npx skills add EvolvingLMMs-Lab/LLaVA-OneVision-2 --all -g -y
Skills in Collection (8)
指导编写符合 Conventional Commits 规范的 Git 提交信息,涵盖类型选择、格式要求及正文规则,确保提交记录清晰一致。
用户请求生成或修改 Git commit message
需要遵循特定仓库的提交规范
npx skills add EvolvingLMMs-Lab/LLaVA-OneVision-2 --skill commit-message -g -y
用于分析 LLaVA-OneVision2 模型前向传播中 cu_lengths 和 patch_positions 对 ViT 与 LLM 阶段注意力边界及序列打包行为的影响,辅助调试 packed 与非 packed 场景。
调试 LLaVA-OneVision2 的 attention 边界问题
分析 packed 序列中的跨样本隔离机制
理解 ViT 与 LLM 层 attention 控制差异
npx skills add EvolvingLMMs-Lab/LLaVA-OneVision-2 --skill cu-lengths-attention-flow -g -y
用于在多台节点并行将大规模 SFT JSONL 数据打包为 Energon WebDataset shards。支持固定序列长度、多模态数据处理及分布式流水线,确保高效生成无填充的模型训练数据集。
需要将大规模 SFT JSONL 转换为 WebDataset 格式
需要在多台机器上并行处理数据打包任务
npx skills add EvolvingLMMs-Lab/LLaVA-OneVision-2 --skill distributed-offline-packing -g -y
用于分析和调优多GPU训练中的LengthPoolSortDataset,解决跨Rank长度同步导致的效率瓶颈。
分析多卡训练性能瓶颈
调优length_sort_pool_size参数
排查Rank间同步延迟
npx skills add EvolvingLMMs-Lab/LLaVA-OneVision-2 --skill length-pool-sort-dataset -g -y
用于验证 HuggingFace 与 Megatron/MCore checkpoint 在 TP/PP 设置下行为一致性的双语指南。提供 pytest 测试套件及转换脚本,支持模型格式转换、一致性校验及无损重分片。
验证 HF 与 Megatron 模型权重一致性
执行模型格式转换(HF↔MCore)
检查分布式训练参数(TP/PP)配置下的行为差异
进行模型重分片而不重新训练
npx skills add EvolvingLMMs-Lab/LLaVA-OneVision-2 --skill llava-onevision2-consistency -g -y
指导排查、设计及转换 Megatron/Megatron-Core 检查点,依据 TP/PP/EP 并行维度确定目录布局规则。
Megatron 检查点路径解析错误
诊断 EP 与 PP 对 checkpoint 分片的影响
npx skills add EvolvingLMMs-Lab/LLaVA-OneVision-2 --skill megatron-checkpoint-layout -g -y
用于将独立的 ViT 编码器和 LLM 合并为统一的 LlavaOnevision2 HuggingFace 检查点,并验证合并后权重与推理输出的一致性。
需要合并 ViT 和 LLM 模型权重
验证多模态模型合并后的权重一致性
npx skills add EvolvingLMMs-Lab/LLaVA-OneVision-2 --skill merge-ov2 -g -y
指导配置LLaVA-OneVision2训练侧样本打包的环境变量,解释OFFLINE_PACKING_BMR与OFFLINE_PACKED_DATA需同时启用以实现无padding注意力,并澄清废弃变量。
配置训练脚本环境变量
调试样本打包导致的注意力泄漏
排查cu_lengths张量异常
npx skills add EvolvingLMMs-Lab/LLaVA-OneVision-2 --skill offline-packing-env-vars -g -y


