Agent Skills
› EvolvingLMMs-Lab/LLaVA-OneVision-2
EvolvingLMMs-Lab/LLaVA-OneVision-2
GitHub指导编写符合 Conventional Commits 规范的 Git 提交信息,定义类型、格式及规则,确保日志清晰一致。
Install All Skills
npx skills add EvolvingLMMs-Lab/LLaVA-OneVision-2 --all -g -y
Skills in Collection (8)
指导编写符合 Conventional Commits 规范的 Git 提交信息,定义类型、格式及规则,确保日志清晰一致。
生成 git commit message
遵循仓库提交规范
npx skills add EvolvingLMMs-Lab/LLaVA-OneVision-2 --skill commit-message -g -y
指导分析 LLaVA-OneVision2 中 cu_lengths 和 patch_positions 如何控制 ViT 与 LLM 阶段的注意力边界,用于调试 packed 序列行为及理解跨样本隔离机制。
调试 packed 与 non-packed 的 attention 行为
分析 packed 序列中的跨样本隔离问题
理解 ViT 与 LLM 层注意力控制的差异
npx skills add EvolvingLMMs-Lab/LLaVA-OneVision-2 --skill cu-lengths-attention-flow -g -y
指导在多台节点并行运行脚本,将大规模SFT JSONL数据打包为Energon WebDataset分片。涵盖前置环境配置、四阶段流水线架构解析及分布式操作步骤。
需要打包大规模SFT数据集
多节点并行处理JSONL数据
生成Energon WebDataset格式
npx skills add EvolvingLMMs-Lab/LLaVA-OneVision-2 --skill distributed-offline-packing -g -y
用于分析和调优多GPU训练中的LengthPoolSortDataset,解决跨rank长度同步瓶颈,提升训练效率。
分析训练pipeline性能
调试多卡同步问题
调优pool_size参数
npx skills add EvolvingLMMs-Lab/LLaVA-OneVision-2 --skill length-pool-sort-dataset -g -y
用于验证 HuggingFace 与 Megatron/MCore 模型检查点在 TP/PP 设置下的行为一致性,提供 pytest 测试套件及双向转换脚本,确保模型部署与重分片的正确性。
验证 HF 和 Megatron checkpoint 是否一致
执行模型一致性测试
进行模型格式转换或重分片
npx skills add EvolvingLMMs-Lab/LLaVA-OneVision-2 --skill llava-onevision2-consistency -g -y
指导排查、设计及转换Megatron检查点,依据TP/PP/EP并行配置确定目录命名规则。核心在于通过是否存在EP判断1D/2D或3D布局,避免误判导致加载失败。
诊断Megatron检查点加载错误
设计检查点存储路径结构
转换不同并行策略的检查点
npx skills add EvolvingLMMs-Lab/LLaVA-OneVision-2 --skill megatron-checkpoint-layout -g -y
将独立ViT编码器和LLM合并为统一的LlavaOnevision2 HuggingFace checkpoint,并验证合并后权重与推理输出的一致性。
需要合并多模态模型组件
验证模型权重转换正确性
npx skills add EvolvingLMMs-Lab/LLaVA-OneVision-2 --skill merge-ov2 -g -y
指导LLaVA-OneVision2训练侧样本packing的环境变量配置,解释OFFLINE_PACKING_BMR与OFFLINE_PACKED_DATA需同时启用以实现padding-free attention,并澄清OFFLINE_PACKING_VQA为废弃代码。
配置训练脚本环境变量
调试样本packing问题
排查注意力泄漏
npx skills add EvolvingLMMs-Lab/LLaVA-OneVision-2 --skill offline-packing-env-vars -g -y


