Agent Skills
› EvolvingLMMs-Lab/LLaVA-OneVision-2
EvolvingLMMs-Lab/LLaVA-OneVision-2
GitHub指导编写符合仓库规范的 Conventional Commits 风格 Git 提交信息,定义类型、格式及撰写规则。
Install All Skills
npx skills add EvolvingLMMs-Lab/LLaVA-OneVision-2 --all -g -y
Skills in Collection (8)
指导编写符合仓库规范的 Conventional Commits 风格 Git 提交信息,定义类型、格式及撰写规则。
用户请求生成或优化 Git 提交信息
需要遵循特定代码规范撰写 Commit Message
npx skills add EvolvingLMMs-Lab/LLaVA-OneVision-2 --skill commit-message -g -y
指导分析 LLaVA-OneVision2 中 cu_lengths 和 patch_positions 如何控制 ViT 与 LLM 阶段的注意力边界,用于调试 packed 序列行为及理解跨样本隔离机制。
调试 packed vs non-packed attention 行为
分析 ViT 和 LLM 层注意力控制差异
排查跨样本隔离问题
npx skills add EvolvingLMMs-Lab/LLaVA-OneVision-2 --skill cu-lengths-attention-flow -g -y
指导在多台节点上并行运行脚本,将大规模SFT JSONL数据打包为Energon WebDataset分片。涵盖前置环境配置、流水线各阶段原理及分布式处理的关键设计决策与操作步骤。
需要打包大规模SFT数据为WebDataset
在多节点集群上执行离线数据预处理
npx skills add EvolvingLMMs-Lab/LLaVA-OneVision-2 --skill distributed-offline-packing -g -y
用于分析和调优多GPU训练中LengthPoolSortDataset的跨rank长度同步机制,解决因样本长度差异导致的训练等待瓶颈,通过排序和确定性shuffle优化数据并行效率。
分析多卡训练性能瓶颈
排查rank间同步延迟
调优length_sort_pool_size参数
npx skills add EvolvingLMMs-Lab/LLaVA-OneVision-2 --skill length-pool-sort-dataset -g -y
用于验证HuggingFace与Megatron/MCore检查点行为一致性的双语指南。涵盖pytest测试套件及反向转换脚本,支持TP/PP设置下的模型一致性校验与格式互转。
验证HF与Megatron检查点一致性
执行模型格式转换
运行一致性测试
npx skills add EvolvingLMMs-Lab/LLaVA-OneVision-2 --skill llava-onevision2-consistency -g -y
提供Megatron检查点TP/PP/EP并行布局的排查与转换指导,明确以EP存在与否判断1D/2D/3D结构,纠正仅凭PP>1误判3D的错误模式。
排查Megatron检查点加载失败
设计或转换Megatron检查点目录结构
调试分布式训练检查点读取逻辑
npx skills add EvolvingLMMs-Lab/LLaVA-OneVision-2 --skill megatron-checkpoint-layout -g -y
用于将独立ViT编码器和LLM合并为统一的LlavaOnevision2 HuggingFace检查点,并验证权重映射及推理输出的一致性。
合并ViT和LLM模型权重
验证多模态模型推理一致性
npx skills add EvolvingLMMs-Lab/LLaVA-OneVision-2 --skill merge-ov2 -g -y
LLaVA-OneVision2训练侧样本packing的环境变量配置指南,详解OFFLINE_PACKING_BMR与OFFLINE_PACKED_DATA必须同时启用以消除padding,并澄清废弃的VQA变量。
配置LLaVA-OneVision2训练环境变量
调试训练侧样本packing导致的注意力泄漏问题
排查cu_lengths张量异常
npx skills add EvolvingLMMs-Lab/LLaVA-OneVision-2 --skill offline-packing-env-vars -g -y


