Agent Skills
› EvolvingLMMs-Lab/LLaVA-OneVision-2
EvolvingLMMs-Lab/LLaVA-OneVision-2
GitHub指导编写符合 Conventional Commits 规范的 Git 提交信息,定义类型、格式及规则,确保提交日志清晰一致。
Install All Skills
npx skills add EvolvingLMMs-Lab/LLaVA-OneVision-2 --all -g -y
Skills in Collection (8)
指导编写符合 Conventional Commits 规范的 Git 提交信息,定义类型、格式及规则,确保提交日志清晰一致。
用户需要生成或优化 Git commit message
询问仓库的提交信息规范
npx skills add EvolvingLMMs-Lab/LLaVA-OneVision-2 --skill commit-message -g -y
LLaVA-OneVision2注意力边界分析指南,解析cu_lengths与patch_positions在ViT和LLM阶段的控制机制及packed序列行为。
调试attention packed与非packed行为差异
分析跨样本隔离机制
理解ViT与LLM层注意力控制区别
npx skills add EvolvingLMMs-Lab/LLaVA-OneVision-2 --skill cu-lengths-attention-flow -g -y
指导在多节点并行环境下,使用auto_pipe.sh将大规模SFT JSONL数据打包为Energon WebDataset分片。涵盖前置条件、流水线架构及关键设计决策。
需要打包大规模SFT数据为WebDataset
多节点并行处理JSONL文件
配置Energon Metadataset
npx skills add EvolvingLMMs-Lab/LLaVA-OneVision-2 --skill distributed-offline-packing -g -y
解析多GPU训练中LengthPoolSortDataset机制,通过长度排序与同步shuffle消除Rank间耗时差异,优化训练效率。
分析或调试多卡训练性能瓶颈
调优length_sort_pool_size参数
排查跨Rank同步延迟问题
npx skills add EvolvingLMMs-Lab/LLaVA-OneVision-2 --skill length-pool-sort-dataset -g -y
用于验证 HuggingFace 与 Megatron/MCore checkpoint 在 TP/PP 设置下行为一致性的双语指南,涵盖 pytest 测试套件及模型转换脚本的使用说明。
需要验证 HF 和 Megatron 模型权重一致性
执行模型格式转换或重新分片
npx skills add EvolvingLMMs-Lab/LLaVA-OneVision-2 --skill llava-onevision2-consistency -g -y
指导排查、设计及转换 Megatron/Megatron-Core 检查点,明确基于 TP、PP、EP 维度的目录命名规则。核心在于依据 EP 是否存在判断 1D/2D/3D 布局,纠正仅凭 PP>1 误判为 3D 的常见错误,确保加载逻辑正确。
排查 Megatron checkpoint 加载失败问题
设计或转换使用 TP/PP/EP 的检查点布局
npx skills add EvolvingLMMs-Lab/LLaVA-OneVision-2 --skill megatron-checkpoint-layout -g -y
用于将独立的ViT编码器和LLM合并为统一的LlavaOnevision2 HuggingFace检查点,并验证合并后权重及推理输出的一致性。
需要合并ViT和LLM模型权重
验证多模态模型合并后的推理一致性
npx skills add EvolvingLMMs-Lab/LLaVA-OneVision-2 --skill merge-ov2 -g -y
指导配置LLaVA-OneVision2训练侧样本packing的环境变量,阐明OFFLINE_PACKING_BMR与OFFLINE_PACKED_DATA需同时启用以消除padding,并澄清已废弃的VQA变量。
配置LLaVA-OneVision2训练环境变量
调试训练侧样本packing问题
排查跨样本注意力泄漏
npx skills add EvolvingLMMs-Lab/LLaVA-OneVision-2 --skill offline-packing-env-vars -g -y


