Agent Skills
› EvolvingLMMs-Lab/LLaVA-OneVision-2
EvolvingLMMs-Lab/LLaVA-OneVision-2
GitHub指导编写符合 Conventional Commits 规范的 Git 提交信息,确保格式统一、语义清晰,支持自动生成变更日志。
安装全部 Skills
npx skills add EvolvingLMMs-Lab/LLaVA-OneVision-2 --all -g -y
集合内 Skills (8)
指导编写符合 Conventional Commits 规范的 Git 提交信息,确保格式统一、语义清晰,支持自动生成变更日志。
生成 Git 提交信息
规范化代码提交描述
npx skills add EvolvingLMMs-Lab/LLaVA-OneVision-2 --skill commit-message -g -y
解析 LLaVA-OneVision2 中 cu_lengths 和 patch_positions 如何控制 ViT 与 LLM 阶段的注意力边界,辅助调试 packed 序列行为及跨样本隔离问题。
分析 LLaVA-OneVision2 前向传播中的 attention 边界
调试 packed 与 non-packed 的 attention 行为
理解 ViT 层和 LLM 层 attention 控制的区别
npx skills add EvolvingLMMs-Lab/LLaVA-OneVision-2 --skill cu-lengths-attention-flow -g -y
指导在多节点并行环境下,将大规模SFT JSONL数据打包为Energon WebDataset分片。涵盖前置条件、流水线架构及操作步骤,实现去填充的高效数据处理。
需要将大规模SFT数据打包为WebDataset格式
需要在多节点上并行处理离线打包任务
npx skills add EvolvingLMMs-Lab/LLaVA-OneVision-2 --skill distributed-offline-packing -g -y
分析调试调优多卡训练中的LengthPoolSortDataset,通过跨rank长度同步解决梯度All-Reduce等待瓶颈,提升训练效率。
多GPU训练速度异常
排查rank间同步延迟
调优pool_size参数
npx skills add EvolvingLMMs-Lab/LLaVA-OneVision-2 --skill length-pool-sort-dataset -g -y
用于验证HuggingFace与Megatron/MCore模型检查点在TP/PP设置下的行为一致性。提供pytest测试套件自动转换并比对,支持反向路径的格式转换与重分片回环校验,确保部署和推理时的比特级一致性与正确性。
验证HF与Megatron检查点行为一致性
执行模型权重格式转换与重分片
运行模型一致性集成或单元测试
npx skills add EvolvingLMMs-Lab/LLaVA-OneVision-2 --skill llava-onevision2-consistency -g -y
用于排查、设计和转换 Megatron/Megatron-Core 检查点,核心在于根据是否存在专家并行(EP)正确识别 1D/2D/3D 的 mp_rank 目录布局,避免误判。
诊断 Megatron 检查点加载失败问题
转换或设计支持 TP/PP/EP 的检查点结构
npx skills add EvolvingLMMs-Lab/LLaVA-OneVision-2 --skill megatron-checkpoint-layout -g -y
用于将独立的ViT编码器和LLM合并为统一的LlavaOnevision2 HuggingFace检查点,并验证合并后权重与推理输出的一致性。
需要合并多模态模型组件
验证模型权重转换正确性
npx skills add EvolvingLMMs-Lab/LLaVA-OneVision-2 --skill merge-ov2 -g -y
指导配置和调试LLaVA-OneVision2训练侧样本打包,解释OFFLINE_PACKING_BMR与OFFLINE_PACKED_DATA环境变量必须同时启用以实现无填充注意力,并澄清废弃变量。
配置训练脚本中的环境变量
调试样本打包导致的注意力泄漏问题
排查cu_lengths张量异常
npx skills add EvolvingLMMs-Lab/LLaVA-OneVision-2 --skill offline-packing-env-vars -g -y


