Agent Skills
› EvolvingLMMs-Lab/LLaVA-OneVision-2
EvolvingLMMs-Lab/LLaVA-OneVision-2
GitHub指导编写符合 Conventional Commits 规范的 Git 提交信息,涵盖格式、类型定义及撰写规则,确保日志清晰一致。
安装全部 Skills
npx skills add EvolvingLMMs-Lab/LLaVA-OneVision-2 --all -g -y
集合内 Skills (8)
指导编写符合 Conventional Commits 规范的 Git 提交信息,涵盖格式、类型定义及撰写规则,确保日志清晰一致。
用户要求生成或优化 Git commit message
需要遵循特定仓库的提交规范
npx skills add EvolvingLMMs-Lab/LLaVA-OneVision-2 --skill commit-message -g -y
解析 LLaVA-OneVision2 中 cu_lengths 与 patch_positions 对 ViT 及 LLM 阶段注意力机制的控制逻辑,辅助调试 packed 序列行为及跨样本隔离问题。
分析多模态模型前向传播中的注意力边界
调试 packed 与非 packed 序列的 attention 差异
排查跨样本数据隔离相关的 bug
npx skills add EvolvingLMMs-Lab/LLaVA-OneVision-2 --skill cu-lengths-attention-flow -g -y
指导在多台节点并行运行脚本,将大规模SFT JSONL数据打包为Energon WebDataset分片。涵盖前置条件、流水线架构及多节点分布式处理的操作步骤。
需要将大规模SFT数据打包为WebDataset格式
需要在多节点集群上并行执行数据预处理任务
npx skills add EvolvingLMMs-Lab/LLaVA-OneVision-2 --skill distributed-offline-packing -g -y
用于分析、调试和多GPU训练调优LengthPoolSortDataset跨rank长度同步机制,解决梯度同步瓶颈。
多卡训练速度慢
排查rank同步瓶颈
调优pool_size参数
npx skills add EvolvingLMMs-Lab/LLaVA-OneVision-2 --skill length-pool-sort-dataset -g -y
用于验证HuggingFace与Megatron/MCore模型检查点行为一致性的测试技能,支持TP/PP设置下的集成与单元测试及权重转换。
需要验证HF与Megatron checkpoint的一致性
执行模型一致性测试套件
npx skills add EvolvingLMMs-Lab/LLaVA-OneVision-2 --skill llava-onevision2-consistency -g -y
指导诊断和转换Megatron检查点,明确根据EP存在与否决定1D/2D/3D布局路径,纠正仅凭PP判断3D的错误假设。
排查Megatron检查点加载失败
设计或转换TP/PP/EP混合并行检查点
npx skills add EvolvingLMMs-Lab/LLaVA-OneVision-2 --skill megatron-checkpoint-layout -g -y
用于将独立的ViT编码器和LLM合并为统一的LlavaOnevision2 HuggingFace检查点,并验证合并后权重及推理输出的一致性。
合并ViT和LLM模型权重
验证多模态模型推理一致性
npx skills add EvolvingLMMs-Lab/LLaVA-OneVision-2 --skill merge-ov2 -g -y
指导配置LLaVA-OneVision2训练侧样本packing的环境变量,解释OFFLINE_PACKING_BMR与OFFLINE_PACKED_DATA需同时启用以消除padding,并澄清废弃变量。
配置训练环境变量
调试样本packing问题
排查注意力泄漏
npx skills add EvolvingLMMs-Lab/LLaVA-OneVision-2 --skill offline-packing-env-vars -g -y


