Agent Skills
› EvolvingLMMs-Lab/LLaVA-OneVision-2
EvolvingLMMs-Lab/LLaVA-OneVision-2
GitHub指导编写符合 Conventional Commits 规范的 Git 提交信息,确保格式一致、语义清晰,支持自动生成变更日志。
Install All Skills
npx skills add EvolvingLMMs-Lab/LLaVA-OneVision-2 --all -g -y
Skills in Collection (8)
指导编写符合 Conventional Commits 规范的 Git 提交信息,确保格式一致、语义清晰,支持自动生成变更日志。
需要撰写或修改 Git commit message
遵循仓库提交规范进行代码提交
npx skills add EvolvingLMMs-Lab/LLaVA-OneVision-2 --skill commit-message -g -y
指导分析 LLaVA-OneVision2 中 cu_lengths 和 patch_positions 对 ViT 及 LLM 阶段注意力机制的控制,用于调试 packed 行为及跨样本隔离问题。
分析 LLaVA-OneVision2 前向传播中的 attention 边界
调试 packed 与 non-packed 的 attention 行为
理解 ViT 层和 LLM 层 attention 控制的区别
npx skills add EvolvingLMMs-Lab/LLaVA-OneVision-2 --skill cu-lengths-attention-flow -g -y
指导在多台节点并行将大规模 SFT JSONL 打包为 Energon WebDataset shards。涵盖前置条件、四阶段流水线架构及分布式执行步骤,解决多模态数据的高效预处理与存储问题。
需要将大规模 SFT 数据集转换为 WebDataset 格式
需要在多台机器上并行处理离线数据打包任务
npx skills add EvolvingLMMs-Lab/LLaVA-OneVision-2 --skill distributed-offline-packing -g -y
用于分析和调优多GPU训练中LengthPoolSortDataset跨rank长度同步机制,解决因样本长度差异导致的同步瓶颈,提升训练效率。
分析多卡训练性能瓶颈
调优length_sort_pool_size参数
排查rank间同步等待问题
npx skills add EvolvingLMMs-Lab/LLaVA-OneVision-2 --skill length-pool-sort-dataset -g -y
用于验证HuggingFace与Megatron/MCore检查点行为一致性的双语指南,涵盖pytest测试套件及模型转换脚本。
验证HF与Megatron checkpoint一致性
运行模型一致性测试
npx skills add EvolvingLMMs-Lab/LLaVA-OneVision-2 --skill llava-onevision2-consistency -g -y
提供Megatron Checkpoint的1D/2D/3D布局诊断与转换指导,明确TP、PP、EP并行策略下的目录命名规则,纠正仅凭PP判断3D的错误模式,确保模型权重正确加载。
排查Megatron checkpoint加载失败问题
设计或转换使用TP/PP/EP的checkpoint结构
调试checkpoint路径构建逻辑
npx skills add EvolvingLMMs-Lab/LLaVA-OneVision-2 --skill megatron-checkpoint-layout -g -y
用于将独立ViT编码器和LLM合并为统一LlavaOnevision2 HuggingFace检查点,并验证合并后权重及推理输出一致性的工具。
需要合并ViT和LLM模型权重
验证多模态模型合并后的推理一致性
npx skills add EvolvingLMMs-Lab/LLaVA-OneVision-2 --skill merge-ov2 -g -y
指导配置 LLaVA-OneVision2 训练侧样本打包的环境变量,解释 OFFLINE_PACKING_BMR 和 OFFLINE_PACKED_DATA 必须同时启用以实现无填充注意力,并澄清已废弃的 VQA 变量。
配置训练脚本环境变量
调试训练侧样本打包问题
排查跨样本注意力泄漏
npx skills add EvolvingLMMs-Lab/LLaVA-OneVision-2 --skill offline-packing-env-vars -g -y


