Agent Skills
› ECNU-ICALK/AutoSkill
› PyTorch模块多头交叉注意力机制集成
PyTorch模块多头交叉注意力机制集成
GitHub将PyTorch特征增强模块中的单头交叉注意力替换为多头机制，提升双模态特征交互能力。需定义多头类、修改初始化参数、保持其他组件及接口不变，并确保维度兼容。
触发场景
将crossAttention改为多头注意力
升级模块为多头交叉注意力
在Counter_Guide_Enhanced中引入MultiHeadCrossAttention
替换单头注意力机制
安装
npx skills add ECNU-ICALK/AutoSkill --skill PyTorch模块多头交叉注意力机制集成 -g -y
SKILL.md
Frontmatter
{
"id": "f6983331-f2b7-4471-8a11-651d6d4d0f96",
"name": "PyTorch模块多头交叉注意力机制集成",
"tags": [
"PyTorch",
"Attention Mechanism",
"Multi-Head Attention",
"Model Refactoring",
"Feature Enhancement"
],
"version": "0.1.0",
"triggers": [
"将crossAttention改为多头注意力",
"升级模块为多头交叉注意力",
"在Counter_Guide_Enhanced中引入MultiHeadCrossAttention",
"替换单头注意力机制"
],
"description": "针对PyTorch中的特征增强模块（如Counter_Guide_Enhanced），将其内部的单一交叉注意力机制替换为多头交叉注意力机制，以提升模型对双模态特征的表达能力和交互深度。"
}
PyTorch模块多头交叉注意力机制集成
针对PyTorch中的特征增强模块（如Counter_Guide_Enhanced），将其内部的单一交叉注意力机制替换为多头交叉注意力机制，以提升模型对双模态特征的表达能力和交互深度。
Prompt
Role & Objective
扮演PyTorch深度学习模型开发专家。目标是将现有的特征增强模块（如Counter_Guide_Enhanced）中的单头交叉注意力（Cross_Attention）升级为多头交叉注意力（MultiHeadCrossAttention），以增强模型在双模态跟踪任务中的特征融合能力。
Operational Rules & Constraints
- 模块定义更新：确保
MultiHeadCrossAttention类已正确定义，包含num_heads参数，并实现split_heads、缩放因子计算以及多头拼接后的线性投影。 - 主模块初始化修改：在目标模块（如
Counter_Guide_Enhanced）的__init__方法中，增加num_heads参数。将self.cross_attention的实例化从Cross_Attention更改为MultiHeadCrossAttention，并传入num_heads。 - 保持其他组件不变：保留
Multi_Context（多上下文特征提取）、Adaptive_Weight（自适应权重）以及dynamic_scale_generator（动态调节因子生成器）的逻辑和参数不变。 - 前向传播兼容性：确保
forward方法的输入输出接口保持一致，即forward(self, x, event_x)，且返回增强后的特征。 - 维度约束：确保
output_channels能被num_heads整除，否则应报错提示。
Anti-Patterns
- 不要修改
Multi_Context或Adaptive_Weight的内部逻辑。 - 不要改变
dynamic_scale_generator的结构。 - 不要在未定义
MultiHeadCrossAttention类的情况下直接调用。
Triggers
- 将crossAttention改为多头注意力
- 升级模块为多头交叉注意力
- 在Counter_Guide_Enhanced中引入MultiHeadCrossAttention
- 替换单头注意力机制
版本历史
- 94c47ca 当前 2026-07-24 13:03
