Agent Skills
› brycewang-stanford/Awesome-Journal-Skills
› prai-experiments
prai-experiments
GitHub指导PR&AI论文实验设计，涵盖RQ拆解、公平基线复现、统计显著性检验、消融实验及开销报告。防范数据泄漏，确保结果可信并支持外审质询。
Trigger Scenarios
设计机器学习实验
验证模型性能
撰写PR&AI论文实验部分
Install
npx skills add brycewang-stanford/Awesome-Journal-Skills --skill prai-experiments -g -y
SKILL.md
Frontmatter
{
"name": "prai-experiments",
"description": "在为《模式识别与人工智能》(Pattern Recognition and Artificial Intelligence, PR&AI) 设计与呈现模式识别\/机器学习实验证据时调用。覆盖研究问题(RQ)拆解、公平基线与相同划分\/算力、评测指标选择(准确率\/F1\/mAP\/IoU\/AUC 等)、多次运行的均值±标准差与统计显著性检验、消融实验、复杂度与开销报告、数据泄漏与评测污染的防范，以及把每条主张绑定到证据的呈现方式。用于把 AI 细分方向的实证部分做到经得起外审对\"基线是否公平、结果是否可信、消融是否充分\"的质询。"
}
《模式识别与人工智能》实验设计与呈现
本技能把《模式识别与人工智能》(Pattern Recognition and Artificial Intelligence, PR&AI) 论文的实证
部分落到可执行清单。本刊聚焦模式识别与机器学习，外审对实验严谨性要求高：公平基线、统计口径、消融、
开销缺一易被质疑。事实核验日期 2026-07-09，见 resources/official-source-map.md。
一、从主张到 RQ
先把贡献拆成可检验的研究问题(RQ)，每个 RQ 对应一组实验：
- RQ1（有效性）：本文方法是否在目标任务上优于最强基线？
- RQ2（机制）：哪个组件带来提升？（→消融）
- RQ3（鲁棒性）：在噪声/长尾/小样本/跨域等更难设定下是否仍有效？
- RQ4（开销）：精度提升的时间/显存/参数代价如何？
每个 RQ 的结论必须由对应证据支撑，不多不少。
二、公平基线（外审首要质询）
- 基线在相同数据划分、相同算力、相同调参预算下比较；不拿别人论文里不可比的数字直接对照。
- 覆盖相关工作中提到的代表性方法（见
prai-related-work），尤其是最接近工作。 - 复现基线时说明来源（官方代码/自实现），并诚实标注差异。
- 避免"只调自己方法、不调基线"的隐性不公。
三、评测指标与统计严谨
| 任务 | 常用指标 |
|---|---|
| 分类/识别 | 准确率、F1、精确率/召回率、AUC |
| 目标检测 | mAP、AP@IoU |
| 分割 | mIoU、Dice |
| 检索/排序 | mAP、NDCG、Recall@K |
| 长尾/不平衡 | 分组精度、平衡准确率 |
统计纪律：
- 多次运行（不同随机种子）报告均值±标准差，不报单次最优。
- 关键比较做显著性检验（如配对 t 检验、Wilcoxon），报告 p 值。
- 指标选择与任务匹配，避免只挑对自己有利的指标。
四、消融实验
- 逐组件消融，量化每个机制的独立贡献（去掉 X 掉多少）。
- 关键超参数的敏感性分析（给曲线或表）。
- 消融要能支撑"方法新意来自 Y 机制"这一主张，与相关工作 delta 呼应。
五、数据泄漏与评测污染
模式识别/机器学习实验的可信性红线：
- 训练/验证/测试严格划分，无样本重叠、无标签泄漏。
- 预训练语料/权重与评测集不重叠；用大模型时说明是否见过评测数据。
- 调参在验证集上做，测试集只用于最终报告。
- 数据增强、采样策略对所有方法一致。
六、开销与复杂度
- 报告训练/推理时间、显存、参数量、FLOPs（据任务选）。
- 精度-开销权衡用图或表呈现，避免只报精度不报代价。
- 硬件环境（GPU 型号、数量）写清，便于复现（见
prai-reproducibility）。
七、结果呈现
- 主表报告均值±标准差、样本量、最优加粗；对比方法与本文并列。
- 每条主张在正文有对应表图编号；图题表题中英文对照、黑白可辨。
- 失败案例/局限随结果讨论，不回避（威胁有效性见
prai-writing-style）。
八、常见被拒理由与对策
| 外审批评 | 根因 | 对策 |
|---|---|---|
| 基线不公平 | 划分/算力/调参不一致 | 统一设置、重跑 |
| 结果不可信 | 单次运行、无统计 | 多种子+显著性检验 |
| 消融不足 | 说不清提升来源 | 补逐组件消融 |
| 疑似数据泄漏 | 划分/预训练重叠 | 澄清划分、排查重叠 |
| 只报精度 | 忽略开销 | 补时间/显存/复杂度 |
九、实验章节自检清单
- 每个 RQ 是否有对应实验与明确结论？
- 基线是否在相同划分/算力/调参下比较、覆盖最接近工作？
- 是否多种子报告均值±标准差并做显著性检验？
- 消融是否支撑方法新意来源？
- 是否排查数据泄漏/评测污染？
- 是否报告精度-开销权衡？
- 主张与表图编号是否一一对应？
十、与其他技能衔接
- 上游
prai-related-work定对比方法；下游prai-reproducibility固定环境与复现包。 - 呈现体例见
prai-writing-style；投稿前证据-主张一致性核对见prai-submission。
十一、数据集选择与报告
《模式识别与人工智能》(Pattern Recognition and Artificial Intelligence, PR&AI) 论文的说服力很大 程度取决于数据集选择是否恰当、报告是否透明：
- 覆盖代表性基准：用本子领域公认的公开数据集，便于与已有工作对比；只在自造小数据上验证难以 服众。
- 规模与多样性：数据集规模、类别数、分布特点(是否长尾/含噪)要写清，避免"挑软柿子"。
- 划分透明：train/val/test 划分与来源固定并说明；沿用标准划分时注明出处。
- 多数据集验证：单一数据集上的优势可能是过拟合到该集，多数据集一致提升更可信。
- 自采数据：说明采集/标注流程、标注一致性(如 kappa)、许可与隐私合规。
十二、结果分析而非堆数字
外审看重的是"为什么有效"的分析，而不仅是"更高的数字"：
- 结合数据特性解释增益来自何处（如"在高噪声子集上提升更大，印证方法抑制噪声的机制"）。
- 报告并分析失败案例，指出方法边界，这比掩盖局限更能取信。
- 用可视化（特征分布、注意力、决策边界、混淆矩阵）佐证机制性主张。
- 把定量结果与定性分析绑定，让"提升 x%"有可解释的来由。
十三、实验与其他技能的一致性
实验部分不能孤立：相关工作(prai-related-work)提到的对比方法要落为基线；方法章节声称的每个机制要
在消融中被验证；可复现性(prai-reproducibility)要求的种子、划分、环境要在实验设置里交代；补充材料
(prai-supplementary)决定超参全表、额外数据集实验的归属。投稿前用 prai-submission 核对每条主张
是否都有对应表图编号支撑，做到主张与证据一一对应、无悬空断言。
输出格式
[PR&AI 实验] 达标 / 待补
[RQ 覆盖] RQ1..n 是否各有证据：___
[基线公平] 相同划分/算力/调参？覆盖最接近工作？
[统计] 多种子均值±标准差？显著性检验 p 值？
[消融] 是否支撑方法新意来源：是/否
[泄漏排查] 划分/预训练/调参是否干净：___
[开销] 是否报告时间/显存/复杂度：是/否
[待补项] ___
Version History
- 9f86f09 Current 2026-07-19 17:18
