csj-experiments
GitHub辅助撰写《计算机科学》期刊实验章节,以RQ驱动设计公平基线、规范数据集与指标、执行统计检验及消融分析,确保结论可复现且符合单盲外审标准。
Trigger Scenarios
Install
npx skills add brycewang-stanford/Awesome-Journal-Skills --skill csj-experiments -g -y
SKILL.md
Frontmatter
{
"name": "csj-experiments",
"description": "在为《计算机科学》(Computer Science, JSJKX) 设计与呈现实验章节时调用。本刊是计算机全学科中文综合月刊(CCF 会刊、B 类、T2 级),单盲审稿。技能帮助以研究问题(RQ)驱动组织实验、选择公平且有代表性的基线、规范数据集与评价指标、报告统计显著性与方差、设计消融与敏感性分析、给出中英文题注的图表,并覆盖不同栏目(AI\/网络\/信息安全\/数据库\/系统等)的证据惯例。适用于把实证证据搭到能通过本刊外审、支撑摘要中量化结论的场景。"
}
《计算机科学》实验设计与呈现
本技能帮你把实验章节搭到能经受《计算机科学》(Computer Science, 简称 JSJKX) 单盲外审的强度。本刊覆盖计算机 全学科,不同栏目(人工智能、计算机网络、信息安全、数据库、体系结构等)有各自的证据惯例,但共同要求是: 结论由公平、可复现、有统计意义的实验支撑,且实验与摘要中的量化结论一致。
提醒:本刊 Computer Science 是期刊(journal),非会议;实验章节须与复现包、参考文献相互印证。
一、以研究问题(RQ)驱动
先写清 2~4 个 RQ,每个 RQ 对应一组实验与一张主表/主图:
- RQ1 有效性:方法是否优于代表性基线?
- RQ2 组件贡献:各模块/机制各贡献多少(消融)?
- RQ3 鲁棒性/敏感性:对超参、规模、噪声、分布变化是否稳定?
- RQ4(视方向)效率/开销:时间、内存、通信/能耗代价如何?
实验章节按 RQ 组织,读者能一眼对应"问题—证据"。
二、基线:公平且有代表性
- 选取代表性 + 最新基线,覆盖你在相关工作点名的主要路线;基线须与
csj-related-work一一对应。 - 公平:同数据、同划分、同评价、同调参预算;复现他人方法时说明来源(原码/复现)与超参。
- 避免"稻草人基线"(弱化对手)与"樱桃采摘"(只报有利设置)。
三、数据集与协议
- 说明数据来源、规模、划分(训练/验证/测试)、预处理;公开数据给引用与获取方式。
- 固定随机种子与库版本;报告运行次数(如 5 次)与均值±方差。
- 严防数据泄漏:调参只用验证集,测试集仅最终评估一次。
四、评价指标(按栏目)
| 方向 | 常见指标(示例) |
|---|---|
| 人工智能/机器学习 | Accuracy、F1、AUC、NDCG@k、Recall@k、BLEU/ROUGE 等 |
| 信息安全 | 检测率、误报率、ROC/AUC、开销 |
| 计算机网络 | 吞吐、时延、丢包、公平性 |
| 数据库/大数据 | 查询时延、吞吐(QPS)、扩展性 |
| 体系结构/系统 | 加速比、能耗、利用率 |
指标须与问题匹配,主指标突出,辅指标补充;避免只报单一有利指标。
五、统计严谨
- 报告均值±标准差与运行次数;比较关键结论时给显著性检验(如配对 t 检验、Wilcoxon)与 p 值或置信区间。
- 大表加粗最优、标注次优;差异不显著时如实说明,不夸大。
六、消融与敏感性
- 消融:逐个去掉/替换关键组件,量化其贡献,支撑"每个模块都必要"。
- 敏感性:主要超参、数据规模、噪声/分布变化下的表现曲线,体现鲁棒性与适用边界。
七、图表呈现
- 主结果用表(三线表),趋势用图;图/表均需中英文题注与序号。
- 坐标轴、图例、单位齐全;关键对比用同一坐标系;避免误导性截断。
- 每图每表在正文有解读,不"只放不说"。
八、与其他技能联动
- 实验必须可复现:环境/种子/数据固定见
csj-reproducibility。 - 无法进正文的完整表、超参、额外数据集放附录/补充材料见
csj-supplementary。 - 摘要中的量化结论必须来自这里的主表/主图(见
csj-writing-style)。
九、自查清单
- 是否 RQ 驱动、每个 RQ 有对应证据?
- 基线是否代表性+最新、与相关工作对应、公平比较?
- 数据划分是否清晰、无泄漏、可复现(种子/版本)?
- 指标是否与问题匹配、主辅分明?
- 是否报告方差与显著性、结论不夸大?
- 是否有消融与敏感性分析?
- 图表是否中英文题注、有正文解读,且与摘要量化一致?
十、输出格式
【CSJ 实验审计】
RQ:<RQ1…RQn> 是否各有证据 <✓/✗>
基线:<公平/代表性/与相关工作对应> <✓/✗>
数据:划分清晰[✓/✗] 无泄漏[✓/✗] 种子固定[✓/✗]
指标:与问题匹配 <✓/✗>;统计:方差+显著性 <✓/✗>
消融/敏感性:<✓/✗>
图表:中英文题注+解读 <✓/✗>;与摘要量化一致 <✓/✗>
结论:<证据充分 / 需补:列点>
十一、按栏目调整证据惯例
《计算机科学》(Computer Science) 覆盖全学科,不同栏目对"何为充分证据"预期不同。人工智能/机器学习类重多 数据集、多基线、显著性与消融;信息安全类重威胁模型、攻防对比、误报/漏报权衡与真实场景验证;计算机网络类 重吞吐/时延/丢包的负载曲线与可扩展性;数据库/大数据类重规模扩展性(数据量与并发)与真实/合成负载;体系结构 /系统类重加速比、能耗与在真实硬件或权威模拟器上的测量。投稿前对照你所投栏目近刊文,确认证据类型与呈现 方式对齐,避免"用错方向的证据标准"。
十二、负面结果与局限的诚实呈现
外审专家(单盲,知你身份)更信任诚实的作者。若某些设置下方法不占优、或对某类数据敏感,如实报告并分析原因, 比掩盖更能建立可信度,也预先回应了审稿人可能的质疑。在"局限与未来工作"中明确适用边界。夸大普适性、隐藏 不利结果,一旦被外审复现质疑,往往直接导致大修或退稿。
十三、实验章节与摘要/复现的一致性
实验章节是全文的证据中枢,必须与三处保持一致:摘要中的量化结论只能来自这里的主表/主图;相关工作点名的
基线必须在这里出现并公平比较;复现包(见 csj-reproducibility)能从数据复现这里的每张主表主图。任何数值在
正文、附录、摘要、答复信之间不一致,都会严重损害可信度,投稿前务必交叉核对。
十四、实验章节写作顺序建议
一个高效的实验章节写作顺序:先写实验设置(数据、基线、指标、协议、算力),再按 RQ 逐节呈现结果,每节 先给主表/主图、再给一段文字解读("表明什么、为何如此"),随后消融与敏感性,最后小结。为《计算机科学》 (Computer Science) 写作时,务必让每张图表都"有人说话"——正文对其关键数字给出解读,而非只放不评。
十五、投稿前实验自检三问
- 若审稿人问"你和最强基线在同等条件下差多少、是否显著",我能立刻指到哪张表?
- 若审稿人质疑"某模块是否真有用",我的消融是否已经回答?
- 若审稿人要复现,我的设置(数据/种子/超参/算力)是否足以让他从零跑通?
这三问对应外审最常见的质疑;投稿前能干净利落地回答,实验章节才算过关,也为可能的修回预留了底气。
Version History
- 9f86f09 Current 2026-07-19 15:08


