Agent Skills
› promptfoo/promptfoo
promptfoo/promptfoo
GitHub规范红队插件与评分器开发，定义标签、评估模板及变量使用标准，用于创建攻击测试插件和修改攻击模板。
安装全部 Skills
npx skills add promptfoo/promptfoo --all -g -y
集合内 Skills (10)
规范红队插件与评分器开发，定义标签、评估模板及变量使用标准，用于创建攻击测试插件和修改攻击模板。
创建新的红队插件
编写评分器逻辑
修改攻击模板
npx skills add promptfoo/promptfoo --skill redteam-plugin-development -g -y
提供URL搜索参数和哈希状态管理的最佳实践，指导在React中正确使用push或replace更新URL，防止浏览器历史记录混乱。
修改URL查询参数
处理浏览器前进后退按钮问题
使用useSearchParams或navigate更新路由状态
npx skills add promptfoo/promptfoo --skill search-params -g -y
指导编写、运行和审查 promptfoo 评估套件，涵盖配置、提示词、提供者选择、测试用例及断言设计。用于非红队场景的回归测试与评估矩阵验证。
需要为 AI 模型或 RAG 管道编写自动化评估测试
构建或维护 promptfoo 配置文件和测试套件
执行 LLM 输出的质量检查与回归测试
npx skills add promptfoo/promptfoo --skill promptfoo-evals -g -y
规范红队插件与评分器的开发标准，定义标签使用、Rubric结构及攻击模板格式，用于创建、编写或修改安全测试插件。
创建新的红队插件
编写评分器逻辑
修改攻击模板
npx skills add promptfoo/promptfoo --skill redteam-plugin-development -g -y
管理URL搜索参数和哈希状态，指导在更新URL时选择push或replace以正确处理浏览器历史记录，避免破坏后退按钮。
添加或修改URL搜索参数
使用useSearchParams或navigate处理查询字符串
npx skills add promptfoo/promptfoo --skill search-params -g -y
用于审查折扣策略夹具，通过运行分析脚本获取关键信息，检查源代码后生成包含修复建议的维护报告。
需要审查折扣策略夹具
执行折扣政策代码审查
npx skills add promptfoo/promptfoo --skill discount-review -g -y
用于编写、运行和审查 promptfoo 评估套件，涵盖测试用例、断言及 CI 门禁配置。适用于回归测试和质量评估，不包含提供商连接或红队测试。
编写 AI 模型评估测试套件
配置 promptfoo 断言规则
设置 AI 输出质量检查的 CI 门禁
npx skills add promptfoo/promptfoo --skill promptfoo-evals -g -y
配置promptfoo连接被测系统，支持托管模型、HTTP API、本地脚本等。通过烟雾测试验证连接，映射变量、认证及响应转换，生成Provider或Target配置。
需要连接Promptfoo到新的API或服务端点
配置自定义Provider以支持特定认证或解析逻辑
为红队测试设置目标连接
npx skills add promptfoo/promptfoo --skill promptfoo-provider-setup -g -y
用于执行、重跑和检查 Promptfoo 红队扫描任务。支持从 YAML 配置运行评估，检查结果、失败原因及 CI 门禁，并进行故障排查与结果导出。
执行 Promptfoo 红队评估或扫描
检查红队测试结果与攻击成功率
对失败的测试用例进行重试或重新生成
导出红队报告或配置 CI 门禁
npx skills add promptfoo/promptfoo --skill promptfoo-redteam-run -g -y
用于生成 Promptfoo Redteam 配置，基于代码或探针证据推导目标、策略和插件，构建对抗性测试计划。
准备红队扫描计划
生成对抗性测试用例
npx skills add promptfoo/promptfoo --skill promptfoo-redteam-setup -g -y
