Agent Skills
› promptfoo/promptfoo
promptfoo/promptfoo
GitHub定义红队插件与评分器的开发规范，涵盖标签标准化、Rubric结构及攻击模板变量，用于创建或修改安全测试组件。
Install All Skills
npx skills add promptfoo/promptfoo --all -g -y
Skills in Collection (10)
定义红队插件与评分器的开发规范，涵盖标签标准化、Rubric结构及攻击模板变量，用于创建或修改安全测试组件。
创建新的红队插件
编写评分器逻辑
修改攻击模板
npx skills add promptfoo/promptfoo --skill redteam-plugin-development -g -y
管理URL搜索参数和Hash状态，指导在React中正确使用push或replace更新URL，避免浏览器历史污染及返回按钮异常。
修改URL搜索参数
处理Hash片段导航
修复浏览器前进后退问题
npx skills add promptfoo/promptfoo --skill search-params -g -y
用于编写、运行和审查 Promptfoo 评估套件，涵盖测试用例、断言及模型评分。支持回归测试与新评估矩阵构建，适用于提示词、Agent 及 RAG 管道的质量保障，排除红队攻击场景。
需要为 LLM 应用或 Agent 编写自动化测试用例
配置 Promptfoo 评估套件以进行回归测试或新模型对比
设计提示词输入输出验证逻辑
npx skills add promptfoo/promptfoo --skill promptfoo-evals -g -y
规范红队插件与评分器的开发标准，定义标签使用、评分器结构及攻击模板格式，用于创建新插件或修改攻击模板。
创建新的红队插件
编写评分器逻辑
修改攻击模板
npx skills add promptfoo/promptfoo --skill redteam-plugin-development -g -y
提供前端 URL 搜索参数和哈希状态管理的最佳实践，指导根据场景选择 push 或 replace 策略，防止浏览器历史混乱及返回按钮异常。
修改 URL 查询参数
处理路由导航中的 history 行为
修复浏览器前进后退按钮问题
npx skills add promptfoo/promptfoo --skill search-params -g -y
用于审查折扣策略夹具，通过运行分析脚本获取关键信息并检查源代码，最终生成包含命令和修复建议的维护者报告。
审查折扣策略
分析 discount-policy fixture
npx skills add promptfoo/promptfoo --skill discount-review -g -y
用于编写、运行和验证 promptfoo 评估套件，涵盖测试用例、断言及 CI 门禁。适用于回归测试和质量评估，不涉及新 Provider 配置或红队安全扫描。
编写 LLM 应用评估脚本
构建自动化回归测试套件
配置 Promptfoo 断言与 CI 集成
npx skills add promptfoo/promptfoo --skill promptfoo-evals -g -y
配置promptfoo连接测试系统，支持托管模型、HTTP API及本地脚本。通过安全冒烟测试验证连接，映射变量与认证，生成Provider或Target配置块，确保评估环境可靠接入。
配置promptfoo Provider或Redteam Target
连接外部API或本地脚本进行LLM评估
生成Provider配置文件以进行冒烟测试
npx skills add promptfoo/promptfoo --skill promptfoo-provider-setup -g -y
用于执行、重跑和检查 promptfoo redteam 安全扫描，支持结果导出、失败排查及 CI 门禁配置。
执行红队测试评估或生成
分析攻击成功率与评分失败原因
导出扫描报告或配置 CI 门禁
npx skills add promptfoo/promptfoo --skill promptfoo-redteam-run -g -y
用于创建或优化promptfoo红队测试配置，基于代码证据生成对抗性测试用例，覆盖目标定义、策略选择及插件配置。
准备红队扫描计划
生成对抗性测试用例
从代码或探针推导威胁模型
npx skills add promptfoo/promptfoo --skill promptfoo-redteam-setup -g -y
