Agent Skills
› promptfoo/promptfoo
promptfoo/promptfoo
GitHub定义红队插件与评分器的开发标准,规范标签使用、评估模板及变量结构,用于创建新插件或修改攻击模板。
安装全部 Skills
npx skills add promptfoo/promptfoo --all -g -y
集合内 Skills (10)
定义红队插件与评分器的开发标准,规范标签使用、评估模板及变量结构,用于创建新插件或修改攻击模板。
创建新的红队插件
编写评分器逻辑
修改攻击模板
npx skills add promptfoo/promptfoo --skill redteam-plugin-development -g -y
提供前端URL搜索参数和Hash状态管理指南,区分replace与push的使用场景,防止浏览器历史记录污染及返回按钮异常。
修改URL查询参数或Hash
处理浏览器前进后退历史问题
使用useSearchParams或navigate
npx skills add promptfoo/promptfoo --skill search-params -g -y
用于编写、运行和验证 promptfoo 评估套件,涵盖提示词、测试用例、断言及 CI 门禁,支持回归测试与新评估矩阵。
需要为 AI 模型或 RAG 管道创建评估测试
编写 promptfoo 配置文件或测试用例
执行提示词质量 QA 或回归测试
npx skills add promptfoo/promptfoo --skill promptfoo-evals -g -y
定义红队插件和评估器的开发标准,包括标签规范、评分模板结构及变量用法,用于创建新插件或修改攻击模板。
创建新的红队插件
编写评估器(graders)
修改攻击模板
npx skills add promptfoo/promptfoo --skill redteam-plugin-development -g -y
管理前端URL搜索参数和Hash状态,指导在更新URL时选择push或replace以正确处理浏览器历史。提供useSearchParamState、setSearchParams及navigate的正确使用模式,避免破坏后退按钮行为。
修改URL查询参数
处理Hash导航
修复浏览器前进后退问题
npx skills add promptfoo/promptfoo --skill search-params -g -y
用于审查折扣策略测试夹具,通过运行分析脚本获取关键信息并检查源代码,最终生成包含修复建议的维护报告。
需要审查折扣策略配置或代码时
请求对 discount-policy fixture 进行代码检视时
npx skills add promptfoo/promptfoo --skill discount-review -g -y
指导编写、运行和优化 Promptfoo 评估套件,涵盖定义行为、选择断言、构建配置及执行验证,用于评估 LLM 输出质量与正确性。
需要评估大模型输出准确性
创建或维护 Promptfoo 测试用例
配置 LLM 评估断言和 CI 门禁
npx skills add promptfoo/promptfoo --skill promptfoo-evals -g -y
配置 Promptfoo 连接模型、HTTP API 或本地代码,涵盖请求映射、响应解析及连通性测试。用于建立可靠的 Provider 基础环境,支持 OpenAPI 生成与多输入红队场景。
需要配置 Promptfoo 连接外部服务或模型
进行 API 连通性或 Provider 基础设置
npx skills add promptfoo/promptfoo --skill promptfoo-provider-setup -g -y
用于执行、检查及重跑 Promptfoo Redteam 安全扫描。涵盖配置预检、命令执行、结果导出与失败分类,支持 CI 门禁集成。
需要运行红队安全测试
分析红队扫描结果
排查安全测试错误
npx skills add promptfoo/promptfoo --skill promptfoo-redteam-run -g -y
配置 Promptfoo 红队测试,基于目标行为、代码或 OpenAPI 生成探测探针,涵盖安全边界映射、策略定义及插件配置。
需要配置 AI 应用红队测试扫描
根据 OpenAPI 或代码生成安全测试探针
npx skills add promptfoo/promptfoo --skill promptfoo-redteam-setup -g -y


