Agent Skills
› langwatch/langwatch
langwatch/langwatch
GitHub用于拦截和检查 PostHog 及 Customer.io 分析调用的模拟服务，支持在测试中验证追踪事件是否触发，提供记录查询、断言及故障注入功能。
Install All Skills
npx skills add langwatch/langwatch --all -g -y
Skills in Collection (104)
Showing top 50 of 104 by quality score. Use the install list command or open individual skills for the rest.
用于拦截和检查 PostHog 及 Customer.io 分析调用的模拟服务，支持在测试中验证追踪事件是否触发，提供记录查询、断言及故障注入功能。
验证追踪事件是否触发
检查 PostHog 或 Customer.io 调用
在测试中断言分析数据
排查应用发送的分析内容
npx skills add langwatch/langwatch --skill analyticssim -g -y
协助用户通过可视化反馈迭代UI。读取用户备注，使用headless浏览器验证修复效果，最小化修改组件样式并等待用户确认。
browser pair
paired browser
let's look at this together
open chromium
npx skills add langwatch/langwatch --skill browser-pair -g -y
通过真实浏览器场景验证功能，生成带证据的通过/失败报告。不直接驱动浏览器，而是指导使用 haven browser 工具执行步骤、截图及记录结果。
browser test
verify this in the browser
walk the scenarios
check the feature live
npx skills add langwatch/langwatch --skill browser-test -g -y
用于在 packages/design-system 包内构建和主题化 Chakra UI v3 组件、配方及令牌。指导开发者基于现有上下文生成符合项目规范的 UI 代码，避免重复安装或错误导入。
需要创建或修改 Chakra UI 组件
需要在 design-system 包中配置主题或令牌
npx skills add langwatch/langwatch --skill chakra-ui-builder -g -y
针对 packages/design-system 内的 Chakra UI v3 代码进行审查或重构。检查无障碍、响应式及 API 规范性，提供批判性反馈或重写代码。
审查 Chakra UI 组件代码
将其他样式转换为 Chakra UI v3
优化设计系统内部 UI 实现
npx skills add langwatch/langwatch --skill chakra-ui-refactor -g -y
针对项目代码变更执行规则检查，涵盖标识符、多租户、分层架构、命名及单一职责等规范。自动比对分支或PR差异，逐项判定通过或失败并列出具体违规位置。
需要审查代码变更是否符合项目规范
在PR流程中检查代码质量与架构合规性
npx skills add langwatch/langwatch --skill code-review -g -y
提供仓库内代码搜索的最佳实践，指导根据场景选择 ripgrep、sgrep 或 gopls 等工具，涵盖字面量匹配、语义搜索及精确引用查找。
需要定位代码位置
执行语义搜索
查询函数调用者
npx skills add langwatch/langwatch --skill code-search -g -y
维护 LangWatch 产品的功能地图文件，确保 feature-map.json 与 FEATURE_MAP.md 同步。用于添加或重命名功能、API、UI 路由等时，验证代码与服务的一致性，保持产品架构文档的准确性。
新增或重命名用户可见功能
修改 REST API 命名空间
调整 UI 路由路径
注册新的 MCP 工具
更新 CLI 命令
npx skills add langwatch/langwatch --skill feature-map -g -y
GitHub App 本地模拟器，用于测试仓库、PR、Webhooks 及 OAuth 流程。支持伪造各种 HTTP 状态码和签名 Webhook，方便开发者在无真实 GitHub 环境时进行集成测试与调试。
haven github
githubsim
haven up +github
haven sim github
connect GitHub locally
fake GitHub App
GitHub rate limit
send a pull_request webhook
npx skills add langwatch/langwatch --skill githubsim -g -y
管理本地开发环境的浏览器登录状态，支持以管理员或种子用户身份生成 Playwright storage-state 文件，确保密码不泄露且仅限本地使用。
haven auth
haven browser login --as
sign in as admin
log in as a seeded user
storage state
a signed-in session for a script
what is the admin login
login for a Playwright test
how do I get a session without a password
npx skills add langwatch/langwatch --skill haven-auth -g -y
管理 haven 栈数据库（Postgres/ClickHouse/Redis）的初始化、重置、种子数据填充、状态查看及清理。提供连接字符串，强调执行破坏性操作前需用户确认。
haven db
reset the database
drop the database
reseed in place
db preset
database url
connection string for postgres
haven db prune
haven seed
haven db status
haven db logins
stray test databases
clickhouse url
the api refuses because the database is below the LTS floor
npx skills add langwatch/langwatch --skill haven-db -g -y
用于读取 Haven Orb 工具收集的用户反馈、页面控制台日志及网络请求数据，辅助前端开发人员进行 UI 调试和问题排查。
用户询问页面错误或反馈
需要查看控制台或网络请求记录
检查未解决的反馈笔记
npx skills add langwatch/langwatch --skill haven-orb -g -y
用于在本地沙箱或持久环境中尝试和运行 GitHub PR，支持自动安装、环境搭建及销毁，适用于代码审查和本地验证场景。
try a PR locally
haven pr
haven play
run this PR in a sandbox
review a PR by running it
npx skills add langwatch/langwatch --skill haven-play -g -y
用于为 haven 堆栈生成种子数据、查看登录凭据及状态，支持自动播种、多种数据规模预设和干运行检查。
填充测试或开发环境的初始数据
获取生成的虚假账号和密码以便登录
检查种子数据的生成进度或状态
在启动时跳过自动数据播种
npx skills add langwatch/langwatch --skill haven-seed -g -y
提供LangWatch本地开发环境的启动与故障排查指南，涵盖代理配置、CA信任、现有服务复用及WSL2等环境下的常见陷阱处理。
启动本地开发环境
解决开发栈连接或DNS问题
npx skills add langwatch/langwatch --skill haven-setup -g -y
本地模拟企业身份提供商（IdP），支持 OIDC、SAML、SCIM 及域名验证，无需外部 IdP 即可测试 SSO、用户同步和登录流程。
haven idp
idpsim
fake IdP
test SSO locally
SAML login
OIDC provider
SCIM push
provision users
domain verification
DNS TXT proof
haven sim idp
idp console
npx skills add langwatch/langwatch --skill idpsim -g -y
本地模拟 AWS Lambda 和 CloudWatch Logs，用于 NLP 函数开发与调试。支持流式调用、错误注入（限流、404等）及 API 调用审计，无需真实 AWS 环境即可测试 Lambda 路径。
haven lambda
lambdasim
haven up +lambda
haven sim lambda
NLP Lambda locally
per-project Lambda
LANGWATCH_NLP_LAMBDA_CONFIG in dev
test the Lambda path without AWS
force a Lambda throttle
InvokeWithResponseStream locally
npx skills add langwatch/langwatch --skill lambdasim -g -y
管理 LangWatch GitHub 项目看板，支持同步状态、查看个人任务、查找停滞项及移动事项。
需要同步或更新项目看板状态时
查询当前用户分配的任务列表时
查找长时间未更新的停滞问题时
npx skills add langwatch/langwatch --skill langwatch-kanban -g -y
LLM模拟服务，通过马尔可夫链或预设模板提供零成本、确定性的模型响应。支持主流API协议，用于测试、负载运行及无需真实密钥的开发场景。
需要免费且确定的LLM调用
无API密钥环境下的开发调试
进行重复性模型输出测试或负载运行
模拟特定错误状态如429或500
npx skills add langwatch/langwatch --skill llmsim -g -y
本地 SMTP 接收器，用于捕获、查看和断言应用发送的邮件。提供 HTTP API 和 CLI 工具，支持邮件查询、等待、故障注入及负载测试，便于开发调试邮件功能。
触发场景1: 用户询问邮件是否发送或查找验证码/邀请链接邮件
触发场景2: 需要模拟 SMTP 服务进行邮件功能的单元测试或负载测试
npx skills add langwatch/langwatch --skill mailsim -g -y
指导如何创建、安装和导入 LangWatch 模块，涵盖目录结构、依赖方向及规范。
new module
add a module
install a module
npx skills add langwatch/langwatch --skill module -g -y
模拟Slack、Webhook和SQS等出站消息通道，支持注入故障、验证签名及断言发送状态。主要用于测试环境中拦截和检查外部服务调用，辅助开发与调试。
haven outbound
did the Slack alert fire
webhook delivery
check the signature
retry a failing receiver
SQS message
outboundsim
haven sim outbound
npx skills add langwatch/langwatch --skill outboundsim -g -y
用于确定代码变更或数据表所属模块，防止跨模块编辑。通过查阅 README 和目录文件识别所有者，指导调用 API 或申请新操作，维护模块边界与依赖规范。
询问谁拥有某个表、路由或主题
判断变更应归属哪个模块
尝试跨模块编辑时确认权限
查询模块间的依赖关系
npx skills add langwatch/langwatch --skill ownership -g -y
解析 LangWatch 仓库目录结构，指导代码、模块及服务的正确放置位置，解决包与应用的归属疑问。
询问代码或功能应放在哪个文件夹
判断新创建的是模块还是应用
区分 apps、modules、packages 和 services 的用途
npx skills add langwatch/langwatch --skill repo-tree -g -y
提供本地 S3 模拟服务，用于存储、检查和断言上传文件。支持通过 CLI 或 API 管理对象、生成预签名 URL 及模拟错误，辅助开发调试和负载测试。
haven storage
where did the upload go
presigned URL
S3 locally
storagesim
check the object exists
NoSuchKey
storage console
npx skills add langwatch/langwatch --skill storagesim -g -y
本地模拟 ElevenLabs 语音交互及 OpenAI 音频服务，提供固定脚本响应与调试控制台。用于在不依赖真实 API 的情况下测试语音代理、签名 URL 生成及通话流程，支持状态查看、调用清理及负载限制配置。
测试语音代理逻辑
模拟 ElevenLabs 签名 URL
本地语音通话调试
验证语音提供商集成
npx skills add langwatch/langwatch --skill voicesim -g -y
通过 langwatch CLI 读取 LLM 运行轨迹和会话事件，用于排查失败的调用、分析慢速执行或验证编码活动记录。支持按 ID 查询及日期范围筛选，提供只读的数据回溯能力。
调试失败的 LLM 运行
分析缓慢的模型调用
查询特定 trace 或 session 详情
检查编码会话是否被捕获
npx skills add langwatch/langwatch --skill langwatch -g -y
代表用户操作 GitHub，完成克隆、分支、提交、推送并创建真实 Pull Request。自动处理 Git 配置与 Token 安全，确保 PR 以用户身份提交，适用于修复代码或提交补丁场景。
用户要求打开 PR
修复仓库问题并提交
发送补丁
在 GitHub 上落地代码变更
npx skills add langwatch/langwatch --skill github -g -y
作为AI工程顾问，审计Agent代码库、追踪及评估情况，对比最佳实践并指导修复差距。涵盖可观测性、提示词管理、测试与生产监控，从快速修复到深度优化，提升Agent工程质量。
希望提升Agent开发质量
需要审计Agent最佳实践合规性
寻求Agent工程化改进建议
npx skills add langwatch/langwatch --skill agent-best-practices -g -y
该技能用于深度诊断 AI Agent 在生产环境中的行为表现。通过分析 LangWatch 的流量数据、追踪记录和指标，识别失败模式、成本热点和异常行为，并生成包含真实追踪链接的详细 HTML 报告，帮助理解 Agent 实际运行状况。
需要分析 AI Agent 在生产环境的实际表现
排查 Agent 失败原因或用户不满
监控 Token 成本和延迟趋势
生成生产环境行为诊断报告
npx skills add langwatch/langwatch --skill agent-performance -g -y
用于配置 LangWatch 自动化、警报和报告，支持通过 Slack、邮件或 Webhook 发送通知。需先检查现有配置，严禁在对话中处理敏感凭证，应引导用户通过界面添加连接。
用户希望设置基于追踪条件或自定义图表阈值的自动化操作
用户需要创建定时报告并分发到指定渠道
用户询问如何配置 Slack 或邮件通知
npx skills add langwatch/langwatch --skill automations -g -y
用于在用户本地机器或GitHub上修改代码，通过获取代码访问权限、探索工作区并执行编辑操作，将变更提交为分支和PR，适用于SDK集成、代理修复等需直接修改代码的场景。
需要修改用户代码
集成SDK或追踪
修复代理行为
npx skills add langwatch/langwatch --skill code-changes -g -y
分析 LangWatch 编码代理会话上下文经济性，基于实际数据找出成本效益最佳上下文大小，生成优化报告。
需要分析 AI 编码代理会话的上下文成本和效率
感觉编码代理会话随着上下文增长变得昂贵或性能下降
npx skills add langwatch/langwatch --skill context-sweet-spot -g -y
自动化读取 LangWatch 仪表板数据，对比指定时间窗口并生成变更摘要卡片。用于每日洞察运行，提取关键发现，不执行写入操作。
用户消息以 'Daily insights run' 开头并命名此 skill
npx skills add langwatch/langwatch --skill daily-insights -g -y
将自然语言问题转化为LangWatchQL查询和React组件的仪表板小部件。涵盖模式发现、SQL编写、组件开发及渲染验证，适用于自定义图表构建与迭代。
构建自定义仪表板小部件
原型设计可视化组件
迭代现有图表逻辑
npx skills add langwatch/langwatch --skill dashboard-widgets -g -y
通过交互式流程分析代码库与生产数据，生成逼真且高质量的评估数据集。包含探索、计划、预览及最终交付步骤，确保数据贴近真实用户场景，用于模型评估或基准测试。
用户要求生成评估数据集
用户需要构建测试或基准测试数据
npx skills add langwatch/langwatch --skill datasets -g -y
使用 langwatch CLI 检查生产环境追踪数据，诊断输入输出缺失、Span 断开、元数据遗漏等问题并提供修复方案。
追踪数据不完整或损坏
需要排查 LangWatch 集成问题
npx skills add langwatch/langwatch --skill debug-instrumentation -g -y
使用 LangWatch CLI 诊断生产环境中的 Agent 错误。通过查找错误 Trace、检查 Span 细节及评估器得分，快速定位根因，解决失败或异常行为。
生产环境 Agent 运行失败
需要排查 LLM 调用错误或延迟问题
分析监控告警与评估分数
npx skills add langwatch/langwatch --skill debug-with-langwatch -g -y
通过UI命令驱动用户当前页面的交互，支持列出动作、调用执行及读取状态。适用于评估工作台等场景，需区分操作在浏览器前端还是后端执行，确保结果反馈准确并避免误导用户。
需要直接操作用户当前打开的Web页面
需要在评估工作台中执行UI交互动作
npx skills add langwatch/langwatch --skill drive-the-ui -g -y
利用 LangWatch CLI 排查实验失败与评估回归。通过定位失败运行、隔离异常数据行及检查评估器，区分执行错误与分数漂移，进而追溯至 Prompt、模型或代码等根本原因。
实验运行失败
评估分数下降
需要定位回归根因
npx skills add langwatch/langwatch --skill eval-triage -g -y
指导评估处理图像、音频、PDF等多模态输入的AI代理，利用LangWatch的LLM-as-judge和Scenario工具进行质量评估与测试。
需要评估多模态AI代理
构建非文本输入的处理流程
npx skills add langwatch/langwatch --skill evaluate-multimodal -g -y
LangWatch评估请求的路由技能，用于区分离线实验与在线评估。通过意图分类将请求分发至experiments或online-evaluations技能，模糊时询问用户确认，确保调用正确的专用工作流。
用户提出评估需求但意图不明确
需要路由到具体评估技能的场景
npx skills add langwatch/langwatch --skill evaluations -g -y
用于在部署前对 Agent 进行批量测试，支持提示词/模型对比、回归检测及 CI 质量门禁。通过构建领域数据集和评估器来衡量输出质量并推荐改进，不适用于生产监控。
用户希望测试 Agent 行为或检测回归
需要比较不同提示词或模型的效果
为 CI/CD 流程添加质量门禁
npx skills add langwatch/langwatch --skill experiments -g -y
将用户自然语言描述的概念转换为追踪过滤器，通过Trace Explorer或CLI搜索并展示匹配的结果、计数及链接。
查找特定类型的追踪记录
根据概念筛选追踪数据
npx skills add langwatch/langwatch --skill find-traces -g -y
分析RAG知识库内容，生成包含事实、推理、对比及边界案例的多样化问答对数据集。支持Python DataFrame和CSV格式导出，用于LangWatch平台导入及RAG管道评估测试，确保答案准确并覆盖负向场景。
需要为RAG系统生成测试数据
构建RAG评估数据集
准备LangWatch实验数据
npx skills add langwatch/langwatch --skill generate-rag-dataset -g -y
用于在GitHub仓库中执行克隆、分支、提交并创建真实Pull Request的自动化技能。适用于用户请求修复代码、发送补丁或提交PR的场景，由LangWatch应用代为操作。
用户要求打开PR
修复代码并提交补丁
将代码变更落地到GitHub
npx skills add langwatch/langwatch --skill github -g -y
引导式技能，根据用户注册选择的路径（LLM Ops、编码代理等）在Langy面板中自动配置环境。处理虚拟密钥、网关及无代理文件夹的边界情况，确保无缝设置体验。
Guided onboarding kickoff
Let's set up ... then.
npx skills add langwatch/langwatch --skill guided-onboarding -g -y
集成 LangWatch 实现 AI Agent 的全链路可观测性，包括追踪、提示词版本管理、评估实验及模拟测试。指导用户处理免费额度限制，并遵循先阅读代码库再提供优化建议的顾问模式流程。
需要为 AI Agent 添加完整可观测性
希望进行提示词版本管理和评估实验
需要设置代理模拟测试
npx skills add langwatch/langwatch --skill level-up -g -y
将自然语言问题转化为可保存并置于仪表盘的动态分析图表。流程包括发现LangWatchQL数据模式、编写带保留参数的SQL、生成Vega-Lite规范、保存并测试运行，确保指标准确展示。
需要构建或创建新的分析图表
需要将查询结果保存到仪表盘进行监控
询问特定指标的可视化展示
npx skills add langwatch/langwatch --skill lwql-charts -g -y
配置 LangWatch 在线评估和护栏以监控生产流量。用于实时评分、质量趋势监测、流量采样及同步拦截不安全请求，不适用于批量实验。
用户希望为生产环境配置实时评估或质量监控
用户需要设置同步护栏以拦截不安全请求或响应
npx skills add langwatch/langwatch --skill online-evaluations -g -y
