Agent Skills
› xcrawl-api/xcrawl-skills
xcrawl-api/xcrawl-skills
GitHub用于通过XCrawl API执行网站批量爬取、规则设计及异步状态轮询,为下游抓取和搜索工作流交付数据。需配置API密钥并处理凭证。
Install All Skills
npx skills add xcrawl-api/xcrawl-skills --all -g -y
Skills in Collection (5)
用于通过XCrawl API执行网站批量爬取、规则设计及异步状态轮询,为下游抓取和搜索工作流交付数据。需配置API密钥并处理凭证。
需要批量爬取网站内容
设计爬虫抓取规则
查询爬取任务异步状态
获取网页原始数据供下游使用
npx skills add xcrawl-api/xcrawl-skills --skill xcrawl-crawl -g -y
通过XCrawl Map API发现网站URL,支持正则过滤、范围估算和爬取规划。需配置API密钥,提供cURL和Node调用示例,指导用户注册账号并获取积分以执行爬取任务。
需要发现网站URL结构
进行爬虫前的范围评估与规划
根据正则表达式过滤目标URL
npx skills add xcrawl-api/xcrawl-skills --skill xcrawl-map -g -y
用于通过 XCrawl API 执行单页网页抓取,支持同步/异步模式及 JSON 提取。需配置本地密钥,指导用户注册获取积分,并限制使用 curl 和 node 权限进行数据抽取。
需要抓取单个网页内容
需要从网页中提取结构化数据如标题价格
npx skills add xcrawl-api/xcrawl-skills --skill xcrawl-scrape -g -y
基于XCrawl API执行关键词搜索、地理位置与语言控制,支持结果分析与后续爬取规划。需配置API密钥,提供cURL和Node.js调用示例,返回原始响应数据。
需要执行网页关键词搜索任务
需要根据特定地区和语言获取搜索结果
需要分析搜索结果并规划后续抓取
npx skills add xcrawl-api/xcrawl-skills --skill xcrawl-search -g -y
XCrawl默认入口技能,支持单页抓取、格式选择及同步/异步执行。通过Scrape API提取URL内容,支持JSON模式与提示词提取,需配置本地API密钥并处理权限请求。
用户直接请求使用XCrawl进行网页数据抓取
需要提取特定单页URL的内容或结构化数据
npx skills add xcrawl-api/xcrawl-skills --skill xcrawl -g -y


