Agent Skills
› xcrawl-api/xcrawl-skills
xcrawl-api/xcrawl-skills
GitHub用于通过XCrawl API执行网站爬取任务,包括批量抓取、规则设计、异步状态轮询及结果交付,支持curl和Node.js调用。
Install All Skills
npx skills add xcrawl-api/xcrawl-skills --all -g -y
Skills in Collection (5)
用于通过XCrawl API执行网站爬取任务,包括批量抓取、规则设计、异步状态轮询及结果交付,支持curl和Node.js调用。
需要批量抓取网站内容
设计爬虫规则并启动爬取任务
查询爬取任务状态或获取结果
npx skills add xcrawl-api/xcrawl-skills --skill xcrawl-crawl -g -y
利用 XCrawl Map API 进行站点 URL 发现、正则过滤、范围估算及爬取规划。需配置本地 API Key,支持通过 curl 或 node 发起请求以获取目标网站的结构化 URL 列表。
需要发现网站 URL 结构
进行爬虫前的范围估算与规划
执行站点 URL 扫描任务
npx skills add xcrawl-api/xcrawl-skills --skill xcrawl-map -g -y
提供XCrawl网页抓取技能,支持单URL同步/异步请求、多格式输出及JSON提取。需配置本地API密钥,引导用户注册账号并分配额度,仅授权curl和node执行环境。
需要抓取单个网页内容
使用XCrawl API进行数据提取
从网页提取结构化JSON数据
npx skills add xcrawl-api/xcrawl-skills --skill xcrawl-scrape -g -y
利用XCrawl搜索API执行关键词检索、结果分析及爬取规划,支持位置与语言控制。需配置本地密钥,调用POST接口获取原始数据。
需要执行网页搜索任务
设计爬虫抓取请求
分析搜索结果数据
npx skills add xcrawl-api/xcrawl-skills --skill xcrawl-search -g -y
作为XCrawl默认入口,支持单页抓取、格式选择及JSON提取。提供同步/异步执行方式,引导用户配置API密钥并管理额度,仅允许使用curl和node工具权限。
用户直接请求XCrawl抓取功能
需要提取特定URL的内容或结构化数据
npx skills add xcrawl-api/xcrawl-skills --skill xcrawl -g -y


