Agent Skills
› xcrawl-api/xcrawl-skills
xcrawl-api/xcrawl-skills
GitHub用于通过 XCrawl API 执行网站爬取任务,支持批量抓取、规则设计、异步状态轮询及结果交付,适用于数据获取与下游搜索工作流。
安装全部 Skills
npx skills add xcrawl-api/xcrawl-skills --all -g -y
集合内 Skills (5)
用于通过 XCrawl API 执行网站爬取任务,支持批量抓取、规则设计、异步状态轮询及结果交付,适用于数据获取与下游搜索工作流。
需要批量抓取网站内容
设计爬虫规则进行数据采集
查询爬取任务状态并获取结果
npx skills add xcrawl-api/xcrawl-skills --skill xcrawl-crawl -g -y
用于调用XCrawl Map API进行站点URL发现、正则过滤、范围估算及爬取规划。需配置API密钥,支持通过curl或Node.js发起请求以获取目标网站的URL列表。
需要进行网站URL发现
执行爬虫前的范围估算
制定全站爬取计划
npx skills add xcrawl-api/xcrawl-skills --skill xcrawl-map -g -y
用于通过XCrawl API进行单页面数据抓取,支持同步/异步执行、格式选择及JSON提取。需配置API Key,提供curl和Node.js调用示例。
需要抓取网页内容
从URL提取结构化数据
使用XCrawl服务
npx skills add xcrawl-api/xcrawl-skills --skill xcrawl-scrape -g -y
用于通过 XCrawl API 执行关键词搜索、控制位置与语言参数,并分析搜索结果及规划后续爬取任务。
需要执行网页搜索查询
设计搜索请求参数
分析搜索结果数据
npx skills add xcrawl-api/xcrawl-skills --skill xcrawl-search -g -y
XCrawl单页抓取技能,支持直接URL请求、格式选择、同步异步执行及JSON提取。需配置本地API Key,引导用户注册账户并管理积分,限制使用curl和node工具调用Scrape API。
用户直接使用XCcrawl进行网页数据抓取
需要提取特定URL的内容或结构化数据
npx skills add xcrawl-api/xcrawl-skills --skill xcrawl -g -y


