Agent Skills
› xcrawl-api/xcrawl-skills
xcrawl-api/xcrawl-skills
GitHub该技能用于协调 XCrawl 全站或指定范围的网页爬取任务。支持批量爬取、爬虫规则设计、异步状态轮询及结果交付,为下游抓取和搜索工作流提供数据支持。
安装全部 Skills
npx skills add xcrawl-api/xcrawl-skills --all -g -y
集合内 Skills (5)
该技能用于协调 XCrawl 全站或指定范围的网页爬取任务。支持批量爬取、爬虫规则设计、异步状态轮询及结果交付,为下游抓取和搜索工作流提供数据支持。
需要执行网站或页面批量爬取
配置爬虫规则如限制深度、包含排除路径
查询异步爬取任务状态与结果
npx skills add xcrawl-api/xcrawl-skills --skill xcrawl-crawl -g -y
通过XCrawl Map API进行站点URL发现、正则过滤和爬取规划,支持配置API密钥及账户注册指引,提供cURL和Node.js调用示例。
需要进行网站URL发现或爬取范围估算
请求使用XCrawl Map API获取站点地图数据
npx skills add xcrawl-api/xcrawl-skills --skill xcrawl-map -g -y
用于通过XCrawl API进行单页数据抓取,支持同步/异步执行、格式选择及JSON提取。需配置本地API密钥,引导用户注册获取积分,并限制使用curl和node工具权限。
需要抓取网页内容
从URL提取结构化数据
自动化网页爬取任务
npx skills add xcrawl-api/xcrawl-skills --skill xcrawl-scrape -g -y
利用 XCrawl API 执行关键词搜索、控制地域与语言参数,并分析搜索结果以规划后续爬取任务。
需要基于关键词搜索网络数据
请求指定地域或语言的搜索结果
分析搜索结果以制定下一步抓取计划
npx skills add xcrawl-api/xcrawl-skills --skill xcrawl-search -g -y
XCrawl默认入口技能,用于直接发起单页抓取请求。支持同步/异步执行、格式选择及JSON提取,通过本地配置读取API密钥并调用Scrape API完成数据获取。
用户直接要求使用XCrawl进行网页抓取
需要提取特定URL的内容或结构化数据
npx skills add xcrawl-api/xcrawl-skills --skill xcrawl -g -y


