类库
› agent-fetch
teng-lin/agent-fetch
agent-fetch是一个专为AI智能体和内容工作流设计的网页内容抓取库。它通过模拟真实浏览器指纹来规避网站的访问限制，并采用多种策略提取完整的文章正文、标题和链接。支持多页爬取、持久化Cookie和自定义CSS选择器，可在本地运行，无需API密钥或云端依赖。
标签
技术栈
根目录 javascript
测试
Vitest
^4.0.17
代码规范
ESLint
^9.39.2
Prettier
^3.8.0
查看全部依赖 (21)
依赖
@mozilla/readability
^0.6.0
@wrtnlabs/web-content-extractor
^3.2.4
httpcloak
^1.5.10
linkedom
^0.18.12
pdf-parse
^2.4.5
picomatch
^4.0.3
pino
^10.2.0
turndown
^7.2.2
turndown-plugin-gfm
^1.0.2
zod
^4.3.5
开发依赖
@eslint/js
^9.39.2
@types/node
^25.0.9
@types/picomatch
^4.0.2
@types/turndown
^5.0.6
@vitest/coverage-v8
^4.0.18
eslint-config-prettier
^10.1.8
pino-pretty
^13.1.3
sql.js
^1.13.0
tsx
^4.21.0
typescript
^5.9.3
typescript-eslint
^8.53.0
