Skip to content

Commit 971d76b

Browse files
committed
Refactoring: Scraping API dynamically adjusts return value and type hints - provides additional parameters for Scraping API
1 parent 859b76a commit 971d76b

File tree

9 files changed

+273
-140
lines changed

9 files changed

+273
-140
lines changed

docs/cn.md

Lines changed: 3 additions & 1 deletion
Original file line numberDiff line numberDiff line change
@@ -4,19 +4,21 @@
44

55
x-crawl 是一个灵活的 nodejs 爬虫库。可批量爬取页面、批量网络请求、批量下载文件资源、轮询爬取等。用法灵活和简单,对 JS/TS 开发者友好。
66

7+
> 建议使用 TypeScript ,这样你就能体验到 x-crawl 非常友好的类型提示!
8+
79
> 如果你喜欢 x-crawl ,可以给 [x-crawl 存储库](https://github.com/coder-hxl/x-crawl) 点个 Star 支持一下,这是对它的认可。
810
911
## 特征
1012

1113
- **🔥 异步/同步** - 只需更改一下 mode 属性即可切换 异步/同步 爬取模式。
1214
- **⚙️ 多种功能** - 可批量爬取页面、批量网络请求、批量下载文件资源、轮询爬取等。
15+
- **🖋️ 写法灵活** - 一种功能适配多种爬取配置、获取爬取结果的写法,非常灵活。
1316
- **⏱️ 间隔爬取** - 无间隔/固定间隔/随机间隔,可以 使用/避免 高并发爬取。
1417
- **🔄 爬取重试** - 开发中。
1518
- **🚀 优先队列** - 开发中。
1619
- **☁️ 爬取 SPA** - 批量爬取 SPA(单页应用程序)生成预渲染内容(即“SSR”(服务器端渲染))。
1720
- **⚒️ 控制页面** - 无头浏览器可以表单提交、键盘输入、事件操作、生成页面的屏幕截图等。
1821
- **🧾 捕获记录** - 对爬取的结果进行捕获记录,并在控制台进行高亮的提醒。
19-
- **🖋️ 写法灵活** - 适配多种爬取配置、获取爬取结果的写法,非常灵活。
2022
- **🦾TypeScript** - 拥有类型,通过泛型实现完整的类型。
2123

2224
## 跟 puppeteer 的关系

0 commit comments

Comments
 (0)