Skip to content

Commit b367332

Browse files
committed
docs: update
1 parent 97acbb9 commit b367332

File tree

2 files changed

+79
-4
lines changed

2 files changed

+79
-4
lines changed

README.md

Lines changed: 2 additions & 2 deletions
Original file line numberDiff line numberDiff line change
@@ -232,8 +232,8 @@ const requestConfig = [
232232
]
233233
234234
myXCrawl.fetchData({
235-
requestConfig, // Request configuration, can be RequestConfig | RequestConfig[]
236-
intervalTime: { max: 5000, min: 1000 } // The intervalTime passed in when creating myXCrawl is not used
235+
requestConfig,
236+
intervalTime: { max: 5000, min: 1000 }
237237
}).then(res => {
238238
console.log(res)
239239
})

docs/cn.md

Lines changed: 77 additions & 2 deletions
Original file line numberDiff line numberDiff line change
@@ -4,6 +4,8 @@
44

55
x-crawl 是 Nodejs 多功能爬虫库。
66

7+
如果对您有帮助,可以点个 Star 支持一下。
8+
79
## 特征
810

911
- 只需简单的配置即可抓取页面、JSON、文件资源等等。
@@ -29,6 +31,11 @@ fetchPage API 内部使用 [puppeteer](https://github.com/puppeteer/puppeteer)
2931
- [安装](#安装)
3032
- [示例](#示例)
3133
- [核心概念](#核心概念)
34+
* [创建第一个爬虫实例](#创建第一个爬虫实例)
35+
* [爬取页面](#爬取页面)
36+
* [爬取接口](#爬取接口)
37+
* [爬取文件](#爬取文件)
38+
- [API](#API)
3239
* [xCrawl](#xCrawl)
3340
+ [类型](#类型-1)
3441
+ [示例](#示例-1)
@@ -120,6 +127,72 @@ myXCrawl.startPolling({ d: 1 }, () => {
120127
121128
## 核心概念
122129
130+
### 创建一个爬虫应用实例
131+
132+
```js
133+
import xCrawl from 'x-crawl'
134+
135+
const myXCrawl = xCrawl({
136+
// 选项
137+
})
138+
```
139+
140+
有关选项内容可参考 [XCrawlBaseConfig](#XCrawlBaseConfig) 。
141+
142+
### 爬取页面
143+
144+
可以通过 [fetchPage()](#fetchPage) 爬取接口数据
145+
146+
```js
147+
myXCrawl.fetchPage('https://xxx.com').then(res => {
148+
const { jsdom, page } = res
149+
})
150+
```
151+
152+
### 爬取接口
153+
154+
可以通过 [fetchData()](#fetchData) 爬取接口数据
155+
156+
```js
157+
const requestConfig = [
158+
{ url: '/xxxx', method: 'GET' },
159+
{ url: '/xxxx', method: 'GET' },
160+
{ url: '/xxxx', method: 'GET' }
161+
]
162+
163+
myXCrawl.fetchData({
164+
requestConfig,
165+
intervalTime: { max: 5000, min: 1000 }
166+
}).then(res => {
167+
console.log(res)
168+
})
169+
```
170+
171+
### 爬取文件
172+
173+
可以通过 [fetchFile()](#fetchFile) 爬取文件数据
174+
175+
```js
176+
import path from 'node:path'
177+
178+
const requestConfig = [
179+
{ url: '/xxxx' },
180+
{ url: '/xxxx' },
181+
{ url: '/xxxx' }
182+
]
183+
184+
myXCrawl.fetchFile({
185+
requestConfig,
186+
fileConfig: {
187+
storeDir: path.resolve(__dirname, './upload') // 存放文件夹
188+
}
189+
}).then(fileInfos => {
190+
console.log(fileInfos)
191+
})
192+
```
193+
194+
## API
195+
123196
### xCrawl
124197
125198
通过调用 xCrawl 创建一个爬虫实例。请求队列是由实例方法内部自己维护,并非由实例自己维护。
@@ -224,8 +297,8 @@ const requestConfig = [
224297
]
225298
226299
myXCrawl.fetchData({
227-
requestConfig, // 请求配置, 可以是 RequestConfig | RequestConfig[]
228-
intervalTime: { max: 5000, min: 1000 } // 不使用创建 myXCrawl 时传入的 intervalTime
300+
requestConfig,
301+
intervalTime: { max: 5000, min: 1000 }
229302
}).then(res => {
230303
console.log(res)
231304
})
@@ -252,6 +325,8 @@ function fetchFile: (
252325
#### 示例
253326
254327
```js
328+
import path from 'node:path'
329+
255330
const requestConfig = [
256331
{ url: '/xxxx' },
257332
{ url: '/xxxx' },

0 commit comments

Comments
 (0)