@@ -62,25 +62,25 @@ crawlPage API 内置了 [puppeteer](https://github.com/puppeteer/puppeteer) ,
62
62
- [ 类型] ( #类型-1 )
63
63
- [ 示例] ( #示例-2 )
64
64
- [ 配置] ( #配置 )
65
- - [ 1. 简单目标配置 - string] ( #1. 简单目标配置---string )
66
- - [ 2. 详细目标配置 - CrawlPageDetailTargetConfig] ( #2. 详细目标配置---CrawlPageDetailTargetConfig )
67
- - [ 3. 混合目标数组配置 - (string | CrawlPageDetailTargetConfig)[ ]] ( < #3. 混合目标数组配置---( string-| -CrawlPageDetailTargetConfig)[] > )
68
- - [ 4. 进阶配置 - CrawlPageAdvancedConfig] ( #4. 进阶配置---CrawlPageAdvancedConfig )
65
+ - [ 简单目标配置 - string] ( #简单目标配置---string )
66
+ - [ 详细目标配置 - CrawlPageDetailTargetConfig] ( #详细目标配置---CrawlPageDetailTargetConfig )
67
+ - [ 混合目标数组配置 - (string | CrawlPageDetailTargetConfig)[ ]] ( # 混合目标数组配置---string--CrawlPageDetailTargetConfig)
68
+ - [ 进阶配置 - CrawlPageAdvancedConfig] ( #进阶配置---CrawlPageAdvancedConfig )
69
69
- [ crawlData] ( #crawlData )
70
70
- [ 类型] ( #类型-2 )
71
71
- [ 示例] ( #示例-3 )
72
72
- [ 配置] ( #配置-1 )
73
- - [ 1. 简单目标配置 - string] ( #1. 简单目标配置---string-1 )
74
- - [ 2. 详细目标配置 - CrawlDataDetailTargetConfig] ( #2. 详细目标配置---CrawlDataDetailTargetConfig )
75
- - [ 3. 混合目标数组配置 - (string | CrawlDataDetailTargetConfig)[ ]] ( < #3. 混合目标数组配置---( string-| -CrawlDataDetailTargetConfig)[] > )
76
- - [ 4. 进阶配置 - CrawlDataAdvancedConfig] ( #4. 进阶配置---CrawlDataAdvancedConfig )
73
+ - [ 简单目标配置 - string] ( #简单目标配置---string-1 )
74
+ - [ 详细目标配置 - CrawlDataDetailTargetConfig] ( #详细目标配置---CrawlDataDetailTargetConfig )
75
+ - [ 混合目标数组配置 - (string | CrawlDataDetailTargetConfig)[ ]] ( # 混合目标数组配置---string--CrawlDataDetailTargetConfig)
76
+ - [ 进阶配置 - CrawlDataAdvancedConfig] ( #进阶配置---CrawlDataAdvancedConfig )
77
77
- [ crawlFile] ( #crawlFile )
78
78
- [ 类型] ( #类型-3 )
79
79
- [ 示例] ( #示例-4 )
80
80
- [ 配置] ( #配置-2 )
81
- - [ 1. 详细目标配置 - CrawlFileDetailTargetConfig] ( #1. 详细目标配置---CrawlFileDetailTargetConfig )
82
- - [ 2. 详细目标数组配置 - CrawlFileDetailTargetConfig[ ]] ( 2. 详细目标数组配置---CrawlFileDetailTargetConfig[] )
83
- - [ 3. 进阶配置 - CrawlFileAdvancedConfig] ( #3. 进阶配置---CrawlFileAdvancedConfig )
81
+ - [ 详细目标配置 - CrawlFileDetailTargetConfig] ( #详细目标配置---CrawlFileDetailTargetConfig )
82
+ - [ 详细目标数组配置 - CrawlFileDetailTargetConfig[ ]] ( # 详细目标数组配置---CrawlFileDetailTargetConfig)
83
+ - [ 进阶配置 - CrawlFileAdvancedConfig] ( #进阶配置---CrawlFileAdvancedConfig )
84
84
- [ startPolling] ( #startPolling )
85
85
- [ 类型] ( #类型-4 )
86
86
- [ 示例] ( #示例-5 )
@@ -694,7 +694,7 @@ myXCrawl.crawlPage('https://www.example.com').then((res) => {
694
694
- 混合目标数组配置 - (string | CrawlPageDetailTargetConfig)[]
695
695
- 进阶配置 - CrawlPageAdvancedConfig
696
696
697
- ##### 1. 简单目标配置 - string
697
+ ##### 简单目标配置 - string
698
698
699
699
这是简单目标配置。如果你只想单纯爬一下这个页面,可以试试这种写法:
700
700
@@ -708,7 +708,7 @@ myXCrawl.crawlPage('https://www.example.com').then((res) => {})
708
708
709
709
拿到的 res 将是一个对象。
710
710
711
- ##### 2. 详细目标配置 - CrawlPageDetailTargetConfig
711
+ ##### 详细目标配置 - CrawlPageDetailTargetConfig
712
712
713
713
这是详细目标配置。如果你想爬一下这个页面,并且需要失败重试之类的,可以试试这种写法:
714
714
@@ -730,7 +730,7 @@ myXCrawl
730
730
731
731
更多配置选项可以查看 [CrawlPageDetailTargetConfig](#CrawlPageDetailTargetConfig) 。
732
732
733
- ##### 3. 混合目标数组配置 - (string | CrawlPageDetailTargetConfig)[]
733
+ ##### 混合目标数组配置 - (string | CrawlPageDetailTargetConfig)[]
734
734
735
735
这是混合目标数组配置。如果你想爬取多个页面,并且有些页面需要失败重试之类的,可以试试这种写法:
736
736
@@ -751,7 +751,7 @@ myXCrawl
751
751
752
752
更多配置选项可以查看 [CrawlPageDetailTargetConfig](#CrawlPageDetailTargetConfig) 。
753
753
754
- ##### 4. 进阶配置 - CrawlPageAdvancedConfig
754
+ ##### 进阶配置 - CrawlPageAdvancedConfig
755
755
756
756
这是进阶配置,targets 是混合目标数组配置。如果你想爬取多个页面,并且请求配置(proxy、cookies、重试等等)不想重复写,需要间隔时间的话,可以试试这种写法:
757
757
@@ -852,7 +852,7 @@ myXCrawl
852
852
- 混合目标数组配置 - (string | CrawlDataDetailTargetConfig)[]
853
853
- 进阶配置 - CrawlDataAdvancedConfig
854
854
855
- ##### 1. 简单目标配置 - string
855
+ ##### 简单目标配置 - string
856
856
857
857
这是简单目标配置。如果你只想单纯爬一下这个数据,并且该接口是 GET 方式的,可以试试这种写法:
858
858
@@ -866,7 +866,7 @@ myXCrawl.crawlData('https://www.example.com/api').then((res) => {})
866
866
867
867
拿到的 res 将是一个对象。
868
868
869
- ##### 2. 详细目标配置 - CrawlDataDetailTargetConfig
869
+ ##### 详细目标配置 - CrawlDataDetailTargetConfig
870
870
871
871
这是详细目标配置。如果你想爬一下这个数据,并且需要失败重试之类的,可以试试这种写法:
872
872
@@ -888,7 +888,7 @@ myXCrawl
888
888
889
889
更多配置选项可以查看 [CrawlDataDetailTargetConfig](#CrawlDataDetailTargetConfig) 。
890
890
891
- ##### 3. 混合目标数组配置 - (string | CrawlDataDetailTargetConfig)[]
891
+ ##### 混合目标数组配置 - (string | CrawlDataDetailTargetConfig)[]
892
892
893
893
这是混合目标数组配置。如果你想爬取多个数据,并且有些数据需要失败重试之类的,可以试试这种写法:
894
894
@@ -909,7 +909,7 @@ myXCrawl
909
909
910
910
更多配置选项可以查看 [CrawlDataDetailTargetConfig](#CrawlDataDetailTargetConfig) 。
911
911
912
- ##### 4. 进阶配置 - CrawlDataAdvancedConfig
912
+ ##### 进阶配置 - CrawlDataAdvancedConfig
913
913
914
914
这是进阶配置,targets 是混合目标数组配置。如果你想爬取多个数据,并且请求配置(proxy、cookies、重试等等)不想重复写,需要间隔时间的话,可以试试这种写法:
915
915
@@ -1005,7 +1005,7 @@ myXCrawl
1005
1005
- 详细目标数组配置 - CrawlFileDetailTargetConfig[]
1006
1006
- 进阶配置 - CrawlFileAdvancedConfig
1007
1007
1008
- ##### 1. 详细目标配置 - CrawlFileDetailTargetConfig
1008
+ ##### 详细目标配置 - CrawlFileDetailTargetConfig
1009
1009
1010
1010
这是详细目标配置。如果你想爬一下这个文件,并且需要失败重试之类的,可以试试这种写法:
1011
1011
@@ -1029,7 +1029,7 @@ myXCrawl
1029
1029
1030
1030
更多配置选项可以查看 [CrawlFileDetailTargetConfig](#CrawlFileDetailTargetConfig) 。
1031
1031
1032
- ##### 2. 详细目标数组配置 - CrawlFileDetailTargetConfig[]
1032
+ ##### 详细目标数组配置 - CrawlFileDetailTargetConfig[]
1033
1033
1034
1034
这是详细目标数组配置。如果你想爬取多个文件,并且有些数据需要失败重试之类的,可以试试这种写法:
1035
1035
@@ -1050,7 +1050,7 @@ myXCrawl
1050
1050
1051
1051
更多配置选项可以查看 [CrawlFileDetailTargetConfig](#CrawlFileDetailTargetConfig) 。
1052
1052
1053
- ##### 3. 进阶配置 - CrawlFileAdvancedConfig
1053
+ ##### 进阶配置 - CrawlFileAdvancedConfig
1054
1054
1055
1055
这是进阶配置,targets 是混合目标数组配置。如果你想爬取多个数据,并且请求配置(storeDir、proxy、重试等等)不想重复写,需要间隔时间等等的话,可以试试这种写法:
1056
1056
0 commit comments