Skip to content

zuijiasy/91crawler

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

12 Commits
 
 
 
 

Repository files navigation

91crawler

91爬虫 借用了以前某位大佬写的脚本,对此进行了部分修改:

  1. 不再用随机字符命名图片
  2. 不再统一把所有图片重命名为JPG格式,而是按照原来的格式命名
  3. 优化了图片爬取的逻辑,不再出现无法爬去图片,只生成空目录的情况
  4. 默认下载地址在d:\91

20220412

设置了urlopen()的超时时间,应该可以避免被网站远程关闭链接的问题(WinError 10054)

20220423

  1. 基于人家写的还是BUG太多,现在等于是自己重新写了一遍,处理了目录生成、文件命名等BUG
  2. 添加了TG机器人通知的功能,每下好一个帖子,机器人都会进行通知,懂得可以自行去掉注释,填写TGBOTID和通知账号ID

About

91爬虫

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published

Languages