Skip to content

AKonjac0/crawler-spider-cc98

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

10 Commits
 
 
 
 
 
 

Repository files navigation

cc98爬虫

功能

能够爬取cc98(2024年的cc98网站)的某一版面的全部帖子,保存到excel文档中。

使用

直接运行main.py。

命令行中输入python main.py

一些常见问题

  1. Authorization错误:常出现json.decoder.JSONDecodeError问题,大概是Authorization过期,可以打开浏览器F12,选择网络FETCH/XHR,打开任意帖子后查看topic包看到,把他复制下来换掉

    image

有无自动获取Authorization

  1. 版面编号为网址中的board/后的数字。常见版面编号:
学习天地68
心灵之约182
缘分天空152

其他

欢迎star,也欢迎在问题区提出其他改进/问题。

About

a crawler/spider for cc98

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published

Languages