感谢制作了这样一个爬虫

解决了从无到有的问题，真心感谢一个！

目前看有三个问题：

1. 较长的图片会被隔页分割
   
2. 图片中较小的文字完全无法看清
   
3. 抓取到15页就没了，日期是3月20日，当日后面还有别的互动。

其中，我在想，问题1、2能否用html方式解决，因为PDF里面图片是死的，有些圈子里分享的还是文件格式。HTML的话，一方面图片可以用fancybox插件放缩，另一方面其他格式文件可以以链接形式附上。我看到中间你也是用生成HTML进行过渡的，但这么一来，可能这就涉及到最后怎么整合的问题，我想能不能用Gitbook或类似的东西进行封装？

谢谢！

[chanwoood]

首先，需要确定最终整合成什么类型文件，我认为 PDF 没多大问题，Gitbook 不是只能在线阅读的吗？想不到怎么用 Gitbook 封装。PDF 中图片是死的，不能缩放，这是 PDF 的通病，我也没办法。如果最终整合为 HTML，那就直接用 Chrome 打开网页，Ctrl + S 算了。

之前我把爬取的信息，转换 HTML ，再通过 pdfkit 来生成 PDF 文档。pdfkit 没能很好地处理图片跨页问题。可以换一条思路：爬取的原始信息 --> Markdown 文档 --> PDF 文档。第一个箭头比较容易实现，第二个箭头可以用 typora 转换，我试了一下，不会产生图片跨页，只是需要手动打开 typora 转换有点麻烦。虽然网上也有一些在线转换，可以用程序自动化完成，只是要么对中文支持不好，要么不稳定。

至于图片分辨率变低，我根据原图那条 URL 抓取的，可能这锅由 pdfkit 背，这货可能在图片转换为 PDF 时降低其分辨率。由 Markown 转为 PDF 可能可以解决。

最后抓取到15页就没了，可能是翻页那条链接没有处理好，这个需要具体分析，我只爬过两个星球，其他星球出现各种 bug 很正常。

最近找实习，估计没时间弄了，抱歉。。。

@96chh Gitbook的阅读体验很好，转换为PDF会造成图片方面的各种问题，这个锅当然不能扔给你:)
个人觉得，就按照Gitbook原始的HTML/Markdown格式生成一个目录结构就行了，有需求的人可以自己用Gitbook自带的功能去转换为PDF。