-
Notifications
You must be signed in to change notification settings - Fork 315
Open
Description
打开了扩散全站的功能, 但是在 JsoupUtil.findLinks()方法中筛选到的url不全, 标签获得的href是相对路径, 不是决定路径. 使用下面三种方法获得的值全部是相对路径, 校验url不通过导致, 扩散爬取失败, 大佬有遇到过这种情况吗 ?
tips: 使用 JS渲染方式采集数据,"selenisum + phantomjs" 方案
- item.absUrl("abs:href");
- item.attr("abs:href");
- item.attr("href");
爬取的url是 http://www.bootcss.com/
Metadata
Metadata
Assignees
Labels
No labels