Skip to content

扩散全站功能异常问题. #20

@lihuiby

Description

@lihuiby

打开了扩散全站的功能, 但是在 JsoupUtil.findLinks()方法中筛选到的url不全, 标签获得的href是相对路径, 不是决定路径. 使用下面三种方法获得的值全部是相对路径, 校验url不通过导致, 扩散爬取失败, 大佬有遇到过这种情况吗 ?
tips: 使用 JS渲染方式采集数据,"selenisum + phantomjs" 方案

  1. item.absUrl("abs:href");
  2. item.attr("abs:href");
  3. item.attr("href");

爬取的url是 http://www.bootcss.com/

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions