Skip to content

二位都很强 #7

@RockNHawk

Description

@RockNHawk

Hi, 作者,报告一个跟你目前作品一样强大的 .NET 爬虫系统。

Hawk
https://github.com/ferventdesert/Hawk
Documentation
https://ferventdesert.github.io/Hawk/


HAWK无需编程,可见即所得的图形化数据采集和清洗工具,依据GPL协议开源。
特点如下:

  • 智能分析网页内容,无需编程
  • 所见即所得,可视化拖拽,快地实现转换和过滤等数据清洗操作
  • 能从各类数据库和文件实现导入导出
  • 任务可以被保存和复用
  • 其最适合的领域是爬虫和数据清洗,但其威力远超于此。

RuiJi.Net
https://github.com/zhupingqi/RuiJi.Net/issues
Documentation
http://doc.ruijihg.com/cn/index.html


RuiJi.Net是一个可以分布式部署的爬虫框架,使用C#编写,项目的最终目的是可以对大量的网站进行自动更新检查及抓取,使用者可以设置新闻源的检查时间间隔,在检测到新闻源更新后,会将更新的地址发送给下载节点,再由抽取节点对数据进行提取及清洗。

RuiJi 还有一个浏览器集成可视化配置的 SAAS 服务
演示视频:
https://www.bilibili.com/video/av34981913/
官网:
http://www.scraper.top/

二位都是暴强的 .NET 爬虫框架,
RuiJi 的不同之处是支持 .NET Core 和分布式。
Hawk 则功能更强大。

此 issue 如果可以促成二位互相参考、合作甚至融合,就太好了~

隔壁:
ferventdesert/Hawk#103

殷切地希望你们能早生贵子,我会献上我的 pull request.

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions