Skip to content

supergis/OpenWorker

Repository files navigation

OpenWorker

Open Worker Framework to process data parallelly. 基于Python的并行处理框架,将集成Celery、Flower、Jobtastic和Rodeo工程,可以通过控制台或Web进行管理、提交任务等。

入门教程及参考:http://my.oschina.net/u/2306127/blog?catalog=2527511

1、并行处理框架: Celery:http://www.celeryproject.org/ 执行任务的分发和调度,使用消息总线进行通讯。

2、Web管理控制台: Flower:https://github.com/mher/flower 在远程通过Web界面监视和管理任务执行情况。

3、任务进度通知: Jobtastic:http://policystat.github.io/jobtastic/ 为长时间运行的任务提供进度通知的Celery扩展库。

4、Web上Python控制台: Rodeo:https://github.com/yhat/rodeo 可以在Web浏览器编写和执行Python代码,支持交互控制台,非常适合于探索式编程和数据研究。

About

Open Worker Framework to process data parallelly.

Resources

License

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published