一、项目介绍
通过sodasoccer.com爬虫主要联赛、联赛球队及球员信息分表存入MySQL,将logo、照片下载到本地。
二、效果图
图片下载效果:
数据库一览:
请先部署mysql、redis、proxy_pool服务,推荐以docker方式部署
1)mysql、redis部署,参考官方文档;
2)proxy_pool部署,参考链接: https://github.com/jhao104/proxy_pool?tab=readme-ov-file#docker-image
git clone https://github.com/sunnywalden/leauges.git
pip install -r requirements.txt
scrapy crawl leagues
代理使用了jhao104的proxy_pool项目,在此感谢!