主要介绍了浅析python实现scrapy定时执行爬虫的相关资料,需要的朋友可以参考下

项目需要程序能够放在超算中心定时运行，于是针对scrapy写了一个定时爬虫的程序main.py ，直接放在scrapy的存储代码的目录中就能设定时间定时多次执行。 最简单的方法：直接使用Timer类 import time import os while True: os.system("scrapy crawl News") time.sleep(86400) #每隔一天运行一次 24*60*60=86400s或者，使用标准库的sched模块 import sched #初始化s