主要介绍了Python多进程方式抓取基金网站内容的方法,结合实例形式分析了Python多进程抓取网站内容相关实现技巧与操作注意事项,需要的朋友可以参考下

本文实例讲述了Python多进程方式抓取基金网站内容的方法。分享给大家供大家参考，具体如下： 在前面这篇//www.jb51.net/article/162418.htm我们已经简单了解了”python的多进程”，现在我们需要把抓取基金网站(28页)内容写成多进程的方式。 因为进程也不是越多越好，我们计划分3个进程执行。意思就是 ：把总共要抓取的28页分成三部分。 怎么分呢？ # 初始range r = range(1,29) # 步长 step = 10 myList = [r[x:x+st