我们一般使用爬虫看到的都是最后的数据结果，对于整个的获取过程没有过多了解过。对于初学python的小伙伴们来说，不光是代码的练习，还是原理的分析都是必不可少的。 小编把整个爬取的过程分为了几个部分，从一开始的下载，到数据的去重解析，再到整个爬虫循环的结束，以图片和代码的双重形式展现给大家，希望能够对爬虫调度器有一个深刻的理解。 我们可以编写几个元件，每个元件完成一项功能，下图中的蓝底白字就是对这一流程的抽象： UrlManager：将存储和获取url以及url去重的几个步骤在url管理器中