当我们需要有一批货物需要存放时，最好的方法就是有一个仓库进行保管。我们可以把URL管理器看成一个收集了数据的大仓库，而下载器就是这个仓库货物的搬运者。关于下载器的问题，我们暂且不谈。本篇主要讨论的是在url管理器中，我们遇到重复的数据应该如何识别出来，避免像仓库一样过多的囤积相同的货物。听起来是不是很有意思，下面我们一起进入今天的学习。 URL管理器到底应该具有哪些功能？ URL下载器应该包含两个仓库，分别存放没有爬取过的链接和已经爬取过的链接。 应该有一些函数负责往上述两个仓库里添加链