python是支持多线程的, 主要是通过thread和threading这两个模块来实现的，本文主要给大家分享python实现多线程网页爬虫，需要的朋友可以参考下

一般来说，使用线程有两种模式, 一种是创建线程要执行的函数, 把这个函数传递进Thread对象里，让它来执行. 另一种是直接从Thread继承，创建一个新的class，把线程执行的代码放到这个新的class里。 实现多线程网页爬虫，采用了多线程和锁机制，实现了广度优先算法的网页爬虫。 先给大家简单介绍下我的实现思路： 对于一个网络爬虫，如果要按广度遍历的方式下载，它是这样的：         1.从给定的入口网址把第一个网页下载下来         2.从第一个网页中提取出所有新的网页地址，