Python多线程爬虫 功能描述 使用python编写一个网站爬虫程序，支持参数如下： spider.py -u url -d deep -f logfile -l loglevel(1-5) --testself -thread number --dbfile filepath --key=”HTML5” 参数说明： -u 指定爬虫开始地址 -d 指定爬虫深度 --thread 指定线程池大小，多线程爬取页面，可选参数，默认10 --dbfile 存放结果数据到指定的数据库（sqlite）文

一个Python多线程爬虫，在工作时，开10个线程来抓取新浪网页的数据，抓取并保存页面, 并且根据deep返回页面链接，根据key确定是否保存该页面,其中: 　　deep == 0时，是抓取的最后一层深度，即只抓取并保存页面，不分析链接 　　deep > 0时，返回该页面链接。 　　编写本采集爬虫的具体要求：1. 指定网站爬取指定深度的页面，将包含指定关键词的页面内容存放到sqlite3数据库文件中 　　2. 程序每隔10秒在屏幕上打印进度信息 　　3. 支持线程池机制，并发爬取网页 　

主要介绍了python基于BeautifulSoup实现抓取网页指定内容的方法,涉及Python使用BeautifulSoup模块解析html网页的相关技巧,具有一定参考借鉴价值,需要的朋友可以参考下

在爬取网页信息时，如果在HTML代码中通过获取标签的方式来提取电影的下载地址时，不仅要编写比较多的代码，还需要不断的确认每一层的标签是否正确，这样的操作无疑是烦琐的。如下图所示。那么通过什么方式既可以减少代码量，又可以很简单的提取指定标签的内容呢？本文将实现通过正则表达式快速获取电影的下载地址。如果对正则表达式不熟悉的读者，点击 此处 学习正则表达式。 在爬取网页信息的任务中，可以使用正则表达式的方式快速的提取某个标签内的指定信息，以爬取电影的下载地址为例。本案例需要注意编码格式的问题，单