文件名称:
10个线程的Python多线程爬虫（采集新浪数据）.rar
开发工具:
文件大小: 31kb
下载次数: 0
上传时间: 2019-07-10
详细说明： 一个Python多线程爬虫，在工作时，开10个线程来抓取新浪网页的数据，抓取并保存页面, 并且根据deep返回页面链接，根据key确定是否保存该页面,其中: deep == 0时，是抓取的最后一层深度，即只抓取并保存页面，不分析链接 deep > 0时，返回该页面链接。 编写本采集爬虫的具体要求：1. 指定网站爬取指定深度的页面，将包含指定关键词的页面内容存放到sqlite3数据库文件中 2. 程序每隔10秒在屏幕上打印进度信息 3. 支持线程池机制，并发爬取网页 4. 代码需要详尽的注释，自己需要深刻理解该程序所涉及到的各类知识点 5. 需要自己实现线程池 功能描述 使用python编写一个网站爬虫程序，支持参数如下 ： spider.py -u url -d deep -f logfile -l loglevel(1-5) --testself -thread number --dbfile filepath --key="HTML5" 参数说明： -u 指定爬虫开始地址 -d 指定爬虫深度 --thread 指定线程池大小，多线程爬取页面，可选参数，默认10 --dbfile 存放结果数据到指定的数据库（sqlite）文件中 --key 页面内的关键词，获取满足该关键词的网页，可选参数，默认为所有页面 -l 日志记录文件记录详细程度，数字越大记录越详细，可选参数，默认spider.log --testself 程序自测，可选参数
(系统自动生成,下载前可以参看下载内容)
下载文件列表
相关说明
- 本站资源为会员上传分享交流与学习,如有侵犯您的权益,请联系我们删除.
- 本站是交换下载平台，提供交流渠道，下载内容来自于网络，除下载问题外，其它问题请自行百度。
- 本站已设置防盗链，请勿用迅雷、QQ旋风等多线程下载软件下载资源，下载后用WinRAR最新版进行解压.
- 如果您发现内容无法下载，请稍后再次尝试；或者到消费记录里找到下载记录反馈给我们.
- 下载后发现下载的内容跟说明不相乎，请到消费记录里找到下载记录反馈给我们，经确认后退回积分.
- 如下载前有疑问，可以通过点击"提供者"的名字，查看对方的联系方式，联系对方咨询.
相关搜索:
