Python入门网络爬虫之精华版 Python学习网络爬虫主要分3个大的版块：抓取，分析，存储 另外，比较常用的爬虫框架Scrapy，这里最后也详细介绍一下。 首先列举一下本人总结的相关文章，这些覆盖了入门网络爬虫需要的基本概念和技巧：宁哥的小站-网络爬虫 当我们在浏览器中输入一个url后回车，后台会发生什么？比如说你输入http://www.lining0806.com/，你就会看到宁哥的小站首页。 简单来说这段过程发生了以下四个步骤： 查找域名对应的IP地址。 向IP对应的服务器发送请求

本文实例讲述了python爬虫之线程池和进程池功能与用法。分享给大家供大家参考，具体如下： 一、需求 最近准备爬取某电商网站的数据，先不考虑代理、分布式，先说效率问题（当然你要是请求的太快就会被封掉，亲测，400个请求过去，服务器直接拒绝连接，心碎），步入正题。一般情况下小白的我们第一个想到的是for循环，这个可是单线程啊。那我们考虑for循环直接开他个5个线程，问题来了，如果有一个url请求还没有回来，后面的就干等，这么用多线程等于没用，到处贴创可贴。 二、性能考虑 确定要用多线程或者多进程了

原文地址 分类目录——爬虫 多进程的使用可以参见 分类目录——多进程 ，这里就直接操作不在进行过多的说明 这里以 把我的CSDN上的20条博客 访问一遍为例，来比照单纯串行和多进程并行的执行效率 首先，获取我所有博客的URL（当然只用20条做测试，我把这个功能封装了一个函数，方便我之后调用） def getAllUrls(url): # url传个人主页，我的是 'https://blog.csdn.net/BBJG_001' r0 = requests.get(url)