Python入门网络爬虫之精华版 Python学习网络爬虫主要分3个大的版块：抓取，分析，存储 另外，比较常用的爬虫框架Scrapy，这里最后也详细介绍一下。 首先列举一下本人总结的相关文章，这些覆盖了入门网络爬虫需要的基本概念和技巧：宁哥的小站-网络爬虫 当我们在浏览器中输入一个url后回车，后台会发生什么？比如说你输入http://www.lining0806.com/，你就会看到宁哥的小站首页。 简单来说这段过程发生了以下四个步骤： 查找域名对应的IP地址。 向IP对应的服务器发送请求

IP 网站为了防止被爬取，会有反爬机制，对于同一个IP地址的大量同类型的访问，会封锁IP，过一段时间后，才能继续访问，有几种简单的应对套路： 1.修改请求头，模拟浏览器（而不是代码去直接访问）去访问 2.采用代理IP并轮换 3.设置访问时间间隔 这是一个ip网站，https://www.xicidaili.com/` 使用代理格式 proxies的格式是一个字典proxies = {‘http’: ‘http://IP:port‘,‘https’:’https://IP:port‘} 把它直接传