Python入门网络爬虫之精华版 Python学习网络爬虫主要分3个大的版块：抓取，分析，存储 另外，比较常用的爬虫框架Scrapy，这里最后也详细介绍一下。 首先列举一下本人总结的相关文章，这些覆盖了入门网络爬虫需要的基本概念和技巧：宁哥的小站-网络爬虫 当我们在浏览器中输入一个url后回车，后台会发生什么？比如说你输入http://www.lining0806.com/，你就会看到宁哥的小站首页。 简单来说这段过程发生了以下四个步骤： 查找域名对应的IP地址。 向IP对应的服务器发送请求

本文给大家分享的是如何使用Python实现多线程抓取知乎用户的思路以及代码，非常的详细，作者使用本程序成功抓取到了百万用户，有需要的小伙伴可以参考下

需要用到的包： beautifulsoup4 html5lib image requests redis PyMySQL pip安装所有依赖包： pip install \ Image \ requests \ beautifulsoup4 \ html5lib \ redis \ PyMySQL 运行环境需要支持中文 测试运行环境python3.5，不保证其他运行环境能完美运行 需要安装mysql和redis 配置 config.ini 文件，设置好mysql和redis，并且填