前言 就以最近发现的一个免费代理IP网站为例：http://www.xicidaili.com/nn/。在使用的时候发现很多IP都用不了。 所以用Python写了个脚本，该脚本可以把能用的代理IP检测出来。 脚本如下： #encoding=utf8 import urllib2 from bs4 import BeautifulSoup import urllib import socket User_Agent = 'Mozilla/5.0 (Windows NT 6.3; WOW64; r

Python知乎用户信息爬虫 特色 除了爬取用户信息外，还可以选择爬取用户之间的关注关系 使用多线程爬取，并可以自行配置使用的线程数 使用Redis作为任务价值 使用高匿代理IP进行数据的爬取，并重新后会重新分配新的可用代理，避免重新访问导致本机IP被封 可以启用邮件定时通知功能 运行要求 Python版本：3.0以上 数据库：MySQL，Redis 使用到的库 项目中使用到的Python第三方库如下： 第三方库： 请求-一个非常好用的请求库， //docs.python-requests.