PySpider：一个国人编写的强大的网络爬虫系统并带有强大的WebUI。采用Python语言编写，分布式架构，支持多种数据库后端，强大的WebUI支持脚本编辑器，任务监视器，项目管理器以及结果查看器。

1.搭建环境： 系统版本：Linux centos-linux.shared 3.10.0-123.el7.x86_64 #1 SMP Mon Jun 30 12:09:22 UTC 2014 x86_64 x86_64 x86_64 GNU/Linux python版本：Python 3.5.1 1.1.搭建python3环境： 本人在尝试过后选择集成环境Anaconda 1.1.1.编译 # 下载依赖 yum install -y ncurses-devel openssl openss