主要为大家详细介绍了python2.7实现爬虫网页数据，具有一定的参考价值，感兴趣的小伙伴们可以参考一下

一、爬虫框架Scarpy简介Scrapy 是一个快速的高层次的屏幕抓取和网页爬虫框架，爬取网站，从网站页面得到结构化的数据，它有着广泛的用途，从数据挖掘到监测和自动测试，Scrapy完全用Python实现，完全开源，代码托管在Github上，可运行在Linux，Windows，Mac和BSD平台上，基于Twisted的异步网络库来处理网络通讯，用户只需要定制开发几个模块就可以轻松的实现一个爬虫，用来抓取网页内容以及各种图片。 二、Scrapy安装指南 我们的安装步骤假设你已经安装一下内容：Pyt

最近刚学习Python，做了个简单的爬虫，作为一个简单的demo希望帮助和我一样的初学者。 代码使用python2.7做的爬虫  抓取51job上面的职位名，公司名，薪资，发布时间等等。 直接上代码，代码中注释还算比较清楚 ，没有安装mysql需要屏蔽掉相关代码： #!/usr/bin/python # -*- coding: UTF-8 -*- from bs4 import BeautifulSoup import urllib import urllib2 import codecs