主要介绍了使用Python编写爬虫的基本模块及框架使用指南,模块介绍包括了urllib和urllib2以及re的使用例子框架则是Scrapy的简介,需要的朋友可以参考下

基本模块  python爬虫，web spider。爬取网站获取网页数据，并进行分析提取。 基本模块使用的是 urllib，urllib2，re，等模块 基本用法，例子： （1）进行基本GET请求，获取网页html #!coding=utf-8 import urllib import urllib2 url = 'http://www.baidu.com/' # 获取请求 request = urllib2.Request(url) try: # 根据request，得到返回respon