本文给大家汇总介绍了Python编写爬虫的时候经常需要用到的一些技巧，非常的实用，有需要的小伙伴可以参考下

主要为大家详细汇总了一些常用的Python爬虫技巧,具有一定的参考价值，感兴趣的小伙伴们可以参考一下

Python爬虫：一些常用的爬虫技巧总结 爬虫在开发过程中也有很多复用的过程，这里总结一下，以后也能省些事情。 1、基本抓取网页 get方法 import urllib2 url http://www.baidu.com respons = urllib2.urlopen(url) print response.read() post方法 import urllib import urllib2 url = http://abcde.com form = {'name':'abc','