主要介绍了Python的urllib+urllib2+cookielib模块编写爬虫实战,文中给出了抓取豆瓣同城和登陆图书馆查询图书归还的爬取例子,需要的朋友可以参考下

超文本传输协议http构成了万维网的基础，它利用URI（统一资源标识符）来识别Internet上的数据，而指定文档地址的URI被称为URL（既统一资源定位符），常见的URL指向文件、目录或者执行复杂任务的对象（如数据库查找，internet搜索），而爬虫实质上正是通过对这些url进行访问、操作，从而获取我们想要的内容。对于没有商业需求的我们而言，想要编写爬虫的话，使用urllib，urllib2与cookielib三个模块便可以完成很多需求了。 首先要说明的是,urllib2并非是urllib的