主要介绍了python实现提取百度搜索结果的方法,涉及Python网页及字符串操作的相关技巧,需要的朋友可以参考下

一、网络爬虫 网络爬虫又被称为网络蜘蛛（:spider_selector:），我们可以把互联网想象成一个蜘蛛网，每一个网站都是一个节点，我们可以使用一只蜘蛛去各个网页抓取我们想要的资源。举一个最简单的例子，你在百度和谷歌中输入‘Python’，会有大量和Python相关的网页被检索出来，百度和谷歌是如何从海量的网页中检索出你想要的资源，他们靠的就是派出大量蜘蛛去网页上爬取，检索关键字，建立索引数据库，经过复杂的排序算法，结果按照搜索关键字相关度的高低展现给你。 千里之行，始于足下，我们从最基础的

比如，你想采集标题中包含“58同城”的SERP结果，并过滤包含有“北京”或“厦门”等结果数据。 该Python脚本主要是实现以上功能。 其中，使用BeautifulSoup来解析HTML，可以参考我的另外一篇文章：Windows8下安装BeautifulSoup 代码如下： 复制代码 代码如下: __author__ = ‘曾是土木人’ # -*- coding: utf-8 -*- #采集SERP搜索结果标题 import urllib2 from bs4 import BeautifulSo