主要介绍了一个PHP实现的轻量级简单爬虫,本文总结了爬虫的一些知识如爬虫的结构、正则表达式、其他问题等,然后给出了爬虫实现代码,需要的朋友可以参考下

最近需要收集资料，在浏览器上用另存为的方式实在是很麻烦，而且不利于存储和检索。所以自己写了一个小爬虫，在网上爬东西，迄今为止，已经爬了近百 万张网页。现在正在想办法着手处理这些数据。 爬虫的结构：    爬虫的原理其实很简单，就是分析下载的页面，找出其中的连接，然后再下载这些链接，再分析再下载，周而复始。在数据存储方面，数据库是首选，便于检索，而 开发语言，只要支持正则表达式就可以了，数据库我选择了mysql，所以，开发脚本我选择了php。它支持perl兼容正则表达式，连接mysql很方 便，支