你想了解网络爬虫的原理吗？我想这个会是你最好的选择之一——heritrix，这里不仅有heritrix软件而且也有它的源代码，你可以尽情去研究去修改成为你自己需要的......

heritrix-1.14.4.zip Heritrix是一个爬虫框架，可加如入一些可互换的组件。 　它的执行是递归进行的，主要有以下 Heritrix 有Web 控制管理界面 几步： 　　1。在预定的URI中选择一个。 　　2。获取URI 　　3。分析，归档结果 　　4。选择已经发现的感兴趣的URI。加入预定队列。 　　5。标记已经处理过的URI 　　它是IA的开放源代码，可扩展的，基于整个Web的，归档网络爬虫工程 　　Heritrix工程始于2003年初，IA的目的是开发一个特殊的爬虫，

heritrix-1.14.4.zip Heritrix是一个爬虫框架，可加如入一些可互换的组件。 　它的执行是递归进行的，主要有以下 Heritrix 有Web 控制管理界面 几步： 　　1。在预定的URI中选择一个。 　　2。获取URI 　　3。分析，归档结果 　　4。选择已经发现的感兴趣的URI。加入预定队列。 　　5。标记已经处理过的URI 　　它是IA的开放源代码，可扩展的，基于整个Web的，归档网络爬虫工程 　　Heritrix工程始于2003年初，IA的目的是开发一个特殊的爬虫，

Heritrix是一个开源，可扩展的web爬虫项目。Heritrix设计成严格按照robots.txt文件的排除指示和META robots标签。 简介 它的执行是递归进行的，主要有以下 Heritrix 有Web 控制管理界面 Heritrix 有Web 控制管理界面 几步： 1。在预定的URI中选择一个。 2。获取URI 3。分析，归档结果 4。选择已经发现的感兴趣的URI。加入预定队列。 5。标记已经处理过的URI 它是IA的开放源代码，可扩展的，基于整个Web的，归档网络爬虫工程 He