前几天看到卢亮的 Larbin 一种高效的搜索引擎爬虫工具 一文提到 Nutch，很是感兴趣，但一直没有时间进行测试研究。趁着假期，先测试一下看看。用搜索引擎查找了一下，发现中文技术社区对 Larbin 的关注要远远大于 Nutch 。只有一年多前何东在他的竹笋炒肉中对 Nutch 进行了一下介绍。Nutch vs Lucene Lucene 不是完整的应用程序，而是一个用于实现全文检索的软件库。Nutch 是一个应用程序，可以以 Lucene 为基础实现搜索引擎应用

larbin2.6.3爬虫，错误已全部改正，已在ubuntu下通过运行，可进行简单的爬网页任务。

网络爬虫是搜索引擎的重要组成部分，其性能直接影响搜索引擎的准确性和及时性。Larbin是一个高效、简单、功能比较完善的开源爬虫框架，基于此，介绍了几种典型的开源爬虫框架，并对其进行多维度比较；对Larbin体系结构进行详细的介绍；然后指出Larbin在程序结构和流程方面存在的不足，提出对应的优化方案；测试结果表明，改进后的方案在速度和性能方面都有所提高。