提出一种基于数据抽取器的分布式爬虫结构。该架构采用基于分类标注的多主题策略，解决同一爬虫系统内多主题自适应兼容的问题。介绍二级加权任务分割算法，解决基于目标导向、负载均衡的URL分配问题，增强系统可扩展性。给出基于Trie树的URL存储策略的改进方法，可以高效地支持URL查询、插入和莆复性检测。

MapReduce是一个编程模型，也是一个处理和生成超大数据集的算法模型的相关实现。用户首先创建 一个Map函数处理一个基于key/value pair的数据集合，输出中间的基于key/value pair的数据集合；然 后再创建一个Reduce函数用来合并所有的具有相同中间key值的中间value值。现实世界中有很多满足 上述处理模型的例子，本论文将详细描述这个模型。 MapReduce架构的程序能够在大量的普通配置的计算机上实现并行化处理。这个系统在运行时只关 心：如何分割输入数据，在大量

功能性能和设计是衡量软件的三个基本方面，开源Jivejdon是这三者完美结合案例之一。ivejdon是真正的、彻底的、完全面向对象软件系统。是目前国内领先的、高水准开源论坛系统(Apache 2.0)，不断跟踪和应用全球软件最新设计理念(DDD等背景PPT介绍)。反映软件设计流行方向，是国内最接近云计算的论坛软件。JiveJdon不只是普通论坛，融博客帖子一身，可以关注人 帖子 主题和标签分类， JiveJdon业务目标是Quora。 JiveJdon是按照国外最新设计思想"领域驱动设计"(D