对双数纽Trie 树(Double-Array Trie)分词算法进行了优化:在采用Trie 树构造 双数纽Trie 树的过程中，优先处理分支节点多的结点，以减少冲突;构造一个空状态序列; 将冲突的结点放入Hash表中，不需要重新分配结点.然后，利用这些方法构造了一个中文 分词系统，并与其他几种分词方法进行对比，结果表明，优化后的双数纽Trie 树插入速度和 空间利用率得到了很大提高，且分词查询效率也得到了提高.

里面基本包含了全文检索引擎的所有技术，包括词典分词，索引，检索等，其中词典分词采用的是基于双数组tire树的最大匹配法，索引部分参考了lucene的部分实现，检索部分应用了布尔检索和向量模型的排名算法，基本可以用来学习，建议配合信息检索导论这本书来进行学习

NULL 博文链接：https://ansjsun.iteye.com/blog/441658

NULL 博文链接：https://ansjsun.iteye.com/blog/441658