介绍了网络舆情中的短文本数据分类的关键技术。

文本相似度计算作为中文信息处理中的一项基础性技术,被广泛应用到文本分类、文本聚类、信息检索等多个领域,长期以来受到了众多学者的关注和研究。在信息大爆炸所带来的大量文本信息的数据堆积中,很大一部分是短文本数据或短语数据,因此,在短文本数据信息的处理问题上,短语的相似度计算变得越来越重要。本文就是针对中文短语信息的处理问题,提出了一种新的中文短语相似度计算方法。在算法的设计过程中,本文分析了短语间相匹配文字的位置、匹配位置的偏移值、匹配文字长度等多种因素,提出了中文短语间相似度的计算公式,并给出了该

为解决精准识别短文本数据的问题，提出一种基于子语义空间的短文本策略挖掘方法。该方法首先采用语义空间技术，解决短文本在分析过程中存在的“词汇鸿沟”与“数据稀疏”问题；然后基于聚类算法将语义空间划分为多个子语义空间，在各子语义空间并行挖掘关联规则，提高了策略生成的效率与质量；最后利用二叉树进行策略归并，生成最简策略集。实验证明，与传统的分类模型相比，该方案生成的策略集在误报率为6.5%的情况下，准确率可达88%。在违规短信的发现处理中，使用该技术挖掘的策略集，覆盖能力强、准确率高，具有很强的实用性。