在文本处理中，比如商品评论挖掘，有时需要了解每个评论分别和商品的描述之间的相似度，以此衡量评论的客观性。那么python 里面有计算文本相似度的程序包吗，恭喜你，不仅有，而且很好很强大。下面我们就来体验下gensim的强大

pre_file.py #-*-coding:utf-8-*- import MySQLdb import MySQLdb as mdb import os,sys,string import jieba import codecs reload(sys) sys.setdefaultencoding('utf-8') #连接数据库 try: conn=mdb.connect(host='127.0.0.1',user='root',passwd='kongjunli',db='test1

gensim – Python中的主题建模 Gensim是用于主题建模，文档索引和大型语料库相似性检索的Python库。 目标受众是自然语言处理（NLP）和信息检索（IR）社区。 产品特点 所有算法均与语料库大小无关（可以处理大于RAM的输入，流式处理，核外处理）， 直观的界面 轻松插入您自己的输入语料库/数据流（简单的流式API） 易于使用其他向量空间算法（简单转换API）进行扩展 流行算法的高效多核实现，例如在线潜在语义分析（LSA / LSI / SVD） ，潜在狄利克雷分配（LDA