针对jieba分词作业做一个总结，方便以后查看。 中文分词 分词，即切词，在NLP文本预处理中经常使用一些方法来对文本进行分词，从而使文本从“字序列”升级到“词序列”。 为什么要进行分词？在中文中，一个个汉字有其自身的含义，但是组成词语时，其含义可能会发生很大的变化，使得之后进行文本处理任务时不能很好的理解句子的含义。（比如“和”，“平”，“和平”，三者的含义有很大的不同。）另外，从字序列升级成词序列，可以使模型能够得到更高级的特征。 分词算法有很多，比如正向最大匹配算法，逆向最大匹配算法，双向

本文实例讲述了Python中文分词工具之结巴分词用法。分享给大家供大家参考，具体如下： 结巴分词工具的安装及基本用法，前面的文章《Python结巴中文分词工具使用过程中遇到的问题及解决方法》中已经有所描述。这里要说的内容与实际应用更贴近——从文本中读取中文信息，利用结巴分词工具进行分词及词性标注。 示例代码如下： #coding=utf-8 import jieba import jieba.posseg as pseg import time t1=time.time() f=open(t_