1.背景介绍
美赛C题涉及到文本处理之间的工作,笔者学艺不精,广为搜罗了很多代码加以完善改进,封装成一个个的函数,这些函数都很有针对性,主要应用于文本预处理包括,排序、分词、获取语料库、去标点、统计词频、特征提取、词性还原、去停用词等。
2.任务分析
为了更好地了解代码,我们首先来认识一下数据集的格式。
文中涉及三个数据集microwave.tsv,hair_dryer.tsv, pacifier.tsv
表头都是一样的,以pacifier(奶嘴)为例。
我们要用到的有如下几列。
3.Pyhto