词是最小的能够独立活动的有意义的语言成分,但汉语是以字为基本的书写单位,词语之间没有明显的区分标记,因此,中文词法分析是中文信息处理的基础与关键。为此,中国科学院计算技术研究所在多年研究基础上,耗时一年研制出了基于多层隐马模型的汉语词法分析系统ICTCLAS(Institute of Computing Technology, Chinese Lexical Analysis System),该系统的功能有:中文分词;词性标注;未登录词识别。分词正确率高达97.58%(最近的973专家组评测结
acopost是Ingo Schroder于02年在德国汉堡大学完成的一个词性标注工具包。主要实现了基于实例、最大熵、2元隐马、基于转换规则等4种词性标注算法,以及评价和算法融合等。采用的语言是perl和c,代码比较短小,非常适于学习。 本笔记记录内容: o 对acopost所实现的每个算法的训练和标注的基本流程、函数调用关系、相关文献等做了记录和阐述; o 对每个算法相关的源文件进行了详细注释; o 以汉语分词为实例,记录了4个标注算法的训练和标注结果。 [acopost] http://a