自然语言处理--MSRA语料库

HanLP：汉语言处理 || || 面向生产环境的多语种自然语言处理工具包，基于PyTorch和TensorFlow 2.x双引擎，目标是普及落地最前沿的NLP技术。HanLP实现功能完善，性能高效，架构清晰，语料时新，可自定义的特点。 穿越世界上最大的多语言种语料库，HanLP2.1支持包括简繁中英日俄法德内部的104种语言上的10种联合任务：分词（粗分，细分2个标准，强制，合并，校正3种），词性标注（PKU，863，CTB，UD四套词性规范），命名实体识别（PKU，MSRA，OntoNot

实体检测是自然语言处理的一个研究热点，是从无结构的文本中检测出命名实体。深度置信网络（Deep Belief Nets，DBN）的核心组件为受限玻尔兹曼机（Restricted Boltzmann Machine，RBM），RBM的训练传统采用对比散度准则（Contrastive Divergence，CD），但CD是对数似然梯度有偏差的近似。为此，提出基于平均对比散度准则（Average Contrastive Divergence，ACD）训练的DBN的实体检测模型，利用MSRA语料库作训练