文件名称:
基于MapReduce的三元N-gram算法的并行化研究
开发工具:
文件大小: 346kb
下载次数: 0
上传时间: 2020-10-15
详细说明：大规模语料库的训练是使用三元N-gram算法进行中文文本自动查错中一个重要的基础工作。面对新媒体平台每日高达百万篇需处理的语料信息，单一节点的三元N-gram语言模型词库的构建存在计算瓶颈。在深入研究三元N-gram算法的基础上，提出了基于MapReduce计算模型的三元N-gram并行化算法的思想。MapReduce计算模型中，将运算任务平均分配到m个节点，三元N-gram算法在Map函数部分的主要任务是计算局部字词分别与其前两个字词搭配出现的次数，Reduce函数部分的主要任务是合并Map部分统计字词搭配出现的次数，生成全局统计结果。实验结果表明，运行在Hadoop集群上的基于MapReduce的三元N-gram并行化算法具有很好的运算性和可扩展性，对于每日120亿字的训练语料数据集，集群环境下该算法得到训练结果的速率更接近于线性。
(系统自动生成,下载前可以参看下载内容)
下载文件列表
相关说明
- 本站资源为会员上传分享交流与学习,如有侵犯您的权益,请联系我们删除.
- 本站是交换下载平台，提供交流渠道，下载内容来自于网络，除下载问题外，其它问题请自行百度。
- 本站已设置防盗链，请勿用迅雷、QQ旋风等多线程下载软件下载资源，下载后用WinRAR最新版进行解压.
- 如果您发现内容无法下载，请稍后再次尝试；或者到消费记录里找到下载记录反馈给我们.
- 下载后发现下载的内容跟说明不相乎，请到消费记录里找到下载记录反馈给我们，经确认后退回积分.
- 如下载前有疑问，可以通过点击"提供者"的名字，查看对方的联系方式，联系对方咨询.
