您好,欢迎光临本网站![请登录][注册会员]  

搜索资源列表

  1. 基于互信息和邻接熵的新词发现算法

  2. 如何快速高效地识别新词是自然语言处理中一项非常重要的任务,针对当前新词发现存在的 问题,提出了一种从左至右逐字在未切词的微博语料中发现新词的算法。通过计算候选词语 与其右邻接字的互信息来逐字扩展,得到候选新词;并通过计算邻接熵、删除候选新词的首 尾停用词和过滤旧词语等方法来过滤候选新词,最终得到新词集。解决了因切词错误导致部 分新词无法识别以及通过 n-gram 方法导致大量重复词串和垃圾词串识别为新词的问题,最 后通过实验验证了该算法的有效性。
  3. 所属分类:其它

    • 发布日期:2021-03-23
    • 文件大小:1048576
    • 提供者:weixin_38501916