文件名称:
自动构建中文词库dict_build.zip
开发工具:
文件大小: 3mb
下载次数: 0
上传时间: 2019-07-18
详细说明： 博文的 java 实现，可以自动抽取语料库中的词汇，可以作为自然语言处理的第一步，准备词典。成词条件互信息左右熵位置成词概率ngram 频率运行方法下载或者gradle distTar打包程序解压dict_build-x.x.x.tar解压之后,进入bin. 运行:./dict_build 你的数据文件的绝对路径结束之后,在数据文件同目录有文件:words_sort.data四列分别为:词,词频,互信息,左右熵,位置成词概率.示例《金瓶梅》抽取结果西门庆 4754 6.727920454563199 2.0315193024276885 0.17472535684926388 月娘 1829 6.491853096329675 2.3714166640957095 0.22135096835144072 敬济 906 9.084808387804362 2.554594603718855 0.14485683987274656 春梅 799 8.134426320220927 2.7880175589451714 0.16484505593416485 玳安 796 8.228818690495881 2.865686193737731 0.11791820110723605 后边 617 6.6293566200796095 4.008365154080131 0.2160373686259245 玉楼 594 7.977279923499917 2.27346284978306 0.27518689925240297 明日 580 6.189824558880018 2.705423396095033 0.1774535638537181 两银子 458 6.129283016944967 2.351100547282295 0.3809078896437581 小厮 454 7.257387842692652 3.945653525477103 0.16666666666666666 打发 444 6.870364719583405 3.694604352707633 0.18409496065046307 如今 410 6.643856189774725 2.1460777430093394 0.1780766096169519 淫妇 382 7.768184324776926 3.277903508489837 0.2555205047318612 桂姐 371 7.584962500721156 2.5922046565140424 0.36255305256284687 老婆 331 6.266786540694902 3.5783015008688523 0.3758007117437722 衣服 309 8.90388184573618 2.786139685416002 0.13284518828451883 丫头 297 7.383704292474053 4.291010086795063 0.21875 潘金莲 288 8.276124405274238 2.4955186567189194 0.35333669524289796 昨日 285 6.857980995127572 2.6387249970833997 0.1774535638537181 王婆 284 7.1799090900149345 2.3129267619188907 0.3758007117437722《西游记》抽取结果八戒 1807 7.88874324889826 2.00952580557629 0.36441586280814575 师父 1632 7.507794640198696 3.745294449785798 0.1371395690812608 大圣 1270 6.599912842187128 2.7790919785432147 0.13128460061010055 唐僧 1003 7.076815597050832 4.350465172292435 0.43277723258096173 菩萨 765 9.471675214392045 3.6013747138664756 0.15910495734948696 妖精 634 7.199672344836364 3.1817261900583627 0.13134411600669268 徒弟 439 8.060695931687555 2.498555429145656 0.15553809897879026 兄弟 284 7.845490050944376 2.93037668783551 0.16085578446909668 宝贝 283 9.319672120946995 2.616164396748633 0.15108220492589827 今日 282 6.714245517666122 2.1303069812971214 0.1774535638537181 取经 263 7.539158811108032 2.663944888382171 0.10181178023912565 如今 259 6.189824558880018 2.056188859866133 0.1780766096169519 认得 223 6.357552004618085 2.9543379335926954 0.2326782564877803 东土 212 8.422064766172811 3.326253983395916 0.14745277618775043 孙大圣 202 6.022367813028454 2.4886576514017107 0.13128460061010055 变作 189 7.554588851677638 3.0713596792578635 0.23452975920036348 玉帝 189 8.912889336229961 2.973106046717708 0.27518689925240297 土地 179 7.499845887083206 3.1206506190132566 0.2819944064037033 欢喜 173 8.861086905995393 2.184918471204895 0.31727272727272726 贫僧 170 7.400879436282184 2.0731236036504477 0.43277723258096173拉勾JD语料抽取结果工作 641962 11.645208082774683 4.083574124851783 0.11247281022865935 开发 348538 14.031184262140844 4.37645153459778 0.18409496065046307 相关 300517 10.477758266443889 5.038915743418073 0.1758213331033888 合作 159688 10.397674632948268 3.9963476653135794 0.19498851077798446 专业 158831 10.712527000439824 3.152041650598071 0.2640750670241287 测试 158179 13.65362883340751 4.464104436545589 0.18344308560677328 互联网 148818 16.106992250086762 3.9556191209604314 0.407386403912951 活动 131099 10.391243589427443 3.9155422678129406 0.20137250696976194 维护 120316 12.681677655209691 3.2400117935377266 0.1960306406685237 问题 112116 9.159871336778389 2.314215135279833 0.20283174185051037 优化 109563 11.324180546618742 4.331660381832997 0.2456782591010779 营销 105845 14.36850646150769 5.097001962525406 0.14961371773129828 平台 100783 9.002815015607053 4.443804901153697 0.2877423571272965 培训 93204 9.041659151637216 3.8898570467819824 0.13345998575160295 资源 90339 8.651051691178928 4.063430372719874 0.14695817490494298 相关专业 87545 8.988684686772165 2.4897196388075598 0.2905199904149232 网站 87182 8.92184093707449 5.465843476701055 0.21266038137095059 独立 86111 9.074141462752506 3.1456261690072957 0.19050261614079594 一定 83798 8.335390354693924 2.107303660112154 0.26157299167679793 流程 83165 9.321928094887362 2.5509378861028074 0.2063141084699957 网络 82742 9.087462841250339 4.681429111504988 0.21266038137095059 优秀 74600 9.370687406807217 2.0756995478573135 0.2899855507391353 信息 71009 9.820178962415188 4.2602697278449755 0.18863532864443658 媒体 67533 10.556506054671928 4.615376861300178 0.17976710334788937 编写 64337 7.960001932068081 3.482400585501417 0.265625 思维 62351 8.741466986401146 2.4320664807326646 0.15396736072031514 规划 59733 7.851749041416057 2.936854928368285 0.14166201896263245 移动 59671 10.10459875356437 3.4421932833155653 0.20137250696976194 渠道 59072 9.513727595952437 4.597891463808354 0.23578595317725753 关系 58483 8.348728154231077 2.4369558675502927 0.3170022612253688 积极 57295 9.044394119358454 2.763249521041074 0.1746848469256496 实施 56645 7.781359713524661 4.371966846513886 0.15944453739334113 福利 55732 8.475733430966399 2.4036919305145426 0.20908952728378172 其他 55665 8.434628227636725 2.9614863103296867 0.15943975441289332 功能 55087 7.787902559391432 4.1663586610392755 0.18097560975609756 代码 52431 7.88874324889826 3.876917512626917 0.2135697048449972 微信 49143 8.945443836377912 3.6868130380800643 0.18215857916308253 企业 48799 9.422064766172813 5.568662443510237 0.2905199904149232 提升 48446 8.233619676759702 3.7390647282620666 0.29750778816199375 质量 47918 10.861862340059153 3.391825261582227 0.10921827734437191 人员 47109 7.774787059601174 5.249783964892326 0.13589632038101343 数据库 45445 8.290018846932618 4.123423571610193 0.2640569395017794 商务 44047 8.189824558880018 3.44858516585648 0.12901085044961344 主动 42628 13.815583433851023 2.5049637884195137 0.1968791796700847 创意 41768 14.396470993910388 4.115068825929573 0.30544056771141337 工具 40227 9.927777962082342 2.208874047820781 0.11247281022865935 等相关 39230 11.919608238603255 3.0330398736413557 0.1758213331033888 提出 38741 10.179909090014934 4.46446156782086 0.13053040103492886 各类 38309 8.344295907915816 5.136417986953123 0.3969948596283116 操作 37061 9.06339508128851 4.676836974292029 0.23452975920036348 收集 36600 8.800899899920305 2.797691452951563 0.11388512456999896 过程 36534 8.214319120800766 2.5633950372758565 0.2063141084699957 数据分析 36081 8.442943495848729 3.5589033442862585 0.2640569395017794 标签：dictbuild
(系统自动生成,下载前可以参看下载内容)
下载文件列表
相关说明
- 本站资源为会员上传分享交流与学习,如有侵犯您的权益,请联系我们删除.
- 本站是交换下载平台，提供交流渠道，下载内容来自于网络，除下载问题外，其它问题请自行百度。
- 本站已设置防盗链，请勿用迅雷、QQ旋风等多线程下载软件下载资源，下载后用WinRAR最新版进行解压.
- 如果您发现内容无法下载，请稍后再次尝试；或者到消费记录里找到下载记录反馈给我们.
- 下载后发现下载的内容跟说明不相乎，请到消费记录里找到下载记录反馈给我们，经确认后退回积分.
- 如下载前有疑问，可以通过点击"提供者"的名字，查看对方的联系方式，联系对方咨询.
相关搜索:
