[发明专利]支持大量词库的分词方法、计算机可读存储介质及系统有效
| 申请号: | 202011592528.4 | 申请日: | 2020-12-29 |
| 公开(公告)号: | CN112307753B | 公开(公告)日: | 2021-06-22 |
| 发明(设计)人: | 王三明;王聪明;胡小敏 | 申请(专利权)人: | 启业云大数据(南京)有限公司 |
| 主分类号: | G06F40/284 | 分类号: | G06F40/284;G06F40/242 |
| 代理公司: | 北京众合诚成知识产权代理有限公司 11246 | 代理人: | 刘珊珊 |
| 地址: | 210000 江苏省南京市江北新区产*** | 国省代码: | 江苏;32 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | 本发明提出一种支持大量词库的分词方法、计算机可读存储介质及系统,该方法包括以下步骤:构建领域词典;构建基于领域词典的离线分词模型;对于待分词的原始文本,通过离线分词模型进行分词,得到第一分词结果;对待分词的原始文本进行待搜索词提取,然后基于待搜索词在领域词典内进行一级索引搜索和二级索引搜索,最后对二级索引结果进行筛选,提取出候选词;将候选词和第一分词结果进行重组,基于重组结果构建原始文本的有向图,并基于最短路径法算出最优分词结果。本发明将单一领域分词结果与大词搜索的结果进行组合,基于组合结果构建有向图,将求解最优分词方案的问题转化为最优路径的问题快速求解,非常适合分出大词。 | ||
| 搜索关键词: | 支持 大量 词库 分词 方法 计算机 可读 存储 介质 系统 | ||
【主权项】:
暂无信息
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于启业云大数据(南京)有限公司,未经启业云大数据(南京)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/patent/202011592528.4/,转载请声明来源钻瓜专利网。





