[发明专利]分词方法及分词器、命名实体识别方法及系统在审
| 申请号： | 201910978522.1 | 申请日： | 2019-10-15 |
| 公开（公告）号： | CN110750993A | 公开（公告）日： | 2020-02-04 |
| 发明（设计）人： | 张发展;刘世林;罗镇权;李焕;曾途;尹康;杨李伟;吴桐 | 申请（专利权）人： | 成都数联铭品科技有限公司 |
| 主分类号： | G06F40/295 | 分类号： | G06F40/295;G06F40/242;G06F40/216 |
| 代理公司： | 11590 北京市领专知识产权代理有限公司 | 代理人： | 林辉轮;张玲 |
| 地址： | 610015 四川省成都市自由贸易试验区*** | 国省代码： | 四川;51 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明涉及一种分词方法及分词器、命名实体识别方法及系统，所述分词方法包括步骤：构建词典；基于所述词典将待分词语句生成前缀树并进行词图扫描，生成所有可能成词情况所构成的有向无环图；采用动态规划查找最大概率路径,找出基于词频的最大切分组合；对于待分词语句中不存在于所述词典中的未登录词，按照字符进行分词，将未登录词分割为若干个字。本发明方法中，将未登录词单独处理分割为单个字，而不是分成词，因此可以避免未登录名被分词后与前后文词重新组合，继而可以提高未登录名的识别准确性。 | ||
| 搜索关键词： | 分词 登录 词频 有向无环图 单独处理 动态规划 命名实体 语句生成 重新组合 最大概率 分词器 前缀树 分割 构建 语句 扫描 查找 | ||
【主权项】：
1.一种分词方法，其特征在于，包括以下步骤：/n构建词典；/n基于所述词典，将待分词语句生成前缀树，进行词图扫描，生成所有可能成词情况所构成的有向无环图；/n采用动态规划查找最大概率路径方法,找出基于词频的最大切分组合；/n对于待分词语句中不存在于所述词典中的未登录词，按照字符进行分词，将未登录词分割为若干个字。/n
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于成都数联铭品科技有限公司，未经成都数联铭品科技有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201910978522.1/，转载请声明来源钻瓜专利网。
