[发明专利]一种新词识别方法、装置、电子设备及存储介质有效

专利信息
申请号: 202011310172.0 申请日: 2020-11-20
公开(公告)号: CN112364628B 公开(公告)日: 2022-04-15
发明(设计)人: 李兆钧;雷小平 申请(专利权)人: 创优数字科技(广东)有限公司
主分类号: G06F40/216 分类号: G06F40/216;G06F40/279;G06F40/30;G06F16/335
代理公司: 北京集佳知识产权代理有限公司 11227 代理人: 苏云辉
地址: 516000 广东省广州市海珠区*** 国省代码: 广东;44
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: 一种 新词 识别 方法 装置 电子设备 存储 介质
【权利要求书】:

1.一种新词识别方法,其特征在于,包括:

获取多项文本数据,生成语料库;

对所述语料库中的所述文本数据进行预处理,得到预处理数据;所述预处理数据为符号序列;

采用所述预处理数据生成候选词库;

通过预设新词识别模型识别所述候选词库中的新词;

其中,所述采用所述预处理数据生成候选词库的步骤,包括:

基于预设最大词长,重组每个所述符号序列,得到至少一个初始词;

统计每个所述初始词在所述语料库中的词频率;

确定词频率小于预设最小频率的初始词为低频初始词;

去除所述低频初始词,得到初始词库;

采用预设期望最大化算法对所述初始词库进行筛选,生成候选词库;

其中,所述采用预设期望最大化算法对所述初始词库进行筛选,生成候选词库的步骤,包括:

根据所述初始词,对所述文本数据进行分词,得到所述文本数据的至少一种分词组合;

采用每个所述初始词的词频率,计算每种所述分词组合的归一化概率;

根据所述分词组合的归一化概率,计算所述分词组合中的所述初始词的期望频率;

归一化所述期望频率,得到优化频率;

删除所述优化频率小于所述最小频率的初始词;

判断当前迭代次数是否大于预设迭代次数;

若否,重新执行根据所述初始词,对所述文本数据进行分词,得到所述文本数据的至少一种分词组合的步骤;

若是,输出迭代后的初始词库作为候选词库。

2.根据权利要求1所述的方法,其特征在于,所述对所述语料库中的所述文本数据进行预处理,得到预处理数据的步骤,包括:

从所述语料库中的所述文本数据中提取正文数据,并从所述正文数据中剔除标签数据,得到去标签数据;

通过预设关键词检测所述去标签数据中的噪声文本,并去除所述噪声文本,得到去噪数据;

标记化所述去噪数据,得到至少一个所述符号序列。

3.根据权利要求1所述的方法,其特征在于,所述通过预设新词识别模型识别所述候选词库中的新词的步骤之前,还包括:

从所述初始词中提取样本初始词,生成所述样本初始词的样本标签;

获取每个所述样本初始词的语义信息、文本长度和词频率;

构建深度学习模型;

采用所述语义信息、所述文本长度、所述词频率和所述样本标签训练所述深度学习模型,得到所述预设新词识别模型。

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于创优数字科技(广东)有限公司,未经创优数字科技(广东)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/202011310172.0/1.html,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top