[发明专利]一种新词识别方法、装置、电子设备及存储介质有效
申请号: | 202011310172.0 | 申请日: | 2020-11-20 |
公开(公告)号: | CN112364628B | 公开(公告)日: | 2022-04-15 |
发明(设计)人: | 李兆钧;雷小平 | 申请(专利权)人: | 创优数字科技(广东)有限公司 |
主分类号: | G06F40/216 | 分类号: | G06F40/216;G06F40/279;G06F40/30;G06F16/335 |
代理公司: | 北京集佳知识产权代理有限公司 11227 | 代理人: | 苏云辉 |
地址: | 516000 广东省广州市海珠区*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 新词 识别 方法 装置 电子设备 存储 介质 | ||
1.一种新词识别方法,其特征在于,包括:
获取多项文本数据,生成语料库;
对所述语料库中的所述文本数据进行预处理,得到预处理数据;所述预处理数据为符号序列;
采用所述预处理数据生成候选词库;
通过预设新词识别模型识别所述候选词库中的新词;
其中,所述采用所述预处理数据生成候选词库的步骤,包括:
基于预设最大词长,重组每个所述符号序列,得到至少一个初始词;
统计每个所述初始词在所述语料库中的词频率;
确定词频率小于预设最小频率的初始词为低频初始词;
去除所述低频初始词,得到初始词库;
采用预设期望最大化算法对所述初始词库进行筛选,生成候选词库;
其中,所述采用预设期望最大化算法对所述初始词库进行筛选,生成候选词库的步骤,包括:
根据所述初始词,对所述文本数据进行分词,得到所述文本数据的至少一种分词组合;
采用每个所述初始词的词频率,计算每种所述分词组合的归一化概率;
根据所述分词组合的归一化概率,计算所述分词组合中的所述初始词的期望频率;
归一化所述期望频率,得到优化频率;
删除所述优化频率小于所述最小频率的初始词;
判断当前迭代次数是否大于预设迭代次数;
若否,重新执行根据所述初始词,对所述文本数据进行分词,得到所述文本数据的至少一种分词组合的步骤;
若是,输出迭代后的初始词库作为候选词库。
2.根据权利要求1所述的方法,其特征在于,所述对所述语料库中的所述文本数据进行预处理,得到预处理数据的步骤,包括:
从所述语料库中的所述文本数据中提取正文数据,并从所述正文数据中剔除标签数据,得到去标签数据;
通过预设关键词检测所述去标签数据中的噪声文本,并去除所述噪声文本,得到去噪数据;
标记化所述去噪数据,得到至少一个所述符号序列。
3.根据权利要求1所述的方法,其特征在于,所述通过预设新词识别模型识别所述候选词库中的新词的步骤之前,还包括:
从所述初始词中提取样本初始词,生成所述样本初始词的样本标签;
获取每个所述样本初始词的语义信息、文本长度和词频率;
构建深度学习模型;
采用所述语义信息、所述文本长度、所述词频率和所述样本标签训练所述深度学习模型,得到所述预设新词识别模型。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于创优数字科技(广东)有限公司,未经创优数字科技(广东)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202011310172.0/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种拉瓦尔式气-液双动力无尘破岩机具
- 下一篇:一种塑胶跑道的制备方法