[发明专利]基于字距词链的字符分组方法、存储介质及电子设备有效
| 申请号: | 202211416946.7 | 申请日: | 2022-11-14 |
| 公开(公告)号: | CN115455965B | 公开(公告)日: | 2023-03-10 |
| 发明(设计)人: | 田辉;鲁国峰;朱鹏远;郭玉刚;张志翔 | 申请(专利权)人: | 合肥高维数据技术有限公司 |
| 主分类号: | G06F40/289 | 分类号: | G06F40/289;G06F40/216 |
| 代理公司: | 暂无信息 | 代理人: | 暂无信息 |
| 地址: | 230088 安徽省合肥市高新区*** | 国省代码: | 安徽;34 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 基于 字距词链 字符 分组 方法 存储 介质 电子设备 | ||
1.一种基于字距词链的字符分组方法,其特征在于:包括如下步骤:
遍历语料库,统计待分组的N个字符的频次,对语料库中的所有文本进行分词,根据N个字符所组成词语的频次计算各词语概率;
按照字频从高到低,重复执行以下步骤直到所有字符完成分组;
根据如下公式计算待分配字符c到第k组中已分组字符ci的词链和:
式中,为包含字符c和字符ci的所有词语;
对所有组的词链和进行归一化处理得到;
以归一化的词链和为权重,将待分配字符c添加到权重最小的组。
2.如权利要求1所述的基于字距词链的字符分组方法,其特征在于:还包括如下步骤:
根据字频对字符进行排序,计算排序后待分配字符c到第k组中已分组字符ci的字距离和:
式中,为字符c和字符ci的距离,即按照字频排序后,字符c和字符ci的下标差;
对所有组的字距离和进行归一化处理得到;
根据如下公式计算待分配字符c分配到第k组的权重:
式中,为预设的权重系数且大于等于0,C为已分组字符集合,为已分组字符的频次归一化后的标准差。
3.如权利要求1所述的基于字距词链的字符分组方法,其特征在于:还包括如下步骤:
根据字频对字符进行排序,计算排序后待分配字符c到第k组中已分组字符ci的频次差值和:
式中,为字符c和字符ci的频次差值;
对所有组的频次差值和进行归一化处理得到;
根据如下公式计算待分配字符c分配到第k组的权重:
式中,为预设的权重系数且大于等于0,C为已分组字符集合,为已分组字符的频次归一化后的标准差。
4.如权利要求1所述的基于字距词链的字符分组方法,其特征在于:还包括如下步骤:
根据字频对字符进行排序,计算排序后待分配字符c到第k组中已分组字符ci的字距离和:
式中,为字符c和字符ci的距离;
并计算排序后待分配字符c到第k组中已分组字符ci的频次差值和:
式中,为字符c和字符ci的频次差值;
对所有组的字距离和、频次差值和进行归一化处理得到、;
根据如下公式计算待分配字符c分配到第k组的权重:
式中,和为预设的权重系数且大于等于0,C为已分组字符集合,为已分组字符的频次归一化后的标准差。
5.如权利要求4所述的基于字距词链的字符分组方法,其特征在于:所述的和的取值范围均为[0,10]。
6.一种计算机可读存储介质,其特征在于:其上存储有计算机程序,所述计算机程序被处理器执行时,实现如权利要求1-5中任一项所述的基于字距词链的字符分组方法。
7.一种电子设备,其特征在于:包括存储器、处理器及存储在存储器上的计算机程序,所述处理器执行所述计算机程序时,实现如权利要求1-5中任一项所述的基于字距词链的字符分组方法。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于合肥高维数据技术有限公司,未经合肥高维数据技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202211416946.7/1.html,转载请声明来源钻瓜专利网。





