[发明专利]基于字频词频的字符分组方法、存储介质及电子设备

权利要求书

1.一种基于字频词频的字符分组方法，其特征在于：包括如下步骤：

遍历语料库，根据待分组的N个字符的出现频数计算各字符概率 ，对语料库中的所有文本进行分词，根据N个字符所组成词语的出现频数计算各词语概率；

根据和计算一个字符后是另一个字符的概率得到状态转移矩阵；

对状态转移矩阵进行归一化使得一个字符后是其他字符的概率之和为1得到归一化的状态转移矩阵；

逐一遍历字符，计算待分配字符c分配到所有分组的权重并将字符c添加到权重最大的组，该权重和随机二元字符包含组别数的期望值正相关，以此类推直到所有字符完成分组；

所述N个字符分组后的随机二元字符包含组别数的期望值通过如下公式计算得到：

，式中，g代表二元字符包含的不同组别数，即归一化的状态转移矩阵中字符对应行、字符对应列的元素值。

2.如权利要求1所述的基于字频词频的字符分组方法，其特征在于：所述状态转移矩阵中的元素代表字符后是字符的概率，其根据如下公式计算得到：

，式中，是特定词语概率之和，该特定词语中字符和字符相邻且按顺序排列。

3.如权利要求1所述的基于字频词频的字符分组方法，其特征在于：所述的对状态转移矩阵进行归一化是指按如下公式重置状态转移矩阵中为0的元素：

，式中，为状态转移矩阵中第i行所有元素之和，为状态转移矩阵中第i行所有元素为0的字符对应的字符概率之和。

4.如权利要求1所述的基于字频词频的字符分组方法，其特征在于：所述的计算待分配字符c分配到所有分组的权重步骤中，按如下公式计算待分配字符c分配到第k组时的权重：

，式中，A为已分组字符和待分配字符c构成的集合，即归一化的状态转移矩阵中字符对应行、字符对应列的元素值。

5.如权利要求1所述的基于字频词频的字符分组方法，其特征在于：所述的计算待分配字符c分配到所有分组的权重步骤中，按如下公式计算待分配字符c分配到第k组时的权重：

，式中，即归一化的状态转移矩阵中字符c对应行、字符对应列的元素值。

6.如权利要求1所述的基于字频词频的字符分组方法，其特征在于：所述的计算待分配字符c分配到所有分组的权重步骤中，按如下公式计算待分配字符c分配到第k组时的权重：

，式中，即归一化的状态转移矩阵中字符c对应行、字符对应列的元素值。

7.如权利要求1所述的基于字频词频的字符分组方法，其特征在于：所述的逐一遍历字符，计算待分配字符c分配到所有分组的权重的步骤中，按照字频从高到低的顺序逐一遍历。

8.一种计算机可读存储介质，其特征在于：其上存储有计算机程序，所述计算机程序被处理器执行时，实现如权利要求1-7中任一项所述的基于字频词频的字符分组方法。

9.一种电子设备，其特征在于：包括存储器、处理器及存储在存储器上的计算机程序，所述处理器执行所述计算机程序时，实现如权利要求1-7中任一项所述的基于字频词频的字符分组方法。