[发明专利]一种词汇义原预测方法及装置

权利要求书

1.一种词汇义原预测方法，其特征在于，包括：

对于待预测词汇中的任一预设部位，若各词汇样本中该预设部位的字符与所述待预测词汇中该预设部位的字符相同，则从预设的义原词汇矩阵中获取各所述词汇样本对应的元素；其中，所述义原词汇矩阵的行与所述词汇样本一一对应，所述义原词汇矩阵的列与所有所述词汇样本的义原一一对应；

根据各所述词汇样本对应的元素获取各所述义原属于所述待预测词汇中各预设部位的字符的第一分数，根据各所述义原属于所述待预测词汇中各预设部位的字符的第一分数，获取各所述义原属于所述待预测词汇的第二分数；

根据各所述义原属于所述待预测词汇的第二分数，确定所述待预测词汇的义原。

2.根据权利要求1所述的方法，其特征在于，所述预设部位包括首部、中部和尾部中的一种或多种；

其中，所述首部为所述待预测词汇或各所述词汇样本中第一个字符所在的位置；

所述尾部为所述待预测词汇或各所述词汇样本中最后一个字符所在的位置；

所述中部为所述待预测词汇或各所述词汇样本中除第一个字符和最后一个字符以外的其他字符所在的位置。

3.根据权利要求1所述的方法，其特征在于，当各所述词汇样本标注有各所述义原时，所述义原词汇矩阵中各所述词汇样本对应的元素为1；

当各所述词汇样本没有标注各所述义原时，所述义原词汇矩阵中各所述词汇样本对应的元素为0。

4.根据权利要求1所述的方法，其特征在于，根据各所述词汇样本对应的元素获取各所述义原属于所述待预测词汇中各预设部位的字符的第一分数的步骤具体包括：

对于任一所述义原，根据各所述词汇样本对应的元素判断各所述词汇样本是否标注该义原和获取各所述词汇样本标注的义原集合；

统计标注该义原的所述词汇样本的数量和各所述词汇样本标注的义原集合的大小之和；

将标注该义原的所述词汇样本的数量除以各所述词汇样本标注的义原集合的大小之和，获取各所述义原属于所述待预测词汇中各预设部位的字符的第一分数。

5.根据权利要求1-4任一所述的方法，其特征在于，根据各所述义原属于所述待预测词汇中各预设部位的字符的第一分数，获取各所述义原属于所述待预测词汇的第二分数的步骤之后还包括：

根据所述义原词汇矩阵，获取所述义原词汇矩阵的共现矩阵；

基于随机梯度下降算法对所述义原词汇矩阵和所述共现矩阵进行分解，获取各所述义原的第一义原向量和第二义原向量；

根据各所述义原的第一义原向量和第二义原向量，获取各所述义原属于所述待预测词汇的第三分数；

将所述第二分数和所述第三分数进行加权叠加，获取各所述义原属于所述待预测词汇的内部义原分数；

相应地，根据各所述义原属于所述待预测词汇的第二分数，确定所述待预测词汇的义原的步骤还包括：

根据所述内部义原分数，确定所述待预测词汇的义原。

6.根据权利要求5所述的方法，其特征在于，所述随机梯度下降算法的损失函数为：

其中，为损失函数的目标值，i为所述词汇样本的编号，j为所述义原的编号，S为所有所述词汇样本的义原，s′_j与分别为义原s_j的第一义原向量和第二义原向量，与分别为所述待预测词汇中与义原s_j的第一义原向量和第二义原向量之和之间的cosine距离最近的字符在词汇中的索引和该字符的预设字符向量的索引，λ′为预设系数，M为所述义原词汇矩阵，C为所述共现矩阵，为所述待预测词汇中索引为的代表字符的索引为的预设字符向量，为所述待预测词汇中代表字符的偏置，b″_j为所述第一义原向量和所述第二义原向量的偏置。

7.根据权利要求6所述的方法，其特征在于，通过以下公式根据各所述义原的第一义原向量和第二义原向量，获取各所述义原s_j属于所述待预测词汇w的第三分数P(s_j|w)：