[发明专利]一种路径解码方法、装置、计算机设备及存储介质

说明书

本发明公开了一种路径解码方法、装置、计算机设备及存储介质。所述方法包括：根据待解码短文本确定出与其对应的N个状态矩阵；其中，N为大于等于1的自然数；采用分数相加法获取所述N个状态矩阵中各个状态矩阵对应的最优状态序列；在N个最优状态序列中确定出所述待解码短文本对应的M个最优路径；其中，M为大于等于1且小于等于N的自然数。可以提高通过HMM模型获取最优路径的准确度，解决了HMM模型在实际应用于文本路径解码时路径分数由于过小而不可信的问题。

技术领域

本发明实施例涉及文本处理技术领域，尤其涉及一种路径解码方法、装置、计算机设备及存储介质。

背景技术

随着互联网技术的不断发展，出现了大量的短信息流，这些信息的数量巨大，但是长度一般都很短，此类信息多被称为短文本。具体地，短文本是指长度非常短，一般在140个字符以内的文本，例如常见的通过移动通信网络发出的手机短消息，通过及时通信软件发出的即时消息，网络日志的评论、互联网新闻的评论等等。

在现有的路径解码方法中，通常通过分词先将原始短文本划分为若干个词；确定出原始短文本对应的至少一个原始文本路径；然后对各个词进行标记；再通过隐马尔可夫模型(Hidden Markov Model，HMM)进行建模，通过维特比算法对HMM模型进行求解，确定出原始短文本对应的最优路径；将若干N个最优路径进行排序，取前M个最优路径。

在实现本发明的过程中，发明人发现现有技术中至少存在如下问题：

现有的路径解码方法中，传统的HMM在计算路径概率时，无论是计算发射概率还是转移概率，均采用概率相乘的方式进行。然而在计算机实际计算过程中路径概率往往远小于1，而计算机存储数据的精度有限无法保证路径概率可靠。以C++语言为例，用double类型存储路径概率，根据编译器的不同有效数字位是15位～16位，例如路径概率为3.24X 10-17则无法用double类型存储；此外，实际应用过程当中，由于很多词不会打上标签，因此转移概率的组合非常多；而考虑到性能问题，转移概率的文件不可能无限增大，很多转移概率并未收录，则路径概率在不断累乘过程中很容易碰到没有转移概率的情况，此时只能以极小的概率来表示无转移概率的情况，因此路径概率会变得更小，使得double类型难以存储。例如，并非所有词均有其对应的标签，因此许多短文本词语未打上标签便要参与路径计算，因此状态转移概率无法通过词典完整收录，遇此情况，在HMM算法背景下只能将未收录的转移概率以接近于零的正实数表示，最终会导致路径分数过小而不可信。因此，需要通过一定的方式来尽可能地克服这一问题，但是在现有技术中还没有一种有效的解决方式。

发明内容

本发明提供一种路径解码方法、装置、计算机设备及存储介质，可以提高通过HMM模型获取最优路径的准确度，解决了HMM模型在实际应用于文本路径解码时路径分数由于过小而不可信的问题。

第一方面，本发明实施例提供了一种路径解码方法，所述方法包括：

根据待解码短文本确定出与其对应的N个状态矩阵；其中，N为大于等于1的自然数；

采用分数相加法获取所述N个状态矩阵中各个状态矩阵对应的最优状态序列；

在N个最优状态序列中确定出所述待解码短文本对应的M个最优路径；其中，M为大于等于1且小于等于N的自然数。

在上述实施例中，所述采用分数相加法获取所述N个状态矩阵中各个状态矩阵对应的最优状态序列，包括：

根据预先确定的所述各个状态矩阵中当前列的目标隐变量对应的路径分数和预先确定的下一列的各个隐变量对应的发射分数以及预先确定的所述当前列的目标隐变量到所述下一列的各个隐变量的转移分数，计算所述下一列的各个隐变量对应的路径分数；