[发明专利]文本处理方法、装置、计算机可读存储介质和计算机设备

权利要求书

1.一种文本处理方法，包括：

获取输入文本，所述输入文本为在搜索输入框中输入的文本；

将所述输入文本中的字符分别转化为相应的字向量；

根据所述字向量确定所述输入文本中末尾字符属于预设的各词中位置标注状态的概率和属于意图结束字符的概率，所述词中位置标注状态是字符在所属词中的位置对应的位置标注，所述位置标注为字符位于所属词的开头、字符位于所属词的中间位置、字符位于所属词的末尾和字符单独成词中的一种；

获取基于文本语料统计的所述输入文本对应的统计特征；

根据所述末尾字符属于各所述词中位置标注状态的概率、属于意图结束字符的概率和所述统计特征进行分类，得到所述输入文本对应的完整程度；

当所述完整程度大于预设阈值时，则直接返回与所述输入文本对应的搜索结果。

2.根据权利要求1所述的方法，其特征在于，所述将所述输入文本中的字符分别转化为相应的字向量包括：

将所述输入文本输入已训练的完整性预测模型；

在所述完整性预测模型的末尾字符预估网络中，按照字符特征参数表将所述输入文本中的字符分别转化为相应的字向量。

3.根据权利要求2所述的方法，其特征在于，所述根据所述字向量确定所述输入文本中末尾字符属于预设的各词中位置标注状态的概率和属于意图结束字符的概率包括：

在所述完整性预测模型的末尾字符预估网络中，依次对所述字向量进行线性变换与归一化处理，得到所述字向量对应的字符属于预设的各词中位置标注状态的发射概率所构成的发射概率矩阵；

获取各所述词中位置标注状态之间的状态转移概率矩阵；

根据所述发射概率矩阵和所述状态转移概率矩阵，确定所述输入文本中末尾字符属于各所述词中位置标注状态的概率和属于意图结束字符的概率。

4.根据权利要求3所述的方法，其特征在于，所述输入文本中末尾字符属于各所述词中位置标注状态的概率通过以下步骤确定：

获取所述输入文本中首字符对应各所述词中位置标注状态的初始概率；

根据所述初始概率、所述首字符属于各所述词中位置标注状态的发射概率计算所述首字符属于各所述词中位置标注状态的概率；

基于所述输入文本中各字符的排序顺序，根据所述首字符属于各所述词中位置标注状态的概率、所述状态转移概率矩阵以及各个字符属于各所述词中位置标注状态的发射概率，依次计算所述输入文本中各字符对应各所述词中位置标注状态的概率，直至得到所述输入文本中末尾字符属于各所述词中位置标注状态的概率。

5.根据权利要求3所述的方法，其特征在于，所述输入文本中末尾字符属于意图结束字符的概率通过以下步骤确定：

获取所述输入文本中末尾字符属于词尾状态的第一概率；

获取所述输入文本中末尾字符属于单字状态的第二概率；

将所述第一概率与所述第二概率之和作为所述输入文本中末尾字符属于意图结束字符的概率。

6.根据权利要求2所述的方法，其特征在于，获取基于文本语料统计的所述输入文本对应的统计特征包括：

获取文本语料；

将所述输入文本输入至所述完整性预测模型中的特征统计网络；

在所述特征统计网络中，根据所述文本语料中的分词短语，按照预设字符级别特征统计所述输入文本中末尾字符对应的字符级别特征；

根据所述文本语料中的分词短语，按照预设分词短语级别特征统计所述输入文本对应的分词短语级别特征；

根据所述文本语料中的历史输入文本，按照预设文本级别特征统计所述输入文本所对应的文本级别特征；

将统计的所述字符级别特征、所述分词短语级别特征以及所述文本级别特征融合，得到所述输入文本对应的统计特征。

7.根据权利要求6所述的方法，其特征在于，所述获取文本语料包括：

获取历史搜索请求所包括的历史输入文本；

将所述历史输入文本进行分词，得到分词短语；

根据所述历史输入文本以及对应的所述分词短语得到文本语料。