[发明专利]自然语言修正方法、系统、设备及存储介质

权利要求书

1.一种自然语言修正方法，其特征在于，所述方法包括如下步骤：

将训练用的修正前文本和修正后文本进行预处理得到修正前文本字向量序列和修正后文本字向量序列；

将修正前文本字向量序列作为模型输入，修正后文本字向量序列作为模型输出，训练修正用的序列到序列模型；

采用训练用的正确文本作为语言模型的训练集，统计所有r个字符联合连续出现的概率，r为预设统计细度；

将待修正文本进行预处理得到待修正文本字向量序列；

将待修正文本自向量序列输入所述修正用的序列到序列模型，输出多个候选语句；

将多个候选语句输入所述语言模型，分别计算每个候选语句的出现概率，将出现概率最高的候选语句作为输出的修正语句；

所述训练修正用的序列到序列模型，包括编码步骤和解码步骤，所述编码步骤包括如下步骤：

(1)将参与训练的修正前文本的每个句子中字符的个数固定为m，不足部分用预设字符补充完整，字向量的长度为n，根据句子中每个字符的字向量将每个句子转化为m×n的矩阵，得到编码步骤输入的句子的向量矩阵[x₁,x₂,…,x_t,…]；

(2)针对每一个句子的向量矩阵x_t，采用双向门控循环单元模型，设定当前时刻更新门单元和重置门单元的输出分别为z_t和r_t，当前时刻cell状态的值为满足如下公式：

z_t＝σ(W_z·[h_t-1,x_t])

r_t＝σ(W_r·[h_t-1,x_t])

其中，h_t-1为前一时刻隐藏层的状态，W_z、W_r和W分别为更新门单元、重置门单元和cell状态的权值矩阵，σ为sigmoid激活函数，tanh为双曲正切函数；

(3)根据以下公式得到各个隐藏节点的输出h_t：

(4)各个隐藏节点的输出h_t作为双向门控循环单元模型的输出；

(5)句子的向量矩阵[x₁,x₂,…,x_t,…]经过构建步骤(1.2)-(1.4)步骤，得到的输出结果定义为正向输出fh_i；

(6)将句子的向量矩阵反向得到[x_t,…,x₁,x₂,…]后，再经过(1.2)-(1.4)步骤，得到的输出结果定义为反向输出bh_i；

(7)将fh_i和bh_i合并得到双向门控循环单元模型的输出向量h_i；

(8)所述双向门控循环单元模型的输出序列[h₁,h₂,…,h_t,…]作为输入，通过如下公式：

c_t＝tanh(W_pyr[h_2t,h_2t+1]^T+b_pyr)

得到编码步骤的输出向量[c₁,c₂,…,c_t,…]；

其中，W_pyr为中间层的权值矩阵，b_pyr为中间层的偏置向量。

2.根据权利要求1所述的自然语言修正方法，其特征在于，所述步骤(7)中，根据如下步骤得到双向门控循环单元模型的输出向量：

将fh_i和bh_i向量首尾拼接得到双向门控循环单元模型的输出向量h_i。