[发明专利]一种基于深度学习的端到端司法文书自动校对方法

权利要求书

1.一种基于深度学习的端到端司法文书自动校对方法，其特征在于，所述自动校对方法包括以下步骤：

步骤一、提出Transformer模型结构；

步骤二、对所述Transformer模型进行训练，得到最大化模型在训练数据S上的似然；

步骤三、在步骤二中得到的似然中引入长度惩罚项，得到解码策略。

2.根据权利要求1所述的一种基于深度学习的端到端司法文书自动校对方法，其特征在于，所述Transformer模型结构包括编码器和解码器，所述编码器和解码器各包含6个相同的层，每个层均包括一个自注意力子层和一个前向神经网络子层。

3.根据权利要求2所述的一种基于深度学习的端到端司法文书自动校对方法，其特征在于，在编码器和解码器间还存在一个编码器-解码器注意力子层，各个子层间通过输出处应用残差连接，并在同一层中做层归一化。

4.根据权利要求1所述的一种基于深度学习的端到端司法文书自动校对方法，其特征在于，在步骤二中，为了利用序列中符号的位置信息，在输入的embedding中融入位置编码，位置编码的维度与Transformer模型的隐含维度d_model相同，具体的计算公式为：

其中，pos是某符号在序列中的位置标号，i指示位置编码向量的某一分量，embedding为前一子层的输出，包括查询向量、键向量和值向量。

5.根据权利要求1所述的一种基于深度学习的端到端司法文书自动校对方法，其特征在于，在步骤二中，在训练Transformer模型时，使用极大似然估计，目标是最大化模型在训练数据S上的似然：

θ＝argmax∑_(x，y)∈Slogp(y|x；θ)。

6.根据权利要求1所述的一种基于深度学习的端到端司法文书自动校对方法，其特征在于，在步骤三中，具体的，给定输入的错误句子x，Transformer模型采用Beam Search解码生成目标段纠正句子y_cor，在每个时间步，保留得分最高的前k个候选句子，在原始的似然得分中引入了长度惩罚项，得到解码策略，计算公式为：

其中，LP是长度惩罚项，α为一个超参数，score为似然得分。