[发明专利]语句鉴定方法及装置、存储介质和处理器

说明书

本发明公开了一种语句鉴定方法及装置、存储介质和处理器。其中，该方法包括：获取待处理语句；将待处理语句输入至目标编码器，处理得到待处理语句的语义表示，其中，目标编码器为语法错误检测任务和语法错误纠错任务共享的编码器；将待处理语句的语义表示输入至处理模型，得到处理结果，其中，处理结果包括以下之一：语法错误检测结果、语法错误纠错结果。本发明解决了由于不同任务的标注数据不同难以直接混合使用导致系统处理任务的性能不佳的技术问题。

技术领域

本发明涉及信息处理技术领域，具体而言，涉及一种语句鉴定方法及装置、存储介质和处理器。

背景技术

在语法错误检测与纠错任务上，过去因为任务划分和具体需求的不同，标注的数据存在一定的差异。在语法错误检测场景下，类似于Word里的拼写检查，仅需要对用户的输入中存在的错误进行发现和识别，并给出提示。以此为需求，标注了一些数据中存在的错误位置和类型，例如句子“我喜欢吃平果”，标注为第4个词“平果”错误。而在另一个语法错误纠错场景下，需要对用户的输入进行纠错，以此为需求，标注了另一批数据的语法正确形式，例如句子“我喜欢吃平果”及其正确形式“我喜欢吃苹果”。这两种标注数据本身并不相同，没法直接混合使用，所以称为异质标注数据。但是这两份数据针对的语法错误的检测和纠错是相互关联的，由于不同任务的标注数据不同难以直接混合使用导致系统处理任务的性能不佳。

针对上述的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种语句鉴定方法及装置、存储介质和处理器，以至少解决由于不同任务的标注数据不同难以直接混合使用导致系统处理任务的性能不佳的技术问题。

根据本发明实施例的一个方面，提供了一种语句鉴定方法，包括：获取待处理语句；将所述待处理语句输入至目标编码器，处理得到所述待处理语句的语义表示，其中，所述目标编码器为语法错误检测任务和语法错误纠错任务共享的编码器；将所述待处理语句的语义表示输入至处理模型，得到处理结果，其中，所述处理结果包括以下之一：语法错误检测结果、语法错误纠错结果。

进一步地，所述方法还包括：在将所述待处理语句输入至目标编码器，处理得到所述待处理语句的语义表示之前，获取多个已被标注的语句，其中，所述多个已被标注的语句包括：已被标注语法错误的第一类语句和已被纠错语法错误的第二类语句；将所述第一类语句输入至所述目标编码器，处理得到所述第一类语句的语义表示，将所述第二类语句输入至所述目标编码器，处理得到所述第二类语句的语义表示，将所述第一类语句的语义表示输入至语法错误检测子模型，得到所述第一类语句的语法错误检测结果，将所述第二类语句的语义表示输入至目标解码器，得到所述第二类语句的语法错误纠错结果；将所述第一类语句的语法错误检测结果与已被标注语法错误进行比对，得到第一比对结果，将所述第二类语句的语法错误纠错结果与已被纠错语法错误进行比对，得到第二比对结果；根据所述第一比对结果和所述第二比对结果，调整所述目标编码器的参数。

进一步地，所述方法还包括：根据所述第一比对结果调整所述语法错误检测子模型的参数；根据所述第二比对结果调整所述目标解码器的参数。

进一步地，根据所述第一比对结果和所述第二比对结果，调整所述目标编码器的参数包括：根据所述第一比对结果和交叉熵损失函数计算第一损失值；根据所述第二比对结果和所述交叉熵损失函数计算第二损失值；将所述第一损失值通过反向传播算法计算待调整的第一参数，将所述第二损失值通过所述反向传播算法计算待调整的第二参数；根据所述第一参数和所述第二参数，调整所述目标编码器的参数。

进一步地，根据所述第一参数和所述第二参数，调整所述目标编码器的参数包括：确定所述语法错误检测任务的第一权重值和所述语法错误纠错任务的第二权重值；根据所述第一参数、所述第一权重值、所述第二参数和所述第二权重值，调整所述目标编码器的参数。

进一步地，所述目标编码器为多层Bi-LSTM编码器，所述目标解码器为多层Bi-LSTM解码器。