[发明专利]文本纠错方法和装置

说明书

本发明实施例提供一种文本纠错方法与装置。其中，该方法包括：对查询内容中的待纠错文本进行预处理，得到多个片段；利用树模型对每一片段的候选片段进行打分，得到第一打分结果；利用深度神经网络模型对每一片段的候选片段进行打分，得到第二打分结果；将所述第一打分结果和所述第二打分结果融合，得到融合打分结果；利用融合打分结果对每一片段的候选片段进行排序；利用排序结果对所述待纠错文本进行纠错。本发明实施例保持树模型的特征组合能力的同时，引入深度神经网络上下文建模，可以结合上下文纠错，提高纠错结果的准确性。

技术领域

本发明涉及计算机领域，尤其涉及一种文本纠错方法和装置。

背景技术

对输入的文本进行纠错通常采用树模型。通过对不同场景进行数据的积累和统计，然后使用树模型强大的特征组合能力得到一个基础的纠错模型。

按场景进行划分，纠错需求的主要应用范围包括：大搜纠错、语音纠错、长文本纠错。树模型的优点为可以处理统计特征，在基于统计的大搜纠错和语音纠错需求的垂直场景下非常有效。

然而，树模型在长文本纠错场景的效果不好，在进行坏例(badcase)的修复和真实反馈数的学习记忆时，需要重新训练模型，可能会影响树模型原有的纠错能力。

发明内容

本发明实施例提供一种文本纠错方法与装置，以解决现有技术中的一个或多个技术问题。

第一方面，本发明实施例提供了一种文本纠错方法，包括：

对查询内容中的待纠错文本进行预处理，得到多个片段；

利用树模型对每一片段的候选片段进行打分，得到第一打分结果；

利用深度神经网络模型对每一片段的候选片段进行打分，得到第二打分结果；

将所述第一打分结果和所述第二打分结果融合，得到融合打分结果；

利用融合打分结果对每一片段的候选片段进行排序；

利用排序结果对所述待纠错文本进行纠错。

在一种实施方式中，所述利用树模型对每一片段的候选片段进行打分，得到第一打分结果，包括：

对每一个片段进行短语替换表片段召回，得到每一片段的各候选片段；

将各所述候选片段输入所述树模型进行打分，得到第一打分结果。

在一种实施方式中，所述利用排序结果对所述待纠错文本进行纠错，包括：

对每个片段排序后的各候选片段进行解码，选定融合打分结果的分值最高的候选片段为每个片段的结果片段；

将各结果片段组合形成所述待纠错文本的纠错结果文本。

在一种实施方式中，所述深度神经网络模型的构建过程包括：

利用对输入的错误文本的用户纠错结果，形成用户反馈语料；

利用纠错对向量LightPair2vec，对所述用户反馈语料进行所述深度神经网络模型的上下文建模，以对错误文本的正确替换文本进行拟合和记忆。

在一种实施方式中，利用对输入的错误文本的用户纠错结果，形成用户反馈语料，包括：

获取输入的错误文本；

通过纠错提示服务提供待选择的替换文本；

如果检测到某个替换文本被点击确认，则将被点击确认的文本作为正确替换文本；

将所述正确替换文本映射到用户点击标题，形成用户反馈语料。

第二方面，本发明实施例提供了一种文本纠错装置,包括：