[发明专利]基于BERT的数据纠错方法、装置、设备及存储介质

说明书

本申请实施例涉及数据处理领域，公开了一种基于BERT的数据纠错方法、装置、设备及存储介质，该方法包括：获取待纠错源数据，识别所述待纠错源数据中的异常数据，并确定所述异常数据对应的候选数据集合，所述候选数据集合中包括一个或多个候选数据；调用基于BERT的掩码语言模型对所述异常数据进行掩码处理，得到所述异常数据对应的候选数据排序结果；根据所述异常数据对应的候选数据排序结果中排在第一位的候选数据，确定所述异常数据对应的替换数据；根据所述替换数据对所述异常数据进行替换，得到所述待纠错源数据的目标语句。可以有效的提高数据纠错准确性。本申请涉及区块链技术，如可将上述数据写入区块链中，以用于数据纠错等场景。

技术领域

本申请涉及数据处理技术领域，尤其涉及一种基于BERT的数据纠错方法、装置、设备及存储介质。

背景技术

随着计算机技术的快速发展，问答机器人，对话系统等技术越来越广泛地应用在人们的日常工作或生活中，这些技术的输入一般是文字或者语音，而文字输入或语音输入通常会出现输入错误。例如，针对问答机器人，用户在问答机器人进行语音输入时，问答机器人在识别用户的语音的过程中可能出现错误识别，即导致最终输入到问答机器人中的文字出现错字，或者用户在问答机器人进行文字输入时，用户可能输错了某个字。因此，在纠错领域中，如何提高纠错准确性成为了亟需解决的问题。

发明内容

本申请实施例提供了一种基于BERT的数据纠错方法、装置、设备及存储介质，通过实施上述方法，可以在得到异常数据对应的候选数据集合后，对候选数据集合中的各个候选数据进行排序，以根据排序结果来来确定最终可替换的数据，从而提高纠错准确性。

第一方面，本申请实施例公开了一种基于BERT的数据纠错方法，所述方法包括：

获取待纠错源数据，识别所述待纠错源数据中的异常数据，并确定所述异常数据对应的候选数据集合，所述候选数据集合中包括一个或多个候选数据；

调用基于BERT的掩码语言模型对所述异常数据进行掩码处理，得到所述异常数据对应的候选数据排序结果；

根据所述异常数据对应的候选数据排序结果中排在第一位的候选数据，确定所述异常数据对应的替换数据；

根据所述替换数据对所述异常数据进行替换，得到所述待纠错源数据的目标数据。

第二方面，本申请实施例公开了一种数据纠错装置，所述装置包括：

获取单元，用于获取待纠错源数据，识别所述待纠错源数据中的异常数据，并确定所述异常数据对应的候选数据集合，所述候选数据集合中包括一个或多个候选数据；

调用单元，用于调用基于BERT的掩码语言模型对所述候选数据集合中各个候选数据进行排序，得到所述异常数据对应的候选数据排序结果；

确定单元，用于根据所述异常数据对应的候选数据排序结果中排在第一位的候选数据，确定所述异常数据对应的替换数据；

替换单元，用于根据所述替换数据对所述异常数据进行替换，得到所述待纠错源数据的目标数据。

第三方面，本申请实施例公开了一种设备，包括处理器、存储器，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行上述第一方面的方法。

第四方面，本申请实施例公开了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行上述第一方面的方法。