[发明专利]文字识别方法、装置、电子设备及存储介质

权利要求书

1.一种文字识别方法，其特征在于，包括：

获取待批改题目的作答图像以及所述待批改题目的题目信息，所述题目信息包括题干文本、答案文本和解析文本中的至少一种；

基于所述题目信息，对所述作答图像进行文字识别，得到所述作答图像中作答文本的识别结果。

2.根据权利要求1所述的文字识别方法，其特征在于，所述基于所述题目信息，对所述作答图像进行文字识别，得到所述作答图像中作答文本的识别结果，具体包括：

对所述作答图像进行视觉特征提取，得到所述作答图像的视觉特征编码；

对所述题目信息进行文本特征提取，得到所述题目信息的文本特征编码；

基于所述视觉特征编码和所述文本特征编码，确定所述作答图像中作答文本的识别结果。

3.根据权利要求2所述的文字识别方法，其特征在于，所述基于所述视觉特征编码和所述文本特征编码，确定所述作答图像中作答文本的识别结果，具体包括：

基于所述视觉特征编码以及上一解码时刻的解码状态，确定当前解码时刻所述视觉特征编码对应的视觉上下文特征编码；

基于所述文本特征编码以及上一解码时刻的解码状态，确定当前解码时刻所述文本特征编码对应的文本上下文特征编码；

基于当前解码时刻所述视觉特征编码对应的视觉上下文特征编码、所述文本特征编码对应文本上下文特征编码，以及上一解码时刻的解码状态和解码结果，确定当前解码时刻的解码结果；

其中，所述作答图像中作答文本的识别结果为最终解码时刻的解码结果。

4.根据权利要求3所述的文字识别方法，其特征在于，所述基于所述文本特征编码以及上一解码时刻的解码状态，确定当前解码时刻所述文本特征编码对应的文本上下文特征编码，具体包括：

基于所述文本特征编码、上一解码时刻的解码状态以及当前解码时刻所述视觉特征编码对应的视觉上下文特征编码，确定当前解码时刻所述文本特征编码对应的文本上下文特征编码。

5.根据权利要求2所述的文字识别方法，其特征在于，所述对所述题目信息进行文本特征提取，得到所述题目信息的文本特征编码，具体包括：

对所述题目信息中的每个词、每个词在所述题目信息中的位置以及每个词的类型进行嵌入编码，并对嵌入编码的结果进行自注意力交互，得到所述文本特征编码；

其中，每个词的类型为题干、答案或解析。

6.根据权利要求3所述的文字识别方法，其特征在于，所述基于所述题目信息，对所述作答图像进行文字识别，得到所述作答图像中作答文本的识别结果，具体包括：

将所述作答图像以及所述题目信息输入至作答文字识别模型，得到由所述作答文字识别模型输出的所述作答图像中作答文本的识别结果；

其中，所述作答文字识别模型通过如下方法训练得到：

基于携带有文字标签的文字图像样本，对所述作答文字识别模型中对所述作答图像进行处理的相关结构进行第一步预训练；

基于预设题目信息样本，对所述作答文字识别模型中对所述题目信息进行处理的相关结构进行第二步预训练；

基于作答图像样本以及所述作答图像样本对应的题目信息，对第二步预训练得到的预训练模型进行微调，得到所述作答文字识别模型。

7.根据权利要求1-6中任一项所述的文字识别方法，其特征在于，所述作答图像中作答文本为手写文本，所述题目信息中的题干文本为印刷文本；相应地，所述获取待批改题目的作答图像，具体包括：

获取包含有待批改题目以及所述待批改题目的题干文本的题目图像；

将所述题目图像输入至字体分离检测模型，得到由所述字体分离检测模型输出的所述题目图像中的作答图像；

所述字体分离检测模型基于携带有字体标签的文字图像样本训练得到。