[发明专利]表格生成方法、装置、电子设备及存储介质

权利要求书

1.一种表格生成方法，包括：

识别待识别图像中的至少一个表格对象分别对应的对象位置信息；

提取所述至少一个表格对象分别对应的对象特征；

基于所述表格对象的位置信息，提取所述至少一个表格对象分别对应的区域特征；

将任一个表格对象的对象特征和区域特征进行特征拼接处理，获得所述表格对象的多模态特征，以获得所述至少一个表格对象分别对应的多模态特征；

将所述至少一个表格对象分别对应的多模态特征输入特征融合模型，获得所述至少一个表格对象分别对应的目标特征；

将所述目标特征输入到属性分类模型，获得所述至少一个表格对象分别对应的表格属性；其中，任一个表格对象的表格属性包括单元格属性或非单元格属性；

确定所述至少一个表格对象中具有单元格属性的至少一个目标对象；

确定所述至少一个目标对象分别对应的单元格区域，获得所述至少一个目标对象分别对应的单元格位置信息；

根据所述至少一个目标对象分别对应的单元格位置信息，生成所述待识别图像对应的电子表格。

2.根据权利要求1所述的方法，其中，所述根据所述至少一个目标对象分别对应的单元格位置信息，生成所述待识别图像对应的电子表格，包括：

根据所述至少一个目标对象分别对应的单元格位置信息，确定至少一个目标对象分别对应的区域图像；

识别所述至少一个目标对象分别对应的区域图像的文本信息，以获得所述至少一个目标对象分别对应的图像文本信息；

根据所述至少一个目标对象分别对应的图像文本信息以及单元格位置信息，生成所述电子表格。

3.根据权利要求1所述的方法，其中，还包括：

基于所述待识别图像，提取所述至少一个表格对象在预设模态种类分别对应的模态特征；

所述将任一个表格对象的对象特征和区域特征进行特征拼接，获得所述表格对象的多模态特征，以获得所述至少一个表格对象分别对应的多模态特征，包括：

将任一个表格对象的对象特征、区域特征和所述表格对象在所述模态种类对应的模态特征进行特征拼接，获得所述表格对象的多模态特征，以获得所述至少一个表格对象分别对应的多模态特征。

4.根据权利要求1所述的方法，其中，所述至少一个表格对象包括至少一个文本框对象；所述提取所述至少一个表格对象分别对应的对象特征，包括：

提取所述待识别图像的图像特征；

根据所述至少一个表格对象分别对应的对象位置信息，从所述图像特征中提取所述至少一个表格对象分别对应的区域图像特征；

确定任一个表格对象的区域图像特征为所述表格对象的对象特征，以获得所述至少一个表格对象分别对应的对象特征。

5.根据权利要求1所述的方法，其中，所述至少一个表格对象包括至少一个字符对象；还包括：

识别所述待识别图像中的至少一个表格对象分别对应的对象文本信息；

所述提取所述至少一个表格对象分别对应的对象特征，包括：

对所述至少一个表格对象分别对应的对象文本信息进行词向量提取，获得所述至少一个表格对象分别对应的对象特征。

6.根据权利要求1所述的方法，其中，所述确定所述至少一个目标对象分别对应的单元格区域，获得所述至少一个目标对象分别对应的单元格位置信息，包括：

基于所述至少一个表格对象分别对应的多模态特征，确定所述至少一个目标对象分别对应的多模态特征；

将所述至少一个目标对象分别对应的多模态特征输入单元格区域的位置解码器，获得所述至少一个目标对象分别对应的单元格位置信息。

7.根据权利要求6所述的方法，其中，所述基于所述至少一个表格对象分别对应的多模态特征，确定所述至少一个目标对象分别对应的多模态特征，包括：

从所述至少一个表格对象中确定与任一个目标对象匹配的匹配对象，以将所述匹配对象的多模态特征确定为所述目标对象的多模态特征，获得所述至少一个目标对象分别对应的多模态特征。