[发明专利]一种文档图像分类方法和装置

权利要求书

1.一种文档图像分类方法，其特征在于，包括：

获取待分类的文档图像的类别特征；

获取所述待分类的文档图像的类别特征与模板特征库中各个目标类别对应的模板特征的相似度；所述模板特征库包括多个目标类别对应的模板特征，其中所述模板特征为从对应的目标类别的文档图像中提取得到；

若所述模板特征库中存在与所述待分类的文档图像的类别特征相似度大于预设相似度阈值的模板特征，则从中选取最高相似度的模板特征对应的目标类别作为所述待分类的文档图像的类别；

若所述模板特征库中不存在与所述待分类的文档图像的类别特征相似度大于预设相似度阈值的模板特征，则判断所述模板特征库中是否需要新增目标类别；

若判断需要新增目标类别，则将所述待分类的文档图像的类别特征作为新增的目标类别的模板特征添加到所述模板特征库中。

2.根据权利要求1所述的方法，其特征在于，所述获取待分类的文档图像的类别特征，包括：

获取所述待分类的文档图像的文本特征和图像特征；

设置提示特征；所述提示特征内设置有空占位符；

将所述文档特征、所述图像特征及提示特征输入多模态特征提取模型；

提取所述提示特征内空占位符位置对应输出的分类特征，将空占位符位置对应输出的分类特征作为所述文档图像的类别特征。

3.根据权利要求2所述的方法，其特征在于，该方法进一步包括：

将所述空占位符对应的分类特征输入分类层，获得所述分类特征对应的类别字符；

所述空占位符的字节长度大于或等于所述类别字符的字节长度。

4.根据权利要求2所述的方法，其特征在于，获取文档图像的文本特征，包括：

通过光学字符识别OCR获得所述文档图像的文本和所述文本对应的二维位置信息，将所述文本进行分词获得词令牌，根据所述二维位置信息获得词令牌位置信息；

将词令牌及词令牌位置信息输入编码层，编码层将词令牌及词令牌位置信息映射到特征空间，获得词特征和词二维位置特征；

根据词令牌的索引排序，采用绝对位置编码进行位置编码将所述排序的序号映射为词一维位置特征；

所述词特征、词二维位置特征及词一维位置特征为文本特征。

5.根据权利要求2所述的方法，其特征在于，获取文档图像的图像特征，包括：

将所述文档图像均匀划分为多个图像块，将图像块按设定的位置顺序输入编码层，编码层将每一个图像块映射为多维特征，所述编码层输出一个图像特征序列；

将所述文档图像中每一个图像块对应的二维位置输入编码层，得到图像二维位置特征；所述二位位置为所述图像块在所述文档图像中的平面位置；

采用绝对位置编码对所述文档图像中每个图像块的一维位置顺序序号进行位置编码，得到图像一维位置特征；

所述图像特征序列、图像二维位置特征及图像一维位置特征为图像特征。

6.根据权利要求2所述的方法，其特征在于，所述提示特征还包括提示字符。

7.根据权利要求1所述的方法，其特征在于，从对应的目标类别的文档图像中提取模板特征，包括：

若所述目标类别只采集到一张文档图像，则获取所述文档图像的类别特征作为该目标类别的模板特征；

若所述目标类别采集到多张文档图像，则对多张文档图像的类别特征进行平均获得平均类别特征，设置所述平均类别特征作为该目标类别的模板特征。

8.根据权利要求1所述的方法，其特征在于，所述目标类别有多个，每个目标类别一对一设置一个模板特征。

9.根据权利要求2所述的方法，其特征在于，所述多模态特征提取模型采用transformer模型；

所述多模态特征提取模型在训练时，对应空占位符的输出位置设置损失函数进行训练，所述损失函数为平均交叉熵函数。