[发明专利]特征融合方法、装置、电子设备及计算机可读存储介质

权利要求书

1.一种特征融合方法，包括：

获取第一输入特征以及第二输入特征，所述第一输入特征以及第二输入特征均与目标分析对象的相关性满足预设的相关性条件；

将所述第一输入特征以及所述第二输入特征输入预置的特征融合网络，得到第一交叉注意力特征以及第二交叉注意力特征；

其中，所述特征融合网络包括第一自注意力子网络、第二自注意力子网络、第一交叉注意力子网络以及第二交叉注意力子网络；

所述第一自注意力子网络用于对所述第一输入特征进行自注意力处理，得到第一自注意力特征；

所述第二自注意力子网络用于对所述第二输入特征进行自注意力处理，得到第二自注意力特征；

所述第一交叉注意力子网络用于基于所述第一自注意力特征以及所述第二自注意力子网络对应的第二注意力权重参数进行交叉注意力处理，得到第一交叉注意力特征；

所述第二交叉注意力子网络用于基于所述第二自注意力特征以及所述第一自注意力子网络对应的第一注意力权重参数进行交叉注意力处理，得到第二交叉注意力特征。

2.根据权利要求1所述的方法，其中，所述第一交叉注意力子网络在基于所述第一自注意力特征以及所述第二自注意力子网络对应的第二注意力权重参数进行交叉注意力处理，得到第一交叉注意力特征时，具体用于：

将所述第一自注意力特征转换为第一内容特征；

基于所述第一内容特征以及所述第二自注意力子网络对应的第二注意力权重参数进行交叉注意力处理，得到第一交叉注意力特征；

所述第二交叉注意力子网络在基于所述第二自注意力特征以及所述第一自注意力子网络对应的第一注意力权重参数进行交叉注意力处理，得到第二交叉注意力特征时，具体用于：

将所述第二自注意力特征转换为第二内容特征；

基于所述第二内容特征以及所述第一自注意力子网络对应的第一注意力权重参数进行交叉注意力处理，得到第二交叉注意力特征。

3.根据权利要求1或2所述的方法，其中，所述特征融合网络还包括特征融合层，在所述将所述第一输入特征以及所述第二输入特征输入预置的特征融合网络，得到第一交叉注意力特征以及第二交叉注意力特征之后，所述方法还包括：

将所述第一交叉注意力特征以及所述第二交叉注意力特征输入至所述特征融合层，以基于所述第一交叉注意力特征以及所述第二交叉注意力特征，确定融合后特征。

4.根据权利要求3所述的方法，其中，所述基于所述第一交叉注意力特征以及所述第二交叉注意力特征，确定融合后特征，包括：

将所述第一交叉注意力特征与所述第二交叉注意力特征进行特征融合，得到融合后特征。

5.根据权利要求3所述的方法，其中，所述基于所述第一交叉注意力特征以及所述第二交叉注意力特征，确定融合后特征，包括：

将所述第一交叉注意力特征与所述第一输入特征进行特征融合，得到第一子融合特征；

将所述第二交叉注意力特征与所述第二输入特征进行特征融合，得到第二子融合特征；

将所述第一子融合特征与所述第二子融合特征进行特征融合，得到融合后特征。

6.根据权利要求3-5中任一项所述的方法，其中，所述目标分析对象为包含目标文本的文档图像，所述第一输入特征为视觉特征，所述第二输入特征为文本特征，所述相关性条件为所述视觉特征以及所述文本特征均是基于所述文档图像提取出的。

7.根据权利要求6所述的方法，还包括：

提取所述文档图像的图像特征以及所述文档图像中像素点的位置特征；

将所述图像特征与所述位置特征进行特征融合，得到所述视觉特征。

8.根据权利要求7所述的方法，其中，所述提取所述文档图像的图像特征，包括：

基于预设的卷积神经网络提取所述文档图像的图像特征。

9.根据权利要求6-8中任一项所述的方法，还包括：

对所述文档图像进行光学字符识别OCR处理，得到所述目标文本；

对所述目标文本进行特征提取，得到所述文本特征。