[发明专利]特征融合方法、装置、电子设备及计算机可读存储介质

说明书

本公开提供了特征融合方法、装置、电子设备及计算机可读存储介质，涉及人工智能技术领域，具体涉及深度学习、图像处理、大模型、计算机视觉技术领域，可应用于光学字符识别等场景。具体实现方案为：获取第一输入特征以及第二输入特征，第一输入特征以及第二输入特征均与目标分析对象的相关性满足预设的相关性条件；将第一输入特征以及第二输入特征输入预置的特征融合网络，得到第一交叉注意力特征以及第二交叉注意力特征。基于本方案提供的特征融合网络对第一输入特征以及第二输入特征进行特征融合处理，得到融合有第一输入特征的特性以及第二输入特征的特性的第一交叉注意力特征以及第二交叉注意力特征，能够提升特征融合的效果。

技术领域

本公开涉及人工智能技术领域，具体涉及深度学习、图像处理、大模型、计算机视觉技术领域，可应用于光学字符识别(Optical Character Recognition，OCR)等场景，具体而言，本公开涉及一种特征融合方法、装置、电子设备及计算机可读存储介质。

背景技术

特征融合是指将不同的特征融合成新特征，从而更好地利用不同特征的特性，以提升模型性能。

特征融合的效果会对模型性能造成较大影响，因此，如何在将不同特征融合成新特征时，提升特征融合的效果，以保证模型性能，成为了相关领域中的一个重要的技术问题。

发明内容

本公开为了解决上述缺陷中的至少一项，提供了一种特征融合方法、装置、电子设备及计算机可读存储介质。

根据本公开的第一方面，提供了一种特征融合方法，该方法包括：

获取第一输入特征以及第二输入特征，第一输入特征以及第二输入特征均与目标分析对象的相关性满足预设的相关性条件；

将第一输入特征以及第二输入特征输入预置的特征融合网络，得到第一交叉注意力特征以及第二交叉注意力特征；

其中，特征融合网络包括第一自注意力子网络、第二自注意力子网络、第一交叉注意力子网络以及第二交叉注意力子网络；

第一自注意力子网络用于对第一输入特征进行自注意力处理，得到第一自注意力特征；

第二自注意力子网络用于对第二输入特征进行自注意力处理，得到第二自注意力特征；

第一交叉注意力子网络用于基于第一自注意力特征以及第二自注意力子网络对应的第二注意力权重参数进行交叉注意力处理，得到第一交叉注意力特征；

第二交叉注意力子网络用于基于第二自注意力特征以及第一自注意力子网络对应的第一注意力权重参数进行交叉注意力处理，得到第二交叉注意力特征。

根据本公开的第二方面，提供了一种特征融合装置，该装置包括：

特征获取模块，用于获取第一输入特征以及第二输入特征，第一输入特征以及第二输入特征均与目标分析对象的相关性满足预设的相关性条件；

特征融合模块，用于将第一输入特征以及第二输入特征输入预置的特征融合网络，得到第一交叉注意力特征以及第二交叉注意力特征；

其中，特征融合网络包括第一自注意力子网络、第二自注意力子网络、第一交叉注意力子网络以及第二交叉注意力子网络；

第一自注意力子网络用于对第一输入特征进行自注意力处理，得到第一自注意力特征；

第二自注意力子网络用于对第二输入特征进行自注意力处理，得到第二自注意力特征；

第一交叉注意力子网络用于基于第一自注意力特征以及第二自注意力子网络对应的第二注意力权重参数进行交叉注意力处理，得到第一交叉注意力特征；

第二交叉注意力子网络用于基于第二自注意力特征以及第一自注意力子网络对应的第一注意力权重参数进行交叉注意力处理，得到第二交叉注意力特征。