[发明专利]文本图像的文本框排序方法和文本图像的文本框排序装置

权利要求书

1.一种文本图像的文本框排序方法，其特征在于，所述方法包括：

基于目标文本图像中包含的文本框，确定所述目标文本图像对应的空间位置特征，所述空间位置特征用于表征所述目标文本图像中各文本框之间的位置关系；

针对每一文本框，提取所述文本框对应的视觉特征和文本特征，对同一文本框所对应的视觉特征和文本特征进行特征融合处理，得到每一文本框在图结构中所映射节点的节点特征；

基于所述图结构中各节点的节点特征，对基于所述空间位置特征所确定的各节点间的初始节点连边特征进行特征更新，得到更新节点连边特征；

基于所述更新节点连边特征所确定的节点连接关系，对所述图结构中每一节点各自表征的文本框进行排序。

2.根据权利要求1所述的方法，其特征在于，所述基于所述图结构中各节点的节点特征，对基于所述空间位置特征所确定的各节点间的初始节点连边特征进行特征更新，得到更新节点连边特征，包括：

对所述空间位置特征进行特征嵌入和归一化处理，得到初始节点连边特征矩阵；

基于所述图结构中各节点对应的节点特征所构成的初始节点特征矩阵，对所述初始节点连边特征矩阵进行更新，得到更新节点连边特征矩阵。

3.根据权利要求2所述的方法，其特征在于，所述基于所述图结构中各节点对应的节点特征所构成的初始节点特征矩阵，对所述初始节点连边特征矩阵进行更新，得到更新节点连边特征矩阵，包括：

将所述初始节点特征矩阵与所述初始节点连边特征矩阵进行矩阵拼接处理，得到拼接节点连边特征矩阵；

对所述拼接节点连边特征矩阵进行多层感知处理，得到更新节点连边特征。

4.根据权利要求3所述的方法，其特征在于，所述初始节点特征矩阵为二维矩阵；

所述将所述初始节点特征矩阵与所述初始节点连边特征矩阵进行矩阵拼接处理，得到拼接节点连边特征矩阵，包括：

将所述初始节点特征矩阵分别进行不同维度的矩阵扩张，得到第一三维矩阵和第二三维矩阵；

对所述第一三维矩阵和所述第二三维矩阵所构成的拼接三维矩阵进行归一化处理，得到拼接节点特征矩阵；

将所述拼接节点特征矩阵和所述初始节点连边特征矩阵进行矩阵拼接处理，得到拼接节点连边特征矩阵。

5.根据权利要求2所述的方法，其特征在于，所述基于所述图结构中各节点对应的节点特征所构成的初始节点特征矩阵，对所述初始节点连边特征矩阵进行更新，得到更新节点连边特征矩阵，包括：

将所述各节点对应的节点特征所构成的初始节点特征矩阵和所述初始节点连边特征矩阵输入图神经网络；

在所述图神经网络中，基于所述初始节点特征矩阵对所述初始节点连边特征矩阵进行更新，得到更新节点连边特征矩阵并输出。

6.根据权利要求5所述的方法，其特征在于，所述图神经网络为至少两个图神经网络依次连接构成图神经网络群组，所述图神经网络群组中上一图神经网络的输出数据为下一图神经网络的输入数据；

所述方法还包括：

在所述图神经网络中，基于所述更新节点连边特征，对所述初始节点特征矩阵进行更新，得到更新节点特征矩阵并输出。

7.根据权利要求1所述的方法，其特征在于，所述方法还包括：

基于所述更新节点连边特征，对所述节点特征进行更新，得到更新的节点特征；

将所述更新的节点特征与所述更新节点连边特征进行特征拼接处理，对得到的拼接特征进行多层感知处理，得到二次更新节点连边特征；

所述基于所述更新节点连边特征所确定的节点连接关系，对所述图结构中每一节点各自表征的文本框进行排序，包括：

基于所述二次更新节点连边特征所确定的节点连接关系，对所述图结构中每一节点各自表征的文本框进行排序。