[发明专利]基于稀疏表示的场景图生成方法及系统

权利要求书

1.一种基于稀疏表示的场景图生成方法，其特征在于，包括：

通过快速区域卷积神经网络对原图像进行目标检测，获得目标区域集；

通过预设的关系度量网络将目标对的所有边识别为前景边和背景边，并构造稀疏图；该步骤包括：

获取各目标的类别特征、空间特征和外观特征；

根据目标对中两个目标的所述类别特征、所述空间特征和所述外观特征，对所述目标对的边进行分类，并获取分类结果；

根据所述分类结果选择条前景边和前条背景边，构造包含个节点和条边的稀疏图；

通过基于图注意力神经网络的特征融合和更新策略，对所述稀疏图上的节点和边进行同步学习，并识别目标类型和关系；该步骤包括：

对所述稀疏图中各节点的外观特征、空间特征和类别特征进行融合，并嵌入类别关系的先验统计概率，生成节点特征和边特征；

通过图注意力神经网络获取节点和边的注意力权重；

根据所述节点和边的注意力权重更新所述节点特征和所述边特征，并根据新的节点特征和边特征对目标和关系进行分类；

根据识别得到的所述目标类型和所述关系生成场景图。

2.如权利要求1所述的基于稀疏表示的场景图生成方法，其特征在于，所述根据目标对中两个目标的所述类别特征、所述空间特征和所述外观特征，对所述目标对的边进行分类，并获取分类结果，包括：

分别将所述目标对中两个目标的所述空间特征和所述外观特征进行串联，生成联合空间特征和联合外观特征；

嵌入目标类别的先验统计概率构建所述目标对的联合类别特征；

将所述联合外观特征、所述联合空间特征和所述联合类别特征进行串联，生成Logits特征；

将所述Logits特征输入sigmoid分类器，获得所述目标对的边概率。

3.如权利要求2所述的基于稀疏表示的场景图生成方法，其特征在于，所述联合空间特征为：

，

其中，为所述联合空间特征，为多层感知器，为串联操作，、分别为目标和的所述空间特征；

所述联合外观特征为：

，

其中，为所述联合外观特征，、分别为目标和的所述外观特征；

所述目标类别的先验统计概率为：

，

其中，为所述目标类别的先验统计概率，定义为在所述原图像中存在类别目标情况下存在类别目标的概率；

所述联合类别特征为：

，

其中，为所述联合类别特征，为所有类别的数量，为目标属于类别的概率，为目标属于类别的概率，、分别为目标和的所述类别特征。

4.如权利要求1所述的基于稀疏表示的场景图生成方法，其特征在于，所述对所述稀疏图中各节点的外观特征、空间特征和类别特征进行融合，并嵌入类别关系的先验统计概率，生成节点特征和边特征，包括：

对所述稀疏图中各节点的外观特征、空间特征和类别特征进行聚合，并通过编解码器进行压缩，得到融合特征；

根据所述融合特征得到初始化节点特征和初始化边特征；

将类别关系的先验统计概率嵌入到所述初始化节点特征和所述初始化边特征，构造节点特征和边特征；

将所述节点特征和所述边特征分配至所述稀疏图中对应的节点和边。

5.如权利要求4所述的基于稀疏表示的场景图生成方法，其特征在于，所述类别关系的先验统计概率为：

，

其中，为所述先验统计概率，定义为给定节点和情况下存在关系的概率；

所述节点特征为：

，

其中，为所述节点特征，为全部关系的数量，为所有节点的数量，为所述初始化节点特征；

所述边特征为：

，

其中，为所述边特征，为所述初始化边特征。