[发明专利]提要生成方法、信息生成及信息推荐方法、装置及设备

权利要求书

1.一种提要生成方法，包括：

根据集合中对象的文本描述信息和图像描述信息，构建由节点和节点间的连线组成的关系图，所述节点用于表征取自所述文本描述信息的文本或取自所述图像描述信息的图像，所述连线用于表征节点之间的关联关系；

使用提要预测模型组件对所述节点的第一向量化表示和所述节点之间的关联关系的第二向量化表示进行处理，以得到提要预测结果；

基于所述提要预测结果确定所述集合的提要。

2.根据权利要求1所述的提要生成方法，其中，

所述提要预测模型组件包括编码组件和解码组件，所述编码组件的输入为所述第一向量化表示和所述第二向量化表示，所述解码组件的输入为所述编码组件的输出。

3.根据权利要求2所述的提要生成方法，其中，

所述编码组件包括图卷积神经网络结构，所述图卷积神经网络结构用于从所述关系图中提取特征。

4.根据权利要求3所述的提要生成方法，其中，所述图卷积神经网络结构包括预定层数的特征提取单元，相邻两层特征提取单元中在后的特征提取单元的输入依赖于在前的特征提取单元的输出、所述关系图中至少部分节点的特征向量组成的矩阵以及所述节点之间的关联关系的矩阵。

5.根据权利要求4所述的提要生成方法，其中，

相邻两层特征提取单元之间为残差连接。

6.根据权利要求2所述的提要生成方法，其中，

所述解码组件包括注意力结构和循环神经网络结构，所述注意力结构用于确定解码时所述编码组件的输出中不同部分的权重分配，所述循环神经网络结构用于基于所述权重分配生成解码结果。

7.根据权利要求2所述的提要生成方法，其中，构建由节点和节点之间的连线组成的关系图的步骤包括：

根据集合中对象的文本描述信息，构建由文本节点和文本节点之间的连线组成的第一关系图，所述文本节点用于表征取自所述文本描述信息的文本；

根据集合中对象的图像描述信息，构建由图像节点和图像节点之间的连线组成的第二关系图，所述图像节点用于表征取自所述图像描述信息的图像。

8.根据权利要求7所述的提要生成方法，其中，构建由文本节点和文本节点之间的连线组成的第一关系图的步骤包括：

从所述文本描述信息中提取一个或多个文本，作为文本节点；

将出现在同一对象的文本描述信息中的两个文本节点用连线连接，并且/或者将相关性大于第一阈值的两个文本节点用连线连接。

9.根据权利要求8所述的提要生成方法，还包括：

确定所述连线的权重，所述权重与所述两个文本节点所表征的文本出现在相同对象的文本描述信息中的次数正相关，并且/或者所述权重与所述相关性正相关。

10.根据权利要求7所述的提要生成方法，其中，构建由图像节点和图像节点之间的连线组成的第二关系图的步骤包括：

从所述图像描述信息中提取一个或多个图像，作为图像节点；

将文本描述信息中具有相同文本的两个图像节点用连线连接，并且/或者将相似度大于第二阈值的两个图像节点用连线连接。

11.根据权利要求10所述的提要生成方法，还包括：

确定所述连线的权重，所述权重与所述相同文本的个数正相关，并且/或者所述权重与所述相似度正相关。

12.根据权利要求7所述的提要生成方法，其中，

所述编码组件包括第一图卷积神经网络结构和第二图卷积神经网络结构，所述第一图卷积神经网络结构用于从所述第一关系图中提取特征，所述第二图卷积神经网络结构用于从所述第二关系图中提取特征。