[发明专利]一种基于多属性融合的遥感影像推荐方法

权利要求书

1.一种基于多属性融合的遥感影像推荐方法，其特征在于，包括以下步骤：

(1)根据用户-职责关系-职责三元组格式构造用户职责知识图谱，其中，职责关系包括主要业务、管辖区域、关注对象、常用卫星；根据用户-订购关系-影像三元组格式构造用户订购知识图谱，其中，订购关系包括订购时间、所属卫星；根据影像-属性关系-属性构建影像属性知识图谱，其中，属性关系包括影像类型、空间分辨率、幅宽、拍摄卫星、行政区域、云量、主要地物；利用目标检测、地物分类、影像检索、经纬度匹配方法对图像进行内容解译，获取影像地物占比信息，包括建筑占比、林地占比、水体占比、裸地占比、港口个数、船舶个数；

(2)采用实体和关系分开嵌入的方法，对用户职责知识图谱、用户订购知识图谱、影像属性知识图谱进行知识表示学习，获得用户职责嵌入向量、用户订购嵌入向量、影像属性嵌入向量、影像订单嵌入向量，同时将影像地物占比信息以向量形式存储为影像地物占比向量，作为知识表示学习结果；

(3)将用户职责嵌入向量、用户订购嵌入向量和影像属性嵌入向量、影像订单嵌入向量、影像地物占比向量配对后输入基于多属性融合的协同过滤推荐网络，通过分离的特征提取网络分别对相应输入向量进行特征提取，获取处于同一空间的用户职责特征向量、用户订购特征向量、影像属性特征向量、影像订单特征向量和影像地物特征向量，然后采用深层融合与浅层融合相结合的融合网络结构，将上述五种特征向量融合为包含用户与影像匹配规律的联合表示向量，最后采用全连接层网络和sigmoid层来预测用户与影像的配对概率，根据配对概率判断输入的影像是否可以被推荐给输入的用户；

步骤(3)的具体方式如下：

(301)对于用户u和遥感影像i，通过知识图谱表示学习方法获得包含图谱语义信息的嵌入表示，即用户职责嵌入向量u_re、用户订购嵌入向量u_oe、影像属性嵌入向量i_ae、影像订单嵌入向量i_oe，并且通过图像内容解译，获得影像地物占比向量i_ge；

用户职责嵌入向量u_re对应的用户职责特征向量u_r的表示学习部分定义为：

用户订购嵌入向量u_oe对应的用户订购特征向量u_o的表示学习部分定义为：

影像属性嵌入向量i_ae对应的影像属性特征向量i_a的表示学习部分定义为：

影像订单嵌入向量i_oe对应的影像订单特征向量i_o的表示学习部分定义为：

影像地物占比向量i_ge对应的影像地物特征向量i_g的表示学习部分定义为：

其中，W_urX和b_urX分别表示用户职责嵌入向量特征提取网络第X层的权重矩阵和偏差向量，W_uoX和b_uoX分别表示用户订购嵌入向量特征提取网络第X层的权重矩阵和偏差向量，W_iaX和b_iaX分别表示影像属性嵌入向量特征提取网络第X层的权重矩阵和偏差向量，W_ioX和b_ioX分别表示影像订单嵌入向量特征提取网络第X层的权重矩阵和偏差向量，W_igX和b_igX分别表示影像地物占比向量特征提取网络第X层的权重矩阵和偏差向量，上标T表示矩阵转置，f(·)表示激活函数，

a_ur0,a_ur1...a_urX,a_uo0,a_uo1...a_uoX,a_ia0,a_ia1...a_iaX,a_io0,a_io1...a_ioX,a_ig0,a_ig1...a_igX均为中间变量；

(302)通过门机制来融合用户职责特征向量u_r与用户订购特征向量u_o，获得用户融合特征向量u_m：

u_m＝α_u·u_r+β_u·u_o

其中，[α_u,β_u]＝soft max(W_r·u_r+W_uo·u_o)，且α_u+β_u＝1；W_r、W_uo表示权重矩阵；

同时，使用门机制来融合影像属性特征向量i_a、影像订单特征向量i_o与影像地物特征向量i_g，获得影像融合特征向量i_m：

i_m＝α_i·i_a+β_i·i_o+λ_i·i_g

其中，[α_i,β_i,λ_i]＝soft max(W_a·i_a+W_io·i_o+W_g·i_g)，且α_i+β_i+λ_i＝1；W_a、W_io、W_g表示权重矩阵；

之后，对用户融合特征向量u_m和影像融合特征向量i_m做进一步融合，挖掘用户-影像交互的线性相关性，获取基于多层次浅层融合的预测向量p_ui：

p_ui＝u_m⊙i_m

其中，⊙表示元素积操作；

(303)拼接用户职责特征向量u_r、用户订购特征向量u_o、影像属性特征向量i_a、影像订单特征向量i_o与影像地物特征向量i_g，得到拼接向量q₀：

q₀＝[u_r,u_o,i_a,i_o,i_g]

然后，将拼接向量作为深度神经网络的输入，该神经网络的深层训练部分被定义如下：

其中，W_X和b_X分别表示第X层神经网络的权重矩阵和偏差向量，f(·)表示ReLU激活函数，q₁,q₂...q_X为中间变量；至此，得到基于多属性深层融合的预测向量q_ui；

(304)拼接基于多层次浅层融合的预测向量p_ui与基于多属性深层融合的预测向量q_ui，得到关于用户与项目匹配规律的联合表示，然后将该联合表示传入全连接层以及后续的sigmoid层，最终获得用户u订购影像i的配对概率

其中，W_out为权重矩阵，σ(·)为激活函数。