[发明专利]基于深度强化学习网络构建对区域敏感的模型的方法

权利要求书

1.一种基于深度强化学习网络构建对区域敏感的模型的方法，其特征在于，包括：

获取初始化状态下的智能体对图像仿真环境进行搜索的搜索数据；

根据所述搜索数据，生成注意力图，并对所述注意力图进行离散化处理；

将所述搜索数据中的位置状态信息和离散化处理后的注意力图输入至初始化的虚拟奖励模型中，输出得到虚拟奖励信息；

根据所述虚拟奖励信息来更新所述搜索数据中的奖励信息，并对应更新所述智能体的搜索策略模型和更新所述虚拟奖励模型；以及

根据更新后的搜索数据和虚拟奖励模型，对更新后的搜索策略模型继续进行训练，直至达到训练结束条件，训练完成的搜索策略模型为能够区分相似图像的图像搜索模型。

2.根据权利要求1所述的方法，其特征在于，所述虚拟奖励模型用于激励所述智能体对历史访问次数相对较少的图像位置状态进行访问；

所述虚拟奖励模型包括：参数随机初始化且参数固定的目标网络和参数可训练的预测网络；其中，所述目标网络和所述预测网络的输入状态与所述搜索数据中的位置状态信息以及离散化处理后的注意力图均相关，所述离散化处理后的注意力图使得图像相似，但注意力图具有区别的两个状态具有区分性。

3.根据权利要求1所述的方法，其特征在于，所述搜索数据为针对所述智能体的依时序分布的数据组序列，所述数据组序列中每一时刻的数据组包含：当前状态，针对当前状态的当前搜索动作，针对当前状态实施当前搜索动作后得到的下一时刻状态，本次奖励信息；

所述根据所述搜索数据，生成注意力图，包括：

针对每一时刻的数据组，将所述当前数据组中的下一时刻状态输入至编码器网络，输出得到下一时刻状态所对应的特征值；以及

将所述下一时刻状态所对应的特征值输入至注意力网络，输出得到下一时刻状态所对应的注意力图；

对所述注意力图进行离散化处理，包括：

基于预设个数k，将所述注意力图中最大的前k个元素的值设置为1，其余元素的值设置为0。

4.根据权利要求1-3中任一项所述的方法，其特征在于，所述获取初始化状态下的智能体对图像仿真环境进行搜索的搜索数据，包括：

针对初始化状态下的智能体，将图像仿真环境给出的当前状态s_t作为所述智能体的输入，所述智能体输出与所述当前状态s_t对应的搜索动作a_t；

图像仿真环境根据所述当前状态s_t以及对应的搜索动作a_t，输出下一时刻状态s_t+1、所述智能体获得的本次奖励信息r_t和终止标识符d_t；

基于时序进行迭代，得到针对所述智能体的依时序分布的数据组序列，所述数据组序列为五元组形式：（s_t，a_t，r_t，d_t，s_t+1）。