[发明专利]图像处理方法、装置、计算机存储介质及服务器

权利要求书

1.一种图像处理方法，应用于图像处理系统，所述图像处理系统包括编码器和解码器，其特征在于，所述图像处理系统中还包括融合器，所述方法包括：

所述融合器从所述编码器获取待处理图像的M组图像特征；

所述融合器获取所述M组图像特征中各组图像特征对应的第一图像表示信息；

所述融合器根据所述各组图像特征和所述各组图像特征对应的第一图像表示信息，生成M个图像表示信息集合，其中，一组图像特征对应生成的一个图像表示信息集合，一个图像表示信息集合中包括至少一个第二图像表示信息；

所述融合器融合所述M个图像表示信息集合包括的第二图像表示信息，得到目标图像表示信息，将所述目标图像表示信息输出给所述解码器；

其中，所述目标图像表示信息用于所述解码器对所述待处理图像进行解码得到所述待处理图像的图像描述；

其中，所述融合器融合所述M个图像表示信息集合包括的第二图像表示信息，得到目标图像表示信息包括：

所述融合器根据所述M个图像表示信息集合中各个图像表示信息集合包括的图像表示信息B确定第三图像表示信息，所述各个图像表示信息集合包括的图像表示信息B为所述各个图像表示信息集合中最后一个得到的图像表示信息；

针对所述各个图像表示信息集合中任一图像表示信息集合j执行如下操作得到所述图像表示信息集合j对应的上下文向量：

基于注意力模型对所述第三图像表示信息和所述图像表示信息集合j中的第二图像表示信息进行学习并输出所述图像表示信息集合j对应的上下文向量，其中，一个图像表示信息集合对应一个注意力模型；

获取所述M个图像表示信息集合对应的M个上下文向量，并根据所述M个上下文向量得到目标向量矩阵；

基于第三长短时记忆LSTM单元对所述目标向量矩阵和所述第三图像表示信息进行处理，生成目标图像表示信息。

2.如权利要求1所述的方法，其特征在于，所述融合器从所述编码器获取待处理图像的M组图像特征包括：

所述融合器从所述图像处理系统中包括的M个所述编码器获取待处理图像的M组图像特征，其中，一个编码器对应一组编码参数，一个编码器输出一组图像特征；或者

所述融合器从所述图像处理系统的所述编码器的M个编码通道中获取待处理图像的M组图像特征，其中，所述编码器的一个编码通道对应一组编码参数，一个编码通道输出一组图像特征。

3.如权利要求1或2所述的方法，其特征在于，所述M组图像特征中各组图像特征中包括所述待处理图像的全局图像特征；

所述融合器获取所述M组图像特征中各组图像特征对应的第一图像表示信息包括：

所述融合器根据所述M组图像特征中各组图像特征中的全局图像特征和指定线性变换矩阵生成所述各组图像特征对应的第一图像表示信息。

4.如权利要求3所述的方法，其特征在于，所述融合器根据所述各组图像特征和所述各组图像特征对应的第一图像表示信息，生成M个图像表示信息集合，包括：

所述融合器基于第一长短时记忆LSTM单元对任一组图像特征，以及所述各组图像特征对应的第一图像表示信息进行学习，得到所述任一组图像特征对应的图像表示信息A；

所述融合器基于第二LSTM单元对所述任一组图像特征和所述图像表示信息A进行学习，得到所述任一组图像特征对应的图像表示信息B；

合并所述任一组图像特征对应的所述图像表示信息A和所述图像表示信息B，得到所述任一组图像特征对应的图像表示信息集合i，其中，所述图像表示信息A和所述图像表示信息B为所述图像表示信息集合i中包括的第二图像表示信息；

获取各组图像特征对应的图像表示信息集合，得到所述M组图像特征对应的M个图像表示信息集合。