[发明专利]图像处理方法、装置、计算机存储介质及服务器

说明书

本发明实施例公开了一种图像处理方法及装置、计算机存储介质和系统，其中方法应用于融合器中，该方法包括：融合器从编码器获取待处理图像的M组图像特征；获取M组图像特征中各组图像特征对应的第一图像表示信息。根据各组图像特征和各组图像特征对应的第一图像表示信息，生成M个图像表示信息集合，其中，一组图像特征对应生成的一个图像表示信息集合，一个图像表示信息集合中包括至少一个第二图像表示信息；融合M个图像表示信息集合包括的第二图像表示信息，得到目标图像表示信息，将所目标图像表示信息输出给所述解码器。采用本发明实施例，有利于提升图像的自然语句描述准确率，优化图像内容理解服务的质量。

技术领域

本发明涉及互联网技术领域，具体涉及图像处理技术领域，尤其涉及一种图像处理方法、一种图像处理装置、一种计算机存储介质以及一种服务器。

背景技术

为了方便快速了解图像的主要内容，图像内容理解服务应运而生。图像内容理解服务是将图像内容转换为采用一个自然语句来进行描述的服务，因此图像内容理解也可以理解为图像内容描述。换句话说，图像内容理解可以看成是翻译问题，即将图像内容翻译成自然语句描述。衡量图像内容理解服务的质量优劣的一个重要因素，即是用于描述图像内容的自然语句的描述准确率。

现有技术中，图像处理流程一般分为编码阶段及解码阶段。编码阶段：由编码器对原始图像的各帧图像进行图像特征的提取。解码阶段：由解码器根据编码器提取的图像特征预测出用于描述该图像内容的自然语句。通过现有技术的方案虽然实现了图像内容理解服务，但是，现有技术通过解码器和解码器仅是获得用于描述图像内容的自然语句，并未关注从多个角度描述图像，这就无法保证图像内容理解服务的质量。

发明内容

本发明实施例提供一种图像处理方法、一种图像处理装置、一种计算机存储介质及一种服务器，可提高采用自然语句对图像内容进行描述的描述准确率，提高图像内容理解服务的质量，进而可提高图像内容理解服务的用户体验。

第一方面，本发明实施例提供了一种图像处理方法，该方法适用于图像处理系统，该图像处理系统中包括编码器、融合器和解码器，该方法包括：

融合器从上述编码器获取待处理图像的M组图像特征，其中M为不小于2的整数；

融合器获取上述M组图像特征中各组图像特征对应的第一图像表示信息；

融合器根据上述各组图像特征和上述各组图像特征对应的第一图像表示信息，生成M个隐含状态集合，其中，一组图像特征对应生成的一个图像表示信息集合，一个图像表示信息集合中包括至少一个第二图像表示信息；

融合器融合上述M个图像表示信息集合包括的第二图像表示信息，得到目标图像表示信息，将上述目标图像表示信息输出给解码器；

其中，上述目标图像表示信息用于解码器对上述待处理图像进行解码得到上述待处理图像的图像描述。

在一些可行的实施方式中，上述融合器从上述编码器获取待处理图像的M组图像特征包括：

融合器从上述图像处理系统中包括的M个编码器获取待处理图像的M组图像特征，其中，一个编码器对应一组编码参数，一个编码器输出一组图像特征；或者

融合器从图像处理系统的编码器的M个编码通道中获取待处理图像的M组图像特征，其中，编码器的一个编码通道对应一组编码参数，一个编码通道输出一组图像特征。

在一些可行的实施方式中，上述M组图像特征中各组图像特征中包括待处理图像的全局图像特征；

上述融合器获取上述M组图像特征中各组图像特征对应的第一图像表示信息包括：

上述融合器根据上述M组图像特征中各组图像特征中的全局图像特征和指定线性变换矩阵生成上述各组图像特征对应的第一图像表示信息。