[发明专利]基于原图像和动态信息融合的息屏画面生成方法

说明书

本申请公开了一种基于原图像和动态信息融合的息屏画面生成方法，其包括：获取用户当前手机息屏界面的图像和待添加的动态信息；将所述手机息屏界面的图像通过深度卷积神经网络以获得原图像特征图；将所述动态信息转化为文本向量，以获得多个文本向量；将所述多个文本向量通过多个全连接层进行编码，以获得多个文本特征向量；将所述原图像特征图与所述每个文本特征向量进行矩阵相乘，以获得多个动态信息特征向量；将所述多个动态信息特征向量按样本维度进行拼接之后再进行插值，以获得动态信息特征图；将所述动态信息特征图与所述原图像特征图融合，以获得融合特征图；以及，将所述融合特征图输入生成器网络，以获得生成图像。

技术领域

本发明涉及深度学习和神经网络技术领域，且更为具体地，涉及一种基于原图像和动态信息融合的息屏画面生成方法、基于原图像和动态信息融合的息屏画面生成系统和电子设备。

背景技术

随着OLED显示屏被应用于终端设备（例如，智能手机等），其为智能手机的屏幕显示功能多样化提供新的硬件支持。 相较于LCD显示屏， OLED显示屏具有独特的“只点亮部分屏幕像素”的硬件能力，因此，在智能手机处于灭屏状态下，OLED显示屏可只允许小部分像素常亮，以实现AOD息屏显示功能。

在智能手机处于息屏状态下，OLED屏幕上仍可显示工作时钟和一些常用提示信息，以使得终端设备的用户比较少地按下电源键点亮整个屏幕来查看时钟盒和有没有来电等提示性消息。但是，应用于智能手机的息屏界面仅显示固定内容，效果单一。

因此，期待一种生成可动态变化的AOD息屏界面的技术方案。

目前，深度学习以及神经网络已经广泛应用于计算机视觉、自然语言处理、文本信号处理等领域。此外，深度学习以及神经网络在图像分类、物体检测、语义分割、文本翻译等领域，也展现出了接近甚至超越人类的水平。

深度学习以及神经网络的发展为生成可动态变化的AOD息屏界面提供了新的解决思路和方案。

发明内容

为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种基于原图像和动态信息融合的息屏画面生成方法、基于原图像和动态信息融合的息屏画面生成系统和电子设备，其基于卷积神经网络的图像生成器的方案，将用户当前自定义的手机息屏界面的图像和可以添加的动态信息在高维抽象空间中进行融合，以生成新的基于原图像的生成图像，通过这样的方式，向目前的手机息屏界面添加符合原图像的动态信息，可以提升AOD的趣味性和互动性。

根据本申请的一个方面，提供了一种基于原图像和动态信息融合的息屏画面生成方法，其包括：

获取用户当前自定义的手机息屏界面的图像和待添加的动态信息，所述待添加的动态信息包括多条文本形式的动态信息；

将所述手机息屏界面的图像作为输入图像通过深度卷积神经网络以获得原图像特征图；

将所述多条文本形式的动态信息中各条动态信息分别转化为文本向量，以获得多个文本向量；

将所述多个文本向量分别通过多个全连接层进行编码，以获得多个文本特征向量，其中，所述多个全连接层中最后一个全连接层的输出位数与所述原图像特征图的宽度或者高度维度相同；

将所述原图像特征图分别与所述多个文本特征向量中每个文本特征向量进行矩阵相乘，以获得多个动态信息特征向量；

将所述多个动态信息特征向量按样本维度进行拼接之后再进行插值，以获得与所述原图像特征图具有相同维度的动态信息特征图；

将所述动态信息特征图与所述原图像特征图融合，以获得融合特征图；以及将所述融合特征图输入生成器网络，以获得新的基于源图像的生成图像。