[发明专利]转变图像风格的方法和装置、卷积神经网络处理器

说明书

本发明提供一种转变图像风格的方法和装置、卷积神经网络处理器，属于风格转变技术领域，其可至少部分解决现有的转变图像风格的方法转变效果不好或转变时间长的问题。本发明的转变图像风格采用的卷积神经网络包括的每个通道中，下采样段包括下采样单元和卷积层，下采样单元用于将其输入转变为下一尺度的输出；密集连接段包括至少一个密集连接卷积网络模块，每个密集连接卷积网络模块包括多个依次连接的、具有卷积层的卷积块，每个卷积块的输出均为其后所有卷积块的输入，且为密集连接卷积网络模块的输出，密集连接卷积网络模块的输入为其中所有卷积块的输入；上采样段包括上采样单元和卷积层，上采样单元用于将其输入转变为下一尺度的输出。

技术领域

本发明属于图像风格转变技术领域，具体涉及一种转变图像风格的方法和装置、卷积神经网络处理器。

背景技术

在图像处理、艺术等领域中，可能需要将一幅图像转变(或称迁移)为具有其它风格的图像，即在保持图像内容(如图像中的风景、物体、人物等)不变的情况下，使图像具有不同的风格(包括艺术种类的风格、艺术家的风格、艺术流派的风格等，如素描风格、浮世绘风格、梵高风格等)。

现在有一些软件可用于转变图像风格，如Prisma、Atisto等。但这些软件的转变效果并不好，其也可通过简单的Photoshop处理实现。例如，若用Prisma软件将图1的图像转变为具有图2的风格的图像时，其结果如图3所示，可见图3的风格与图2的风格并不接近，且内容相差也比较大，说明其转变效果不好。

也有一些技术通过深度学习的卷积神经网络实现图像风格转变，例如以下论文：Justin Johnson.Perceptual Losses for Real-Time Style Transfer and Super-Resolution.arXiv:1603:08155。但是，这些技术采用的卷积神经网络结构复杂，所需处理的数据量大，导致其运行速度慢、转变耗时长。

发明内容

本发明至少部分解决现有的转变图像风格的方法转变效果不好或转变时间长的问题，提供一种可在短时间内实现良好转变效果的转变图像风格的方法和装置、卷积神经网络处理器。

解决本发明技术问题所采用的技术方案是一种转变图像风格的方法，包括将原始图像输入卷积神经网络中处理得到结果图像；所述卷积神经网络包括至少一个通道，每个通道包括依次连接的下采样段、密集连接段、上采样段；其中，

下采样段包括交替设置的至少一个下采样单元和至少一个卷积层，所述下采样单元用于将其输入转变为下一尺度的输出；

密集连接段包括至少一个密集连接卷积网络模块，每个密集连接卷积网络模块包括多个依次连接的、具有卷积层的卷积块，每个卷积块的输出均为其后所有卷积块的输入，且也为密集连接卷积网络模块的输出，密集连接卷积网络模块的输入为其中所有卷积块的输入；

上采样段包括交替设置的至少一个上采样单元和至少一个卷积层，所述上采样单元用于将其输入转变为下一尺度的输出；

同一通道的下采样段中的下采样单元与上采样段中的上采样单元数量相等且相互对应。

可选的，每个所述卷积块包括依次连接的第一卷积层和第二卷积层，其中第一卷积层包含一个1*1的卷积核，第二卷积层包含一个3*3的卷积核。

可选的，所述下采样段还包括：至少一个跨尺度连接，其用于对一个下采样单元的输出进行下采样，并将下采样结果输入到至少向后跨越一个尺度的卷积层中；

和/或，

所述上采样段还包括：至少一个跨尺度连接，其用于对一个上采样单元的输出进行上采样，并将上采样结果输入到至少向后跨越一个尺度的卷积层中。

进一步可选的，所述下采样段的跨尺度连接的下采样为D-Bicubic采样；