[发明专利]一种基于双识别流卷积网络的动态纹理合成方法

说明书

技术领域

本发明涉及计算机图形学中里的动态纹理合成技术领域，尤其是涉及了一种基于双识别流卷积网络的动态纹理合成方法。

背景技术

动态纹理是指描述某种动态景观的具有时间相关重复特征的图像序列，它们在自然界中广泛存在，比如海浪、瀑布、飘扬的旗帜、飞翔的鸟群等等。国内外许多学者应用基于物理模型的仿真方法在动态纹理合成方面做了大量的工作，对某些现象的合成取得了很好的效果。基于物理模型仿真的合成方法通过分析特定现象的物理规律，建立简化的物理模型，进行光照计算绘制而成。由于动态景观的复杂性，这些物理模型具有难以构建，计算复杂和只适用于特定的现象的特点。动态纹理总是和描述它的动态系统同时存在，只要模型能力允许，动态纹理可以是任意长度的、实时输出的，这一点对于动态的纹理的应用具有重要的意义。此外，可以利用动态纹理合成技术进行纹理填充(如修补破损的图片，重现原有图片效果)，纹理传输，扩展到时域则可以用一短段视频图像，生成任意长度的非重复的视频动画等。所以动态纹理合成技术在图像编辑、数据压缩、网络数据的快速传输、大规模场景的生成以及真实感和非真实感绘制等方面具有广泛的应用前景。

本发明提出了一种基于双识别流卷积网络的动态纹理合成方法，其主要内容包括：纹理模型中表观流的设计、纹理模型中动态流的设计、新纹理的产生、动态纹理的合成、纹理风格的转换，其过程为，基于预训练卷积网络(ConvNet)完成目标识别与光流预测这两个独立任务，并在给定动态纹理输入后从目标识别卷积网络响应的过滤器数据封装了输入纹理的每一帧表观，此时从光流卷积网络响应的滤波器数据则对输入纹理的动态进行建模。为了产生新纹理，需要优化噪声输入序列来匹配输入纹理中每个识别流的特征，也可以将一个纹理的表观与另一个纹理的动态相结合以产生全新的动态纹理。这种方法可以产生与输入纹理的逐像素表观与时变情况相匹配的高质量样本。

发明内容

针对本发明提出的基于双识别流卷积网络的动态纹理合成方法，其基于预训练卷积网络(ConvNet)完成目标识别与光流预测这两个独立任务，并在给定动态纹理输入后从目标识别卷积网络响应的过滤器数据封装了输入纹理的每一帧表观，此时从光流卷积网络响应的滤波器数据则对输入纹理的动态进行建模。为了产生新纹理，需要优化噪声输入序列来匹配输入纹理中每个识别流的特征，也可以将一个纹理的表观与另一个纹理的动态相结合以产生全新的动态纹理。这种方法可以产生与输入纹理的逐像素表观与时变情况相匹配的高质量样本。

为解决上述问题，本发明提供一种基于双识别流卷积网络的动态纹理合成方法，其主要内容包括：

(一)纹理模型中表观流的设计；

(二)纹理模型中动态流的设计；

(三)新纹理的产生；

(四)动态纹理的合成；

(五)纹理风格的转换。

其中，所述的纹理模型中表观流的设计，双识别流中的表观流基于空间纹理模型，通过在目标识别任务中训练卷积网络里不同级别的特征相互关系来捕获纹理表观，为了捕获输入动态纹理的表观，需要先通过卷积网络执行图像序列中每一帧的前向传递并计算出在网络中每一级的特征激活其中N_l代表滤波器的数量而M_l则代表在时间t时层l的空间位置，这里在特定层中滤波器响应的相互关系基于图像的帧进行平均计算并用Gram矩阵进行封装，其中入口由来给定，其中T代表输入帧的数量而代表在目标图像帧t时层l中在位置k处特征i的激活数据，而合成的纹理表观与Gram矩阵所表示的相类似，这里激活数据由所给出，其中代表在合成图像帧t时层l中在位置k处特征i的激活数据，然后将表观误差定义为输入纹理的Gram矩阵与在输入纹理的每一帧上所计算的新产生的纹理之间的均方误差的时间平均值，这里如等式(1)所示：

其中L_app为用于计算出Gram矩阵的网络层数量，T_out为输出纹理的帧数，||·||_F为Frobenius范数，然后使用该等式在不同层上计算出Gram矩阵的结果。