[发明专利]一种基于双识别流卷积网络的动态纹理合成方法

权利要求书

1.一种基于双识别流卷积网络的动态纹理合成方法，其特征在于，主要包括纹理模型中表观流的设计(一)；纹理模型中动态流的设计(二)；新纹理的产生(三)；动态纹理的合成(四)；纹理风格的转换(五)。

2.基于权利要求书1所述的纹理模型中表观流的设计(一)，其特征在于，双识别流中的表观流基于空间纹理模型，通过在目标识别任务中训练卷积网络里不同级别的特征相互关系来捕获纹理表观，为了捕获输入动态纹理的表观，需要先通过卷积网络执行图像序列中每一帧的前向传递并计算出在网络中每一级的特征激活其中N_l代表滤波器的数量而M_l则代表在时间t时层l的空间位置，这里在特定层中滤波器响应的相互关系基于图像的帧进行平均计算并用Gram矩阵进行封装，其中入口由来给定，其中T代表输入帧的数量而代表在目标图像帧t时层l中在位置k处特征i的激活数据，而合成的纹理表观与Gram矩阵所表示的相类似，这里激活数据由所给出，其中代表在合成图像帧t时层l中在位置k处特征i的激活数据，然后将表观误差定义为输入纹理的Gram矩阵与在输入纹理的每一帧上所计算的新产生的纹理之间的均方误差的时间平均值，这里如等式(1)所示：

其中L_app为用于计算出Gram矩阵的网络层数量，T_out为输出纹理的帧数，||·||_F为Frobenius范数，然后使用该等式在不同层上计算出Gram矩阵的结果。

3.基于权利要求书1所述的纹理模型中动态流的设计(二)，其特征在于，模型中网络的激活数据必须能表示输入模式的时间变化，且表观流所表征的激活数据应该与图像本身的表观在很大程度上是一致的，最后纹理模型的表示必须是可区分的以便后续能进行纹理合成，这里通过使用与表观流类似的方法，需要选择适用于计算光流的自然可区分的卷积网络架构，然而对于大多数纹理模型都不清楚它们的网络层对于表观来说是如何不变的，因此提出一种基于时空导向能量模型的新型网络架构。

4.基于权利要求书3所述的基于时空导向能量模型的网络架构，其特征在于，在运动能量模型中图像中的运动速度解释为x-y-t时空域中的三维方向，且在频域中正在平移图像的信号能量可以在一个通过原点的平面上显示出来，其中平面的倾斜程度由图像的移动速度来定义，因此运动能量模型是通过一组图像滤波操作来识别出平面的取向以及图像的移动速度，且对于包括平移与动态的纹理在内的一般视觉模式的频谱来说其构建的时空取向可以作为描述图像序列随时间变化情况的基础；这里先给出输入时空的大小，然后应用一组对时空取向敏感的三维滤波器到其中，而滤波器的激活数据会在局部区域上进行修正与池化来保证滤波器响应对于输入信号的鲁棒性，即对于底层图像结构与滤波器的校准的鲁棒性，然后就将与类似时空取向一致的滤波器的激活数据进行求和，这些滤波器响应提供了输入纹理在频域平面上时空取向的逐像素分布测量情况，然而这些滤波器响应会因为局部图像对比而导致混淆，所以难以确定高响应值是由于时空取向的存在还是由于较高的图像对比度；为解决这里模糊性的问题，需要在时空取向这里应用范数L₁从而使对于局部表观的表示具有鲁棒性且对于时空取向具有高度的可选择性。

5.基于权利要求书3所述的完全卷积网络架构，其特征在于，卷积网络输入是一对灰度值图像且首先会被标准化为具有零均值与单位方差，而这一步骤提供了图像整体亮度与对比度的不变性水平，即全局的加法与乘法信号的变化，这里网络的第一层由大小为11×11×2的32个三维时空卷积滤波器组成，然后应用一个平方激活函数与5×5的空间最大池化来保证滤波器响应对于局部信号相位的鲁棒性，随后一个具有64个滤波器的大小为1×1的卷积层用来进行与相同取向一致的能量测量的结合，最后为了去除对局部图像对比度的依赖，需要用L₁来进行局部做除，而为了捕获这些超过了在初始层中使用的有限接受域的时空取向，需要计算出一个每级之间由两倍下降采样组成的五级空间金字塔，这里多分辨率结果基于同样的时空导向能量模型进行独立处理，并对原始分辨率进行双线性化上升采样然后将结果进行级联，这里需要选择对该人工过滤器权重进行学习以便更好地调整自然图像。