[发明专利]一种基于深度学习的流体艺术控制方法

说明书

本发明公开一种一种基于深度学习的流体艺术控制方法，包括：生成阶段，将烟雾的原始密度场d经过具有跳跃连接的自编码器网络生成合成密度场渲染阶段，将原始密度场d经过可微渲染器生成多角度的原始渲染图像I_θ，而合成密度场经过可微渲染器生成多角度的合成渲染图像特征提取阶段，原始渲染图像I_θ和用户定义的风格图像I_s经过风格迁移网络SANet生成参考渲染图像I_gt，作为合成渲染图像的真实值；通过预训练的VGG网络分别提取出参考渲染图像I_gt、合成渲染图像和风格图像I_s对应的特征；最终，将提取出的特征参与损失函数的计算，通过调整合成渲染图像的特征，使合成渲染图像的特征分别匹配参考渲染图像和风格图像的特征，实现对流体艺术生成效果的控制。

技术领域

本发明涉及计算机图形学和虚拟仿真领域，主要涉及流体模拟领域。具体来说，本发明提供了一种基于深度学习的流体艺术控制方法。

背景技术

流体艺术控制是流体形态引导和合成的重要应用之一，是流体模拟领域的一种重要数字信息生产形式。针对流体仿真场景，流体的艺术控制使流体不仅保留物理运动规律和流动特性，而且产生特定艺术风格的湍流细节和纹理特征。它对符合真实世界的流体进行艺术再加工，改变流体结构和整体视觉效果。流体的艺术控制在诸如电影特效制作、电子游戏生产等方面均有所应用，对从事数字信息生产和艺术加工的工作者有较大意义，方便相关从业者提高创作效率。

通常，流体的艺术控制分为两个任务：1)流体控制：在保留流体运动特性的同时，实现对局部湍流细节结构的改变；2)艺术编辑：湍流细节产生特定的艺术风格。流体艺术性控制的关键之一是计算效率较低。早期的流体控制方法主要研究如何根据关键帧或者通过流体形态引导和合成的方式生成具有艺术风格的流体。这些后处理方法要么需要手工绘制，要么需要进行累次迭代优化，消耗艺术工作者大量的精力和时间。在基于深度学习的方法中，流体艺术性控制的另一关键点是没有预训练三维物体分类网络提取流体特征来表征艺术风格。图像领域中通常用预训练VGG(Visual Geometry Group)网络提取图像的高级特征，表征图像艺术风格。因此，没有定性指标对流体艺术风格进行量化，造成深度学习在流体艺术控制任务上的应用困难。

目前大多数流体艺术性控制方法均采用累次迭代进行计算。在流体控制方面，TempoGAN[1]应用于流体的超分辨率任务，通过设计的具有时空判别器的GAN网络和相应的损失函数，改善低精度流体在对应高精度下的模拟效果，提高计算效率。具有循环链条结构的GAN(Generative Adversarial Networks)网络[2]则通过隐空间编码物理参数，用于流体密度场反推物理运动状态的任务中。基于数据驱动的三维流体特征提取方法[3]则通过卷积神经网络计算复能量矩阵特征。尽管这些方法均能够提高运行效率，同时生成相对详细的湍流细节，但它们仅能生成具有真实感的流体运动状态。而针对非真实感的艺术性流体生成，仍主要依赖传统小波湍流等迭代优化法进行控制，计算效率并没有显著提升。一些基于数据驱动的恢复流体表面的算法[4]虽然能够恢复流体表面之间的动作，获得更自然的流体表面，但也仅适用于表面的重建行为。

在艺术编辑方面，最近的一些研究也涉及到专门的艺术控制过程。基于风格化关键帧动画的算法[5]通过手绘流体艺术性关键帧，使烟雾在指定时间步内逐渐过渡到关键帧的流体形态，手绘过程耗费大量的时间和精力。基于传输的烟雾风格迁移算法[6]则利用预训练VGG网络提取风格图像的风格特征，指导欧拉网格下流体的速度场合成。拉格朗日流体风格迁移算法[7]则采用类似的技术在SPH(Smoothed Particle Hydrodynamics)粒子上实现风格化属性。然而，这些方法的特征提取方式回传梯度相对困难，仅适用于迭代优化计算，运行效率低。