[发明专利]一种面向家装设计的基于生成对抗网络技术的增强现实图像渲染上色方法

说明书

本发明的目的在于提供一种面向家装设计的基于生成对抗网络技术的增强现实图像渲染上色方法。本上色方法同时具备上色速度快和平滑性两个效果,上色后的增强现实目标物体在平移和缩放中也能保证色彩的完整性；本上色方法支持机器学习，可以对不同设计师的构图、绘画以及用色习惯进行学习，形成其风格模型，并根据其风格影响渲染上色；本上色方法采用并行设计，可以实现快速渲染上色；使用虚拟物体与视频流背景融合的方法能够实现跟踪定位物体，从而达到实时上色。用户可以根据自己的喜好模拟装修房子，该方法可在异构网络环境中实现三维家居逼真图像的渲染。

技术领域

本发明属于计算机数字图像领域，涉及一种面向家装设计的基于生成对抗网络技术的增强现实图像上色方法。

背景技术

在增强现实的显示软件中，常用的上色方式有两种，一种是微软的SurfaceView上色，另外一种是OpenGL上色。其中微软的SurfaceView使用的是微软的应用程序编程接口，对上色的功能支持的比较完善，上色后能够达到很好平滑效果。但是当在所需要上色的增强现实物体在背景中连续的移动、缩放时，由于SurfaceView上色的速度跟不上几何空间变换的速度。会导致卡顿的现象，影响用户的体验。特别是在进行全局的移动、缩放时，需要遍历每一个图片，每张图逐个进行上色更新在SurfaceView的视图上，整个上色速度会随着图像个数的增多而变慢，画面也会越来越卡顿。而OpenGL上色速度非常快，广泛的应用于游戏和一些动画效果的应用场景中。甚至可以达到毫秒级别的。特别是对于图片的上色，图片纹理数据会被存储在显存中，进行OpenGL上色时OpenGL几乎不耗时间。所以OpenGL不会有卡顿的现象出现。但是OpenGL对于线条没有圆滑的效果。在线条很粗的时候上色的边缘有色斑。现有技术中如果只用单一的上色方式很难达到生产和应用的要求。近些年深度学习越来越受到企业和研发人员的重视。其中衍生出来的生成对抗网络能够利用生成网络和对抗网络进行博弈完成一些上色的任务。生产对抗网络的上色也有它的局限性。需要大量的模型预训练时间。

发明内容

本发明所要解决的技术问题是：使生成对抗网络的上色同时具备上色速度快和平滑性两个效果，使上色后的增强现实目标物体在平移和缩放中也能保证色彩的完整性，并根据不同的要求进行不同风格的逼真上色。本上色方法支持机器学习，可以对不同设计师的构图、绘画以及用色习惯进行学习，形成其风格模型，并根据其风格影响渲染上色；本上色方法采用并行设计，可以实现快速渲染上色；使用虚拟物体与视频流背景融合的方法能够实现跟踪定位物体，从而达到实时上色。

为了实现上述的目的，本发明提供一种面向家装设计的基于生成对抗网络技术的增强现实图像上色方法，包括以下步骤：

S101：采集实时视频；

S102：扫描数字化标识物；

S103：通过增强现实程序识别标识物；

S104：标识物与三维虚拟物体进行匹配；

S105：根据标识物位置调整三维虚拟模型的位置；

S106：确定风格要求；

S107：匹配预训练上色模型库；

S108：虚拟物体与视频流背景融合；

S109：虚拟物体上色入视频流。

在本发明中，匹配预训练上色模型库的实现方法一，包括以下步骤：

S201：输入需要上色的三维模型顶点坐标；

S202：将三维模型放到三维场景核实的位置；

S203：设置摄像头的角度和视角；

S204：设置光照的位置、颜色、方向参数；

S205：设置三维模型的颜色参数；