[发明专利]一种高效优化渲染及与位姿反畸变融合的实现方法

说明书

本发明提供一种高效优化渲染及与位姿反畸变融合的实现方法，涉及嵌入式领域，所述方法包括以下步骤：S1：利用CPU采集外部输入数据，所述外部输入数据包括四种，分别是全景或3D数据源、位姿信息、FOV、投影模式；S2：利用VPU进行硬件解码，并将解码输出传输到GPU；S3：利用GPU进行贴图渲染，所述贴图渲染包括投影建模、色度空间降转、FOV初始化以及姿态融合；S4：按照视频或图像的需求，进行循环迭代。本发明充分利用硬件加速，提供一种具有多种投影模式，支持FOV、位姿信息等的实时视频流水线渲染综合方法，利用VPU、CPU、GPU的性能，解决了高分辨率全景视频、全景图像以及3D视频图像的VR渲染。

技术领域

本发明涉及嵌入式领域，尤其涉及一种高效优化渲染及与位姿反畸变融合的实现方法。

背景技术

随着VR(虚拟现实)的兴起，怎样使得最常用的手持设备支持VR全景的生成和输出成为热门的研究问题。

常用的IVS(独立软件供应商)的解决方法大多是基于CPU的指令加速，例如：通过汇编的加速实现解码加速；但是对于全景的渲染，传统的基于指令加速方法基本不能实现，原因是涉及太多的矩阵运算，而基本指令加速是远远不够的；虽然也有基于硬件加速，但是基本都限于视频的解码；而对于全景，反畸变这类矩阵型运算较多的运用场景，传统的CPU是很低效的；随着VR的兴起，也有基于GPU来进行渲染，但是没有将GPU(图像处理单元)、CPU(通用计算处理单元)、VPU(视频处理单元)与VR相关的公共属性结合起来，难以实现硬件整体性能的优化和VR渲染。

发明内容

鉴于以上所述现有技术的缺点，本发明的目的在于提供一种高效优化渲染及与位姿反畸变融合的实现方法，具有多种投影模式，利用VPU、CPU、GPU的性能，解决硬件整体性能的优化和高分辨率全景视频的VR渲染。

本发明提供一种高效优化渲染及与位姿反畸变融合的实现方法，所述方法包括以下步骤：

S1：利用CPU采集外部输入数据，所述外部输入数据包括四种，分别是全景或3D数据源、位姿信息、FOV、投影模式；

S2：利用VPU进行硬件解码，并将解码的输出传输到GPU；

S3：利用GPU进行贴图渲染，所述贴图渲染包括投影建模、色度空间降转、FOV初始化以及姿态融合；

S4：按照视频或图像的需求，进行循环迭代。

进一步的，所述全景或3D数据源为视频或图像，所述视频和图像是等经纬度展开的全景格式的，或者3D格式的；所述位姿信息为能够提供三维位姿信息设备的输出数据；FOV为显示视场角。

进一步的，所述投影模式包括平面投影模式、球面投影模式、立方体投影模式。

进一步的，反畸变也是一种特殊的投影模式。

进一步的，所述贴图渲染包括以下步骤：

S3.1：基于投影模式进行投影建模；

S3.2：根据外部输入数据，对GPU进行初始化；

S3.3：通过定制顶点着色器进行拼接融合；

S3.4：通过定制片元着色器进行色度空间转换；

S3.5：基于位姿信息和FOV进行姿态融合；

S3.6：利用GPU的流水线，进行实时渲染，利用乒乓Buffer机制来对输出显示进行控制。