[发明专利]面向VR的实时图像截取方法、系统和存储介质

说明书

本发明涉及一种面向VR的实时图像截取方法、系统和存储介质，包括：判断待图像截取的VR系统是否具有通知机制，若有，则引用VR系统的显示通路，在图像截取模块中重写显示通路的驱动程序，以覆盖呈现函数，并通过向VR应用程序注册图像截取模块，使图像截取模块作为VR系统的显示驱动；VR程序运行时，将图像发送至GPU计算并渲染，同时VR程序运行显示驱动，显示驱动的呈现函数会为每一帧计算并渲染完成后的图像反馈一个纹理句柄；定位纹理句柄，得到图像数据作为图像截取结果，否则使用钩子机制，将钩子插入VR程序的原始显示通路例程中，替换原始显示通路例程中调用的接口函数，形成替换例程，使用替换例程截取VR程序的图像数据作为图像截取结果。

技术领域

本发明涉及无线VR传输领域和视频、图像采集领域，并特别涉及一种面向VR的实时图像截取方法、系统和存储介质。

背景技术

传统的图像截取方式有以下几种方案

1、桌面截图或窗口截图：

桌面截图即直接对电脑桌面进行屏幕抓取。一般操作系统都支持多种抓屏方式，比如windows下可通过GDI,DDRAW,DXGI等方式。其中GDI和DDRAW抓取一帧1080P的图像大致需要4-8ms时间，DXGI的抓屏速度更快，可以达到2-3ms，但是DXGI要求桌面必须要变化时才能抓取到图像。窗口截图一般是通过进程ID获取到程序的窗口句柄，然后进行窗口内容拷贝。这类方法适用于有窗口的程序。这类方法受限于常规桌面刷新率只有60Hz，无法达到VR场景90fps的需求。另外窗口映射也不是VR程序必备的要素，很多VR应用并不需要在电脑桌面显示窗口，所以窗口截图的方案也不适用于VR程序。

2、使用视频采集卡：

虚拟现实(VR)画面经过渲染之后，需通过视频线(HDMI，VGA等)传输到显示设备上。一般可通过HDMI信号截取或者信号分线器，将HDMI信号导入到视频采集卡来截取VR画面。这类方案需要能够支持90fps的采集卡，这类采集卡价格非常昂贵，不适宜推广。

上述图像截取方案主要通过桌面截图和窗口截图的方法进行，其问题在于：

1)桌面的刷新率通常只有60帧每秒，无法满足90帧每秒的VR体验要求

2)窗口截图依赖于VR应用程序必须创建一个窗口，但是窗口对于VR应用程序而言不是必须的，因此这种方法对于不创建窗口的VR应用程序是不起作用的。

发明内容

本系统的截取功能是与VR渲染流水线融为一体的，可以保证以VR应用程序原始的渲染速率进行截取，同时不受限于VR应用程序的某种特征，例如是否存在预览窗口。另一方面，本系统提供内容导出机制，可以将截取的图像及时的传递给每一个感兴趣的第三方应用程序。

具体地说，本发明公开了一种面向VR的实时图像截取方法，其中包括：

步骤1、判断待图像截取的VR系统是否具有通知机制，若有，则执行步骤2，否则执行步骤5；

步骤2、引用该VR系统的显示通路，在图像截取模块中重写该显示通路的驱动程序，以覆盖呈现函数，并通过向该VR应用程序注册该图像截取模块，使该图像截取模块作为该VR系统的显示驱动；

步骤3、该VR程序运行时，将图像发送至GPU计算并渲染，同时该VR程序运行该显示驱动，该显示驱动的呈现函数会为每一帧计算并渲染完成后的图像反馈一个纹理句柄；

步骤4、定位该帧的纹理句柄，以得到并复制该帧的图像数据，输出该图像数据作为图像截取结果；

步骤5、使用钩子机制，将钩子插入该VR程序的原始显示通路例程中，替换该原始显示通路例程中调用的接口函数，形成替换例程，使用该替换例程截取该VR程序的图像数据，输出该图像数据作为图像截取结果。