[发明专利]一种基于高速线扫描的三维场景绘制延时测量系统及方法

说明书

本发明公开了一种基于高速线扫描的三维场景绘制延时测量系统及方法，针对嵌入式设备中的三维场景绘制，端到端的三维场景绘制延时被分成四个部分，对于最为关键的帧跳变部分延时，使用刷新频率可高达26KHz的工业线阵相机来进行图像的采集和延时的计算，由于线扫描的频率远高于屏幕刷新的频率，这就提高了延时测量的精确度。对于线阵相机扫描获得的图像，使用灰度质心法和平均图像差异法来对跳变帧进行侦测。系统充分利用了嵌入式设备和高频线扫描设备的硬件特性，实验表明，本发明能够高效、精确地完成延时测量任务，实现对亚毫秒级图像生成延时的测量。

技术领域

本发明涉及三维场景绘制中的一种延时测量技术，尤其是涉及了一种基于高速线扫描的三维场景绘制延时测量系统及方法。

技术背景

在三维场景绘制系统中，严格的延时要求对于提供令人愉悦的沉浸式体验至关重要，是影响真实感与实时性的最重要因素。人眼和检测端子需要感知具有动作-光子(MTP，motion to photon)低稳延时的准确、平滑的运动，这个延时即用户动作(例如头部旋转、手部控制等)发生到眼睛里显示对应于新视场(FOV，field of view)的图像两个事件之间的时间差。对于人眼而言，高MTP值会向前庭眼反射发送冲突信号，这是一种可能导致晕动症的神经信号。对于图像检测端子而言，低MTP值意味着三维场景绘制系统能够更好地模拟实际环境，因为真实环境下目标的动作是瞬时反应到光信号上的。实时绘制技术的主要研究方向即降低该值，将MTP的上限设定为15-20毫秒是目前相关领域较为认可的共识。

尽管场景绘制系统的几乎所有组件(渲染器、显示器和跟踪器)都取得了巨大进步，但这些系统的整体性能仍然难以衡量。传统衡量系统性能的重点一直集中在帧速率上，但帧速率实际上只反映了场景绘制算法的性能。研究表明在现代计算机场景绘制-显示系统中，帧速率和MTP之间不存在明显的线性关系。更合理的指标应当是与MTP近似等效的端到端延时：即从用户动作发生到场景显示更新所经历的时间。

为了带来理想的仿真体验，场景绘制系统中通常要使用头戴式设备(HMD，headmounted device)或视场呈现设备覆盖用户或视觉检测端子的视场，并对对象运动做出响应，以相应地生成新视场下的场景。而为了摆脱连线对对象动作的约束，这些系统往往采用嵌入式的实现方式，场景的仿真、图像的生成都被集成到一个可以随对象运动的系统上进行。

针对场景绘制系统的开发，研究者们不时会用到端到端延时测量方法以进行质量控制，但这些方法既复杂又缺乏稳定性，其有效性一般被限制在所测量系统的单一情况。一个很小的变化，例如用户与虚拟场景相对位置的改变，就可能对测量效果产生很大影响。考虑到HMD-嵌入式系统是未来用于仿真的场景绘制系统的主要形式，对嵌入式系统场景绘制应用设计一种具有针对性的、适用于一般情况的、符合精度要求的端到端延时测量方法十分必要。

发明内容

本发明的目的在于针对现有技术的不足，提供一种基于高速线扫描的三维场景绘制延时测量系统及方法，本发明实现了嵌入式设备的三维场景绘制系统的端到端延时测量。

本发明具体的技术方案如下：一种基于高频线扫描的三维场景绘制延时测量系统，包括：

显示器，用于显示三维场景；

嵌入式设备，与显示器相连，用于运行三维场景绘制程序，生成的三维场景通过显示器进行显示；

高频线扫描设备，与嵌入式设备相连，用于接收嵌入式设备的GPIO端口发出的触发信号，并立即拍摄显示器的显示内容，拍摄结果缓存到与之关联的主机；

主机，与高频线扫描设备相连，对拍摄结果进行处理，检测显示内容的变化。

进一步的，所述嵌入式设备采用NVIDIA Jetson Xavier。

进一步的，所述高频线扫描设备采用Basler线阵相机。