[发明专利]一种实时全高清2D转3D系统行读写时序设计方法

说明书

技术领域

本发明属于3D电视技术领域，更为具体地讲，涉及一种实时全高清2D转3D系统行读写时序设计方法。

背景技术

随着显示技术的发展，3D电视已成为电视技术发展的主流趋势，人们越来越强烈地渴望在家中就能体验到3D电视带来的震撼效果。然而，3D片源的短缺，制作成本的昂贵，严重制约了3D电视技术的发展。如果能将目前大量的2D视频实时转为3D视频，则不仅可以为3D显示提供丰富的素材，而且能大大节省制作成本。因此，2D转3D技术成为当前3D技术发展的主流方向。

2D转3D技术首先从普通的2D视频序列中获取每一帧对应的深度信息，进而根据深度信息将2D视频合成为3D视频。因而，2D转3D系统可分为两部分：深度估计和视图合成。深度估计技术能从一幅或多幅彩色图中有效地估计出物体对应的深度信息，目前已有许多成熟的算法，如基于聚焦/散焦、基于图像分类、基于机器学习、基于边缘值、基于视觉注意机制等方法，然而，深度估计算法复杂度大都比较高，不利于硬件设计与实现。

在综合考虑算法效果和硬件实现难易后，申请人重点研究了基于相对高度线索的深度估计算法，并对其改进使其便于硬件实现。该改进于2013年05月13日申请了名称为“一种实时高清深度估计系统”，并于2013年09月04日公布，公布号为CN103281548A。

传统的3D视频信号传输时需要传送左眼和右眼两路视频流，而基于DIBR技术的3D电视系统只需要传输一路视频流及其对应的深度信息，从而可以减少传输带宽。同时，采用DIBR技术能够方便地实现2D-3D视频转换，方便支持各种自由立体显示器。正因为这些优点，DIBR技术已成为视图合成的主流技术。

在视图合成方面，申请人提出了一种基于硬件实现的DIBR系统，采用基于深度图像绘制(DIBR)技术来合成3D视频，并于2013年09月22日申请了中国发明专利，在2014年01月22日公布，公布号为CN10353327。这样基于实时高清深度估计系统得到的深度图和参考图，可以方便地实现目标图像的合成，得到两幅图像，实现2D到3D的转换。

但是，在现有技术中，将深度估计与深度图像绘制(DIBR)结合起来，实现2D到3D的转换。如图1所示，实时全高清1080p的2D转3D系统主要由以下子模块构成：边缘检测、边缘图数据缓存、MPMC、边缘图数据拆分、深度图估计、深度图数据缓存、深度图数据拆分和DIBR模块，各子模块的功能在申请人前面申请的“一种实时高清深度估计系统”、“一种基于硬件实现的DIBR系统”中有全面的描述。

帧读写时序如图1所示，与DDR2进行交互的数据主要分为三类：输入的原始彩色图数据Col，边缘检测后得到的边缘图数据Edge和深度估计后得到的深度图数据Dep。因而DDR2会有六种操作：写彩色图、读彩色图、写边缘图、读边缘图、写深度图和读深度图。

需要注意的是，在第一帧时，系统接收彩色图并进行边缘检测，因而第一帧时只有写彩色图和写边缘图的操作；第二帧时，系统接收第二帧彩色图并进行边缘检测，同时读取第一帧边缘图进行深度估计，将第一帧对应的深度图写入DDR2，因而第二帧包含写彩色图、写边缘图、读边缘图、写深度图四种操作；第三帧往后系统开始同时读取彩色图和深度图，因而包含了全部六种操作。

然而，对DDR2来讲，读、写数据必须进行合理的设计，以避免同时进行读操作或写操作，实现对DDR2的正常读写功能。

发明内容

本发明的目的在于提供一种实时全高清2D转3D系统行读写时序设计方法，实现对DDR2的正常读写功能。

为实现上述目的，本发明实时全高清2D转3D系统行读写时序设计方法，包括：

(1)、写彩色图

系统经过HDMI接口接收彩色图数据，在hdmi_de为高时以像素时钟148.5MHz将其即当前帧缓存在Block RAM中；hdmi_de为低时，用480个时钟周期的写彩色图wr_col，以200MHz时钟频率从Block RAM中读出并作为当前帧彩色图像每4个32-bit彩色图数据构成1个128-bit的数据写入到DDR2中；

(2)、读彩色图

在写彩色图wr_col之后执行读彩色图的操作，用480个时钟周期的读彩色图rd_col从DDR2中读取已存储的前二帧彩色图像中的一行数据，从DDR2中读出的数据是128-bit的数据，原为32-bit的彩色图像数据，并送入DIBR系统中，结合深度估计系统输出深度数据生成目标图像；

(3)、读边缘图：