[发明专利]一种图像数据的帧同步方法和相机

说明书

本发明公开一种图像数据的帧同步方法和相机。本发明的方法包括：获取由不同信号通道传输的彩色图像数据流和深度图像数据流，其中，在所述彩色图像数据流中的彩色图像帧和在所述深度图像数据流中的深度图像帧中包括由彩色摄像头和深度摄像头曝光后同步输出的同步帧，所述不同信号通道的传输延时不同，所述彩色图像帧与所述深度图像帧的数据体结构均携带时间戳和曝光时间；根据所述时间戳和曝光时间，分别获取所述彩色图像帧的SOF时间和所述深度图像帧的SOF时间；根据所述SOF时间从所述彩色图像数据流和深度图像数据流中获取同步帧图像。本发明能够避免由于传输延时造成的图像数据不同步，保证上层得到同步的彩色图像和深度图像。

技术领域

本发明涉及图像处理技术领域，尤其涉及一种图像数据的帧同步方法和相机。

背景技术

3D骨骼识别技术已经运用到很多领域，例如各种美图功能软件，具有骨骼识别技术，可精准定位人体骨骼位置，从而对人像进行局部调整，实现全身美化的功能。“骨骼识别点技术”又称“肢体检测技术”，可利用计算机视觉技术从图像或者视频当中估计人体关节点位置，给定一张包含人体的图像，从而精准定位出图像中人体各个关节的位置，比如肘关节、腕关节、膝关节等，被定位的关节点最后可以组成一个人体骨骼图，可以反映出这个人体的当前姿态等信息。

骨骼识别技术用到彩色图像和深度图像，对于实时性有很严格的要求，算法拿到的两帧数据必须保证是在同一时刻拍摄的，所以要想使用这项技术，对于硬件有要求，能保证同步输出彩色数据和深度数据，对于软件层来说，必须有个策略能保证上层sdk拿到的数据是同步输出的。

在能保证底层同步输出的情况下，由于曝光时间不一、传输延时等问题，很难保证上层拿到的数据是同一时刻拍摄到的图像。在这种情况下，骨骼识别到的关节点存在不准确的问题，因而不能保证稳定的识别，所以存在骨骼识别位置偏差的缺陷。

发明内容

本发明提供了一种图像数据的帧同步方法和相机，以解决现有技术中由于曝光时间不一、传输延时导致上层获取到的两种图像数据不同步的问题。

第一方面，本发明提供了一种图像数据的帧同步方法，包括：获取由不同信号通道传输的彩色图像数据流和深度图像数据流，其中，在所述彩色图像数据流中的彩色图像帧和在所述深度图像数据流中的深度图像帧中包括由彩色摄像头和深度摄像头曝光后同步输出的同步帧，所述不同信号通道的传输延时不同，所述彩色图像帧与所述深度图像帧的数据体结构均携带时间戳和曝光时间；根据所述时间戳和曝光时间，分别获取所述彩色图像帧的SOF时间和所述深度图像帧的SOF时间；根据所述SOF时间从所述彩色图像数据流和深度图像数据流中获取同步帧图像。

在一些实施例中，获取由不同信号通道传输的彩色图像数据流和深度图像数据流，包括：构建帧缓存队列，将获取到的深度图像数据流中的深度图像帧依次缓存到所述帧缓存队列中；其中，所述深度图像数据流的传输延时小于所述彩色图像数据流的传输延时；获取所述彩色图像数据流的彩色图像帧，并从缓存在所述帧缓存队列中的深度图像帧中确定所述彩色图像帧对应的同步深度图像帧。

在一些实施例中，根据所述SOF时间从所述彩色图像数据流和深度图像数据流中获取同步帧图像，包括： 在获取到所述彩色图像数据流的第一帧彩色图像时，将所述第一帧彩色图像与所述帧缓存队列中的第一帧深度图像进行SOF时间比较；在所述SOF时间比较结果不大于预设时间阈值时，确定所述第一帧彩色图像与所述第一帧深度图像为同步帧图像；在所述SOF时间比较结果大于所述预设时间阈值时，根据所述SOF时间比较结果获取所述同步帧图像。