[发明专利]一种基于5G双记录仪的深度图像识别方法

权利要求书

1.一种基于5G双记录仪的深度图像识别方法，其特征在于，包括以下步骤；

S1、两个记录仪的镜头与传感器参数完全相同，两个记录仪的平行放置，垂直高度相同，它们的光轴相互平行，两个成像平面共面，S2、GPS时间同步模块(1)：使用GPS或北斗同步卫星信号更新5G记录仪时间，使用GPS时间同步模块(1)让两个5G记录仪的视频帧同步模块(2)的时间误差到毫秒级；

S3、视频帧同步模块(2)让两个5G记录仪的生成视频帧同步；

S4、主帧生成模块(3)接收主记录仪的视频帧同步模块(2)的生成帧时间规则，根据生成帧时间规则生成YUV视频帧，使用当前时间给YUV视频帧打上时间戳，发送给目标对齐模块(5)与主帧目标识别模块(10)；

S5、辅助帧生成模块(4)接收辅助记录仪的视频帧同步模块(2)的生成帧时间规则；根据生成帧时间规则生成YUV视频帧，使用当前时间给YUV视频帧打上时间戳，发送给辅助帧目标识别模块(11)与目标图像抽取模块(9)；

S6、主帧目标识别模块(10)接收主帧生成模块(3)的YUV视频帧与时间戳，对YUV视频帧使用基于神经网络的目标检测算法，得到目标类别与目标位置，目标位置使用左上角坐标加上宽高表示；主帧目标识别模块(10)把目标类别与目标位置与时间戳发送给目标对齐模块(5)；

S7、辅助帧目标识别模块(11)接收辅助帧生成模块(3)的YUV视频帧与时间戳，对YUV视频帧使用基于神经网络的目标检测算法，得到目标类别与目标位置，目标位置使用左上角坐标加上宽高表示；辅助帧目标识别模块(10)把目标类别与目标位置与时间戳发送给目标图像抽取模块(9)；

S8、目标图像抽取模块(9)接收辅助帧生成模块(4)的YUV视频帧与时间戳，接收辅助帧目标识别模块(11)的目标类别与目标位置与时间戳；根据时间戳匹配YUV视频帧与目标类别与目标位置，根据目标位置从YUV视频帧截取，生成每个目标的YUV图像，把每个目标的YUV图像与目标类别与目标位置与时间戳发送5G D2D发送模块(7)；

S9、辅助记录仪使用5G D2D发送模块(7)把目标图像发送给5G D2D接收模块(6)，包含每个目标的YUV图像与目标类别与目标位置与时间戳；

S10、5G D2D接收模块(6)从5G D2D发送模块(7)接收目标图像，包含目标的YUV图像与目标类别与目标位置与时间戳，5G D2D接收模块(6)接收目标图像发送给目标对齐模块(5)；主记录仪使用5G D2D接收模块(6)接收辅助记录仪的目标图像；5G的D2D传输的最大带宽为10Gbps，每秒YUV图像的数据为分辨率宽*分辨率高*每像素平均位数*帧率，采用YUV未压缩数据能避免有损视频压缩对图像的破坏，同时因为减少视频编码压缩过程从而减少处理时延；

S11、目标对齐模块(5)对齐目标；

S12、目标深度分析模块(8)对目标进行深度分析；

S13、深度目标视频编码模块(12)接收主帧生成模块(3)的YUV视频帧与时间戳，深度目标视频编码模块(12)接收目标深度分析模块(8)的目标信息，目标信息包含目标的类型与时间戳与位置以及深度信息；深度目标视频编码模块(12)根据时间戳匹配目标信息与YUV视频帧，深度目标视频编码模块(12)对YUV视频帧采用视频压缩编码压缩成压缩视频流，把该YUV视频帧的所有目标信息生成SEI自定义信息帧，插入到压缩视频流；深度目标视频编码模块(12)把带目标信息的压缩视频流发送给5G网络传输模块(13)；

S14、5G网络传输模块(13)接收到深度目标视频编码模块(12)的带有目标信息的压缩视频流，通过5G网络最终发送到呈现客户端(14)；

S15、呈现客户端(14)接收到带有目标信息的压缩视频流，对应视频流解压显示，同时提取SEI帧的目标信息，按照目标的位置叠加目标的类型与深度信息。