[发明专利]一种视频处理方法及装置

说明书

本发明公开了一种视频处理方法及装置，能够在编码器接收到第一视频帧图像时记录第一时间；在输出编码后的第一视频帧图像时记录第二时间；将第一时间和第二时间嵌入编码后的第一视频帧图像，然后对其进行RTP分包，在首个RTP包头嵌入对应当前系统时间的第三时间并发往视频接收侧，以使视频接收侧能够根据接收编码后的第一视频帧图像的RTP分包的情况，结合前述嵌入第一视频帧图像的时间信息确定第一视频帧图像的链路传输时间。该视频处理方法及装置能够在视频数据传输过程中记录并传送各个处理节点的时戳信息，实现对视频传输各个环节延时的测试，能够在视频数据发生阻塞时方便的定位链路问题，便于后续控制决策的确定。满足实际应用需要。

技术领域

本发明涉及通信技术领域，更具体的说，是涉及一种视频处理方法及装置。

背景技术

随着智能和远程驾驶技术的迅速发展，车载嵌入式系统功能愈发丰富，支持摄像头等设备实时对汽车周围环境进行感知；同时，5G等网络技术的发展，也为视频实时传输和远程驾驶提供了支持。在此背景下，如何提供稳定、低延时视频流的传输和闭环控制来保证车辆的远程驾驶的安全性，成为领域内技术人员研究的热点。

目前普遍采用的视频传输步骤主要有摄像头采集、视频压缩、网络传输、视频解码和播放显示等步骤。从摄像头采集的视频RAW图像较大，一般需要使用压缩算法来减小视频文件大小，以满足网络实时传输的需求，常用的视频压缩算法主要为H264压缩算法。视频压缩后的H264码流经过RTP(Real-time Transport Protocol，实时传输协议)打包，进一步通过UDP(User Datagram Protocol，用户数据报协议)方式进行网络传输。在接收侧，视频播放设备首先解析UDP和RTP头，获得H264码流，为了降低延迟，对H264码流使用硬件解码得到视频RAW图像并进行实时显示。

实际情况中，视频流在传输过程中可能会发生阻塞，然而上述基于H264码流传输视频数据的实现，并不能够在链路阻塞时定位链路问题，从而无法满足实际应用需要。

发明内容

有鉴于此，本发明提供如下技术方案：

一种视频处理方法，应用于视频发送侧，包括：

在编码器接收到图像采集设备采集的第一视频帧图像时记录系统时间为第一时间，所述第一视频帧图像是所述图像采集设备采集的任一视频帧图像；

在所述编码器完成对所述第一视频帧图像的编码并输出编码后的第一视频帧图像时，记录系统时间为第二时间；

将所述第一时间和所述第二时间嵌入所述编码后的第一视频帧图像；

在对所述编码后的第一视频帧图像进行RTP分包后，在首个RTP包头部嵌入对应当前系统时间的第三时间并发往视频接收侧，以使得视频接收侧能够根据接收所述编码后的第一视频帧图像的RTP分包的情况，结合所述第一时间、所述第二时间和/或所述第三时间确定所述第一视频帧图像的链路传输时间。

可选的，所述编码后的第一视频帧图像为H264码流，所述将所述第一时间和所述第二时间嵌入所述编码后的第一视频帧图像，包括：

将所述第一时间和所述第二时间嵌入所述H264码流中的补充增强信息帧。

可选的，所述将所述第一时间和所述第二时间嵌入所述H264码流中的补充增强信息帧，包括：

对所述H264码流中的补充增强信息帧中0x05类型的报文进行改造，将所述第一时间和所述第二时间嵌入所述0x05类型的报文中的uuid部分。

可选的，所述第一时间和所述第二时间分别包括第一部分和第二部分，所述第一部分包含时间的秒信息，占四个字节，所述第二部分包含时间的微秒信息，占四个字节，则所述将所述第一时间和所述第二时间嵌入所述0x05类型的报文中的uuid部分，包括：