[发明专利]基于车路协同的视觉信息融合处理方法、装置及存储介质

权利要求书

1.一种基于车路协同的视觉信息融合处理方法，其特征在于，包括：

获取目标车辆的车载单元对应的第一图像数据；

根据时间同步的匹配规则，确定与所述第一图像数据对应的多个路侧单元各自获取的第二图像数据，根据所述第一图像数据与对应的多个第二图像数据形成目标图像数据集；其中，所述路侧单元沿车道方向间隔排列且相邻所述路侧单元之间的感知区域有重叠；

将所述目标图像数据集基于重叠的感知区域所对应的图像特征进行信息融合，获得所述目标车辆对应的超视距视觉信息。

2.如权利要求1所述的基于车路协同的视觉信息融合处理方法，其特征在于，确定各路侧单元获取的第二图像数据对应单目相机采集的二维图像信息时，将所述目标图像数据集基于重叠的感知区域所对应的图像特征进行信息融合，包括：

基于所述第一图像数据和各所述第二图像数据分别对应的位置数据确定二维图像的拼接顺序；

基于所述第一图像数据和各所述第二图像数据中的车道线特征确定各图像数据转换至同一平面视角对应的透视变换矩阵；

基于各所述透视变换矩阵和所述二维图像的拼接顺序，对各图像数据基于重叠区域的图像特征进行信息融合。

3.如权利要求2所述的基于车路协同的视觉信息融合处理方法，其特征在于，基于所述第一图像数据和各所述第二图像数据中的车道线特征确定各图像数据转换至同一平面视角对应的透视变换矩阵，包括：

获取各图像数据中设定车道的左车道线、右车道线；

提取所述左车道线、所述右车道线在至少两个不同图像高度上的交点，基于车道线间宽度固定的原理，确定对应的透视变换矩阵。

4.如权利要求3所述的基于车路协同的视觉信息融合处理方法，其特征在于，基于所述第一图像数据和各所述第二图像数据中的车道线特征确定各图像数据转换至同一平面视角对应的透视变换矩阵，还包括：

获取各图像数据中设定车道的左车道线、右车道线经所述透视变换矩阵转换后的第一车道线、第二车道线；

基于所述第一车道线上任意点的法线与所述第二车道线相交的目标点，根据所述任意点和所述目标点的斜率相等优化所述透视变换矩阵。

5.如权利要求3所述的基于车路协同的视觉信息融合处理方法，其特征在于，基于所述第一图像数据和各所述第二图像数据中的车道线特征确定各图像数据转换至同一平面视角对应的透视变换矩阵，还包括：

获取各图像数据中设定车道的左车道线、右车道线经所述透视变换矩阵转换后的第一车道线、第二车道线；

获取所述第一车道线上多个像素点的第一斜率及所述多个像素点的法线与所述第二车道线相交的交点的第二斜率，基于各所述第一斜率与对应的所述第二斜率的差值确定代价函数；

基于所述代价函数采用非线性优化方法优化所述透视变换矩阵。

6.如权利要求1所述的基于车路协同的视觉信息融合处理方法，其特征在于，确定各路侧单元获取的第二图像数据对应多目相机采集的图像数据时，将所述目标图像数据集基于重叠的感知区域所对应的图像特征进行信息融合，包括：

基于所述第一图像数据和各所述第二图像数据分别对应的位置数据确定三维视觉信息的拼接顺序；

基于各所述第二图像数据对应的第一转换关系、相邻两路侧单元的第二图像数据间重叠区域的图像特征确定所述相邻两路侧单元的第二图像数据之间的第二转换关系；其中，所述第一转换关系为所述第二图像数据的图像坐标系与世界坐标系之间的转换关系；

基于各所述第二转换关系对所述第二图像数据对应的三维视觉信息按照所述三维视觉信息的拼接顺序进行拼接；

基于所述第一图像数据对应第三转换关系、所述第一图像数据和与其有重叠的所述第二图像数据之间重叠区域的图像特征确定将所述第一图像数据对应的第四转换关系；其中，所述第三转换关系为所述第一图像数据的图像坐标系与世界坐标系之间的转换关系，所述第四转换关系为将所述第一图像数据转换至拼接后的所述第二图像数据中的转换关系；

基于所述第四转换关系对所述第一图像数据对应的三维视觉信息和拼接后的所述第二图像数据对应的三维视觉信息进行信息融合。