[发明专利]一种基于多模态知识推理的公交主动安全预警方法

权利要求书

1.一种基于多模态知识推理的公交主动安全预警方法，其特征在于，包括以下步骤：

S1：采集公交前置摄像头拍摄的视觉模态数据和传感器模态结构化数据，并进行预处理：

S2：对步骤S1中的预处理后的视觉模态数据进行关键帧提取；

S3：对步骤S2提取出的关键帧进行细粒度场景表示；

S4：将步骤S3与预处理后的传感器模态结构化数据进行多模态知识融合；

S5：利用步骤S4得到的数据衡量当前行车安全性。

2.根据权利要求1所述的基于多模态知识推理的公交主动安全预警方法，其特征在于，所述步骤S1中对视觉模态数据进行预处理的过程是：

获取上一秒拍摄的视频，即一个图像序列F＝{f₁，...，f_Q}，图像尺寸为M×N，其中f_i表示这一秒内拍摄的第i帧图像，Q表示摄像头在这一秒内拍摄的图像总帧数；Q设定在25至30帧范围内。

3.根据权利要求2所述的基于多模态知识推理的公交主动安全预警方法，其特征在于，所述步骤S2中，基于加权灰度直方图衡量每一帧图像的视觉内容差异，进而提取其中一帧图像作为关键帧kf，具体过程是：

S21：对于输入的视频数据中的每一帧图像f_i，通过式(1)计算对应的加权灰度图g_i，其中fr_i(x，y)、fg_i(x，y)、fb_i(x，y)分别为像素点(x，y)的R、G、B通道值，ω_r、ω_g、ω_b为预设的对应通道的权值；

S22：以长度len＝15将灰度值划分为K＝255/len＝17级，统计每一个加权灰度图g_i处于不同灰度级的像素点数，拼接统计结果作为表征对应图像f_i视觉信息的特征向量，表示为fv_i＝[r_i(1)，...，r_i(K)]，维度为K，其中r_i(j)为g_i中处于第j个灰度级的像素点个数；

S23：如式(2)获取图像特征向量均值然后计算每一帧图像特征向量fv_i与的欧氏距离，选取距离最小的特征向量所对应的图像作为关键帧kf：

4.根据权利要求3所述的基于多模态知识推理的公交主动安全预警方法，其特征在于，所述步骤S3的具体过程是：

S31：使用Fasrer-RCNN网络以关键帧图像kf作为输入，会定位图像中各实体对象，包括如“红绿灯”、“行人”、“轿车”；对于检测到的第i个实体对象，Faster-RCNN输出表征其相关属性的特征向量表示v_i，以及该对象基于预先设定的类别集合C＝{′小孩′，...，′轿车′}的实体类别分布p_i∈R^k，其中k为实体类别数；

S32：判断任意两个实体对象间是否存在关系，为存在关系的实体所对应的节点间添加有向边，从而构建场景图谱G＝(V，E，A)，用于描述关键帧图像的细粒度语义内容；

S33：以图谱池化的方式抽取场景图谱G的层级化信息，在每一个图谱池化层，将多个节点聚合到一个新节点中，进而生成一个节点和边的规模都更小的图谱。