[发明专利]基于深度学习的道路交通行为无人机监测系统及方法

权利要求书

1.基于深度学习的道路交通行为无人机监测方法，其特征在于，该方法基于所述的基于深度学习的道路交通行为无人机监测系统，包括采集模块，单摄像头处理模块，跨摄像头匹配模块和交通参数提取模块；其中，采集模块，用于航拍车辆视频数据的采集，将采集的多路视频数据输入单摄像头处理模块进行每一路视频的单摄像头多目标跟踪处理；单摄像头处理模块，用于对采集模块输出的多路视频数据进行多目标跟踪处理，获得各路视频的车辆轨迹集合并输入到跨摄像头匹配模块；跨摄像头匹配模块，用于对单摄像头处理模块输入的各路视频的车辆轨迹集合进行信息匹配，得到所有车辆在全局视频中的完整轨迹并输入到交通参数提取模块；交通参数提取模块，用于对跨摄像头匹配模块输入的车辆轨迹信息进行分析，提取其交通参数，从而得到目标车辆的交通状态；

该方法包括以下步骤：

1)使用若干台无人机构成无人机群采集航拍车辆视频数据，并将各路采集数据同步保存，输入到单摄像头处理模块；具体实现方法如下：

401)对所有无人机赋予编号，由小到大排列，按照编号顺序，在监测区域的最左端依次升空；

402)对于1号无人机，垂直升空，悬停在距离地面约250米的高空，之后调整位置，使得拍摄画面左侧为监测区域的最左端；

403)对于2号无人机，悬停在距离地面约250米的高空后，调整位置，使得拍摄画面的左侧区域与1号无人机拍摄画面的右侧区域有真实世界大约30米长度的重叠；

404)依次类推，直至无人机群的拍摄画面覆盖整个监测区域，同时开启所有无人机的录像功能，同步采集视频数据并储存，待数据采集完毕后，将采集数据从无人机转移至数据库；

2)单摄像头处理模块根据采集模块的输出视频，为每一路视频创建子模块进行单摄像头多目标跟踪处理，获得每一路视频的车辆轨迹集合，然后将所有视频的车辆轨迹集合整合输入到跨摄像头匹配模块；具体实现方法如下：

501)从数据库中读取编号为1的无人机采集的视频，将该视频处理成以帧为单位的图像序列，并选择其中一帧作为标定图像H，表征该视频的场景；在标定图像H选取20个以上标注点，标注点要求水平高度一致、尽量均匀分布整个监控画面，之后记录所有标注点的图像坐标；使用谷歌地图或者GPS现场采集获得上述标注点的经纬位置数据，并转化为东北天坐标信息；将图像坐标与东北天坐标按对应顺序排列并输入python的cv2.findHomography函数拟合，计算出标定帧的图像坐标系向世界坐标系映射的单应性矩阵K；在标定图像H上，针对每个车道区域，沿着该车道区域边缘标记若干个点并保存这些点的图像坐标；将每个车道区域生成的点集整合到npy文件中，表征该场景车道信息；使用ORB算法，提取标定图像片的若干个特征点P的位置信息L以及特征信息F；

502)使用ORB算法，提取该视频第j帧图像H_j的若干个特征点P_j的位置信息L_j以及特征信息F_j；根据501)的特征信息F以及特征信息F_j计算出特征点P与特征点P_j的一一对应关系，并根据该对应关系以及501)的位置信息L与位置信息L_j，使用python的cv2.findHomography函数拟合，计算出当前处理图像的图像坐标系向标定帧的图像坐标系映射的旋转调整矩阵M_j；按照上述方法根据帧号遍历视频所有帧，得到旋转调整矩阵序列M；

503)使用基于深度学习的目标检测器对501)的图像序列进行逐帧目标检测，获得每帧图像所有车辆的检测框即图像位置信息以及对应车型信息；根据501)的车道信息，分析出每个检测框所处于的车道区域；综合上述信息，获得检测框集合序列D，其单元d_j代表第j帧图片的检测框集合，包括每个检测框的图像坐标、车型和所处车道；

504)根据503)所获得的检测框集合序列D，对每一个d_j的检测框坐标，使用502)的旋转调整矩阵序列M中对应第j帧的单应性矩阵M_j进行单应性变换，得到转换坐标并更新到d_j，得到d_j′；遍历更新所有单元后，检测框集合序列更新为D′；

505)根据504)所获得的检测框集合序列D′，使用基于卡尔曼滤波以及匈牙利匹配的Sort多目标跟踪算法，计算出车辆轨迹集合T，其单元t_i代表第i辆车辆的轨迹信息，包括目标的图像坐标序列(x_ij，y_ij)、车型type、所处车道序列r_ij，其中j为该参数对应帧号；

506)根据505)所获得的车辆轨迹集合T，对每一个t_i的坐标序列(x_ij，y_ij)，使用501)的单应性矩阵K进行单应性变换，得到转换坐标并更新到t_i，得到w_i；遍历更新所有单元后，车辆轨迹集合更新为W₁；

507)从数据库读取编号为2的无人机采集的视频，重复501)-506)步骤，得到车辆轨迹集合更新为W₂，以此类推，遍历所有视频，获得车辆轨迹集合序列W；

3)跨摄像头匹配模块根据单摄像头处理模块输出的整合数据，对各路视频的车辆轨迹数据进行两两匹配以及信息融合，获得每辆车辆在全局视频中的完整轨迹信息，然后将所有车辆的信息整合成全局轨迹集合输入到交通参数提取模块；具体实现方法如下：

601)从单摄像头处理模块获得车辆轨迹集合序列W，其中，W_n为第n个视频的车辆轨迹信息集合，其单元w_ni为第n个视频的第i个目标的轨迹信息，建立全局车辆轨迹信息集合W_total＝{}，设n＝1；

602)以W_n为目标，使用W_n+1的数据进行匹配，W_n中每个w_ni建立一个匹配集合m_ni，设i＝1；

603)遍历W_n+1的数据，根据以下规则将w_n+1i归入集合m_ni中：是同种车型；有重叠的有效时间，有效时间指该目标出现到消失的时间段；在重叠的有效时间内，车道相同；遍历结束后，计算m_ni中每个元素与w_ni在重叠的有效时间内轨迹的欧式距离，将集合中距离最小且低于设定阈值的元素保留，其余元素删除；若m_ni为空，则将w_ni添加至全局车辆轨迹信息集合W_total，否则，将w_ni的信息更新至m_ni剩余的元素在W_n+1所对应的单元；

604)令i＝i+1，然后从603)开始继续循环，直至W_n中所有元素被遍历；

605)令n＝n+1，若此时n等于视频组视频总数，则将W_n的所有元素添加至W_total，否则，从602)开始继续循环；

606)为集合W_total中的所有元素根据出现时间顺序排序并分配编号，集合W_total包含视频组全局监控范围中所有目标的轨迹信息，并将同一辆车在不同视频下的信息归纳到同一个单元；

4)交通参数提取模块根据跨摄像头匹配模块输入的全局轨迹集合，利用交通参数计算公式，对集合中每一个车辆轨迹信息进行计算，获得该目标的单一交通参数；对集合中两两车辆轨迹信息进行计算，获得该两个目标的交互交通参数；根据计算的交通参数，对每个车辆进行交通状态的评估。