[发明专利]基于时空连续性的单目跨相机多目标识别定位跟踪装置及方法

权利要求书

1.一种基于时空连续性的单目跨相机多目标识别定位跟踪装置，其特征在于：基于时空连续性的单目跨相机多目标识别定位跟踪装置包括信息采集模块、时间同步模块、服务器和显示屏，所述信息采集模块包括若干个光学感应设备，所述时间同步模块包括设于光学感应设备内的时钟模块和设于服务器内的授时模块，所述服务器内还设有数据库、畸变矫正模块、视场标定模块、目标识别模块、分类检测模块、时空分析模块、在线学习模块和坐标匹配模块，所述光学感应设备通过通信网络与服务器连接，所述显示屏通过视频线与服务器连接，所述光学感应设备负责输出视频流，所述授时模块负责给所有光学感应设备统一时间序列，所述时钟模块负责校对光学感应设备的内部时间轴，所述畸变矫正模块负责将光学感应设备输出的视频流的畸变部分进行矫正，所述视场标定模块负责将矫正后的所有视频流统一坐标系，所述目标识别模块负责识别视频中特定目标的特性并进行标定，所述分类检测模块负责识别目标的类别并输出特定目标的坐标信息和时间序列，所述时空分析模块负责分析相邻两个时刻的目标是否是同一个目标，所述在线学习模块负责将目标识别模块和分类检测模块给出的目标特征做初步记录和保存，并将通过时空分析模块分析得出的同一目标特征再进行分类在线学习，所述显示屏用于显示特定目标的当前坐标和历史轨迹，该装置用于执行基于时空连续性的单目跨相机多目标识别定位跟踪方法，该方法包括以下步骤：

(1)第一步：使用多路光学感应设备，将当前现实场景进行全覆盖；

(2)第二步：每一路光学感应设备输出视频流，在畸变矫正模块的作用下，得到畸变矫正后的视频流；

(3)第三步：对现实场景中的多个特定点通过大地坐标BLH转自定义空间直角坐标XYZ的公式标定相关参数，建立统一的自定义空间直角坐标系，再将现实场景进行网格化处理，将第二步中的结果与网格交点一一对应，建立像素坐标系，最后将自定义空间直角坐标系与像素坐标系相互匹配，得出像素坐标与自定义空间直角坐标之间的相互转换公式，此步骤中大地坐标BLH转换为自定义空间直角坐标XYZ的方式为：

式中，e²为第一偏心率的平方，a为地球的长轴，b为地球的短轴，N为卯酉圈曲率半径，

像素坐标与自定义空间直角坐标的转换方法为：

单目测量是对最终得到的与真实世界存在一一对应关系的图像进行处理，从图像逆推到所要测量目标在真实世界的具体的三维坐标，单目测量的具体方案为无变焦、无云台、无变倍摄像机架设于某一已知高度，在单目测量的场景中存在三个坐标系，即像素坐标系UO₁V，摄像机坐标系EO₂F，自定义空间直角坐标系XO₃Y，其中O₁M垂直于像素坐标系UO₁V所构成的平面，已知摄像机的高度为H，摄像机的俯仰角为α_f，摄像机的航向角为α_b，摄像机的三维大地坐标为(La，Lo，Al)，摄像机坐标系中的E轴与O₁O₂之间的夹角为α，测量目标的像素坐标为Q₁(u，v)，测量目标在V轴上的映射点为P₁(u，0)，图像中心点的像素坐标为(u₀，v₀)，实际像素的长度为xpix，实际像素的宽度为ypix，摄像机的焦距为f，则：

P₁O₂与O₁O₂之间的夹角

P₁O₂与Y轴之间的夹角β＝α-γ，

则垂直方向的坐标为：

因为

由得到水平方向的坐标

坐标转换：

X＝Y₁cosα_b-X₁sinα_b，Y＝Y₁sinα_b+X₁cosα_b，

则测量目标在自定义空间直角系内的对应坐标为(La+X，Lo+Y，Al-H)；

(4)第四步：将第二步和第三步的输出结果与时间同步模块中矫正时间轴后的时间序列相互结合，从而得到同步后的视频流，并且视场中任何位置都有相应的空间坐标信息；

(5)第五步：每一路光学感应设备同时开启目标识别模块和分类检测模块，实现对多个目标的识别，分类检测模块识别目标的类别并输出特定目标的当前像素坐标信息和自定义空间直角坐标信息，目标识别模块识别出特定目标的特性，并给特定目标打上标识，例如特定目标为人，分类检测模块会检测出人并且给出人的当前像素坐标信息和自定义空间直角坐标信息，目标识别模块会识别出这个人是谁，当识别到特定目标时，特定目标所在的相机编号，时间序列号，目标的当前像素坐标信息、自定义空间直角坐标信息和特性储存到服务器的数据库中，识别到的目标的特性包括颜色、行为、姿态及周边背景信息；

(6)第六步：服务器开启时空分析模块，针对同一时间序列、相邻两个时间点，即T和T+1时刻的坐标信息进行空间和邻域分析，若符合标准参数，则认定这先后变化的两处坐标信息上的特定目标，为同一目标，再将此目标的特性，附加到符合标准参数的目标上，并存储在服务器的数据库内，按时间序列排列的自定义空间直角坐标构成特定目标的轨迹，从而实现对特定目标的跟踪和历史轨迹的查看，时空分析模块的具体工作过程为：

(6.1)时空分析模块首先分析经第五步采集到的相邻两个时间点的相机编号是否属于同一相机，是则进行短时间尺度下的时空分析工作，包括距离、速度、方向、时空上下文的分析，得出分析结果，分析方法为：

距离：计算T时刻上的识别目标与T+1时刻上识别目标的像素坐标欧氏距离值；速度、方向：利用LK光流法计算时间T时的目标在时间T+1时的速度矢量；时空上下文：利用时空上下文法判断识别出的特定目标与其周边背景的空间位置关系；

(6.2)如果分析出的相机编号不属于同一相机，则进行跨相机后、长时间尺度下的分析工作，即时空分析模块将当前相机中出现的目标的颜色、行为、姿态、轨迹连通、时空聚类特征与数据库中储存的关联相机中的目标的颜色、行为、姿态、轨迹连通、时空聚类特征进行对比分析；

(6.3)若特征分析结果与关联相机中之前记录的目标的特征相符，则判定在跨相机后出现的目标与上一关联相机中跟踪的目标为同一目标，然后再执行(6.1)，进行距离、速度、方向和时空上下文的分析预判，得出在当前相机中需要继续跟踪的目标，以此来不间断的预判、跟踪；

(6.4)所述时空分析模块中预存有距离、速度、方向和时空上下文的预定值，判断(6.1)中得到的结果是否符合预定值，是，则得出结论，在时间T和T+1上的目标是同一目标，跟踪此目标；

(7)第七步：开启坐标匹配模块，将自定义空间直角坐标XYZ转换成大地坐标BLH，显示屏显示特定目标的坐标信息和历史轨迹，将自定义空间直角坐标XYZ转换成大地坐标BLH的转换方式包括采用迭代法和不采用迭代法：

采用迭代法的转换过程为：

式中，e²为第一偏心率的平方，a为地球的长轴，b为地球的短轴，N为卯酉圈曲率半径，式中，L可根据X、Y直接计算，大地精度B和大地高H需经过迭代计算，迭代初值设为：

N₀＝a，

然后每次迭代下述公式

直到H的计算精度为0.001m，B的计算精度为时，停止迭代；

不采用迭代法的转换方法为：

其中：a为地球的长轴，b为地球的短轴，

(8)第八步：在线学习模块针对拥有相同特性的目标，进行在线归类学习，将学习的结果反馈给每一路光学感应设备中的分类检测模块的特征库和目标识别模块目标标准参数库内，增强跟踪特定目标的效果；

(9)第九步：重复(5)到(9)的步骤。