[发明专利]一种基于多视角贝叶斯网络的多视角行人检测方法

摘要

本发明提出了一种基于视角贝叶斯网络模型的行人检测方法及装置，可以对多个摄像头监控的人群比较密集的场景进行行人检测和定位。不仅适用于前景提取效果较好的场景，也适用于前景提取效果不佳但可以通过行人检测器进行检测的场景。本发明的方法包括单视处理步骤、基平面映射步骤、多视角融合步骤和逆映射以及最终检测结果输出步骤。

主权项

一种基于多视角贝叶斯网络的多视角行人检测方法，其特征在于，所述方法包括如下步骤：单视处理步骤，所述单视处理步骤包括针对输入的通过多个摄像头获得的监控视频，利用前景分析和/或行人检测得到所述多个摄像头中的单个摄像头中的检测结果；基平面映射步骤，所述基平面映射步骤包括利用摄像头参数，建立基平面与各个摄像头的图像平面间的映射关系，将所述单个摄像头的检测结果映射到所述基平面；多视角融合步骤，所述多视角融合步骤包括利用多视贝叶斯网络，在所述基平面上融合多个视角的检测信息；逆映射以及最终检测结果输出步骤，所述逆映射以及最终检测结果输出步骤包括将所述基平面上的检测结果映射到各个图像平面空间中去，并且输出最终结果；在所述逆映射步骤中，根据多视角贝叶斯网络的计算结果，将概率大于阈值的位置点作为最终输出点，输出这些位置的世界坐标，并且将这些位置映射到所述多个视角中的各个视角图像坐标上，输出其在所述各个视角图像中的对应位置；在所述基平面映射步骤中，还包括如下步骤：根据所述摄像头参数建立基平面世界坐标系和各个视角图像坐标系的映射关系；将所述基平面离散成一系列位置点；利用所述基平面世界坐标系和各个视角图像坐标系的映射关系，将每个位置点映射到各个视角中去，计算每个所述位置点在各个视角里对应的矩形框；所述多视角融合步骤，还包括如下步骤：a)将所述多视角中的各个视角的单视检测信息融合在基平面上，筛选出可能存在行人的位置；b)建立多视角贝叶斯网络，分析所述已筛选出来的位置，计算每个位置存在行人的概率；所述a)包括：通过规则去除不可能存在行人的位置点，所述规则的判断方法为：对每一个地面位置，如果这个位置点在每个视角里对应的矩形框与单视检测输出的检测结果重叠度低，则删除这个位置点；所述b)包括：(1).为每个视角建立单视贝叶斯网络，在单视贝叶斯网络中，每一个位置点在这个视角中对应的矩形框作为节点；(2).将多个单视贝叶斯网络融合为多视角贝叶斯网络，地面上位置点对应一个节点，与每个单视贝叶斯网络中对应的矩形框联系在一起；(3).引入主观节点猜想状态SSNS参数，计算出地面上每个位置点基于SSNS的检测概率值，计算方法如下：P(Xi=1|δ)=δiΣk=1KP(Ck)P(Rik|{Rjk=δj}Rjk∈ank(Rik));]]>其中Xi代表地面上第i个位置，δ代表SSNS参数，δi对应第i个位置的SSNS参数，P(Ck)是摄像机k的权重，代表第i个位置点在摄像头k上对应的矩形框，代表在第k个单视贝叶斯网络上节点的祖先节点集合，其中:当针对行人检测场景时：P(Rik|{Rjk=δj}Rjk∈ank(Rik))=(ΠRjk∈ank(Rik)(1-δj))*Det(Rik)+(1-ΠRjk∈ank(Rik)(1-δj))*u]]>其中是纹理检测置信度，u是一个常数；当针对前景分析场景时：P(Rik|{Rjk=δj}Rjk∈ank(Rik))=Σ(w,h)k∈rik(ΠRjk∈ank(Rik)∩(w,h)k∈Rjk(1-δj))Σ(w,h)k∈Rik1;]]>其中是(w,h)k指视角k里坐标为(w,h)的前景像素点；(4)、根据单视检测结果和带有SSNS参数的多视角贝叶斯网络推理模块获得的概率值计算似然函数：当基于室外监控场景时：P(Dk|X,δ)=exp(Σs=1nummaxi(P(Xi|δ)|ik=s))]]>其中num是检测结果个数，iK＝s表示在k视角里对应的检测结果与k视角里第s个检测结果匹配在一起，利用优化算法迭代求解似然函数，解出SSNS参数；当基于室内监控场景时：P(Dk|X,δ)=exp(-Σ(w,h)kΨ((w,h)k|δ)|Dk|)]]>其中：(w,h)k是视角k里坐标为(w,h)的前景像素点，|Dk|为第k个摄像头获得的前景图像上像素点的个数，利用优化算法迭代求解似然函数，解出SSNS参数；(5).把第(4)步的求解得到的SSNS参数带入到多视角贝叶斯网络推理中，求解出每个位置点存在行人的概率。