[发明专利]一种基于车内OMS相机计算乘客坐高及座舱成员分类方法

权利要求书

1.一种基于车内OMS相机计算乘客坐高及座舱成员分类方法，其特征在于：包括以下步骤：

(1)提取主副驾人体坐高关键点信息：通过车内OMS相机拍摄座舱内场景，使用人体姿态识别提取座舱内图像的人体骨架关键点信息并进行筛选和删除误检测骨架信息，最后对车内的骨架进行分类、编号并保存每个骨架的关键点信息；

(2)乘客骨架坐高计算：先计算出车内OMS相机内参以及相机到座椅的距离作为已知参数；然后将求得的已知参数带入图像像素坐标系转世界坐标的公式中计算出对应位置乘客的坐高；最后将每一帧图像内的乘客坐高高度信息存储到坐高特征容器中；

(3)座舱成员类别逻辑判断：设定区分儿童/成人的坐高阈值为M cm，然后从坐高特征容器中的时间序列上所存储的乘客坐高高度值与M比较以判断座舱成员的类别。

2.根据权利要求1所述的一种基于车内OMS相机计算乘客坐高及座舱成员分类方法，其特征在于：步骤(1)所述的提取主副驾人体坐高关键点信息具体为：通过车内OMS相机拍摄座舱内场景，使用人体姿态识别算法提取座舱内图像的人体骨架关键点信息，并对提取到的人体骨架关键点进行编号，编号顺序为人体姿态识别检测到骨架的先后顺序排列；按照人体姿态识别里面识别的关键点占据图像的位置来确定骨架所属类别，区分出主驾驶、副驾驶以及后排的乘客骨架；提取主副驾驶的颈部和股部关键点作为求解坐高的关键点，并将座舱内乘客数量、颈部和股部关键点保存到骨架特征结构体中，为后续求解单帧图像内乘客坐高做准备。

3.根据权利要求1所述的一种基于车内OMS相机计算乘客坐高及座舱成员分类方法，其特征在于：步骤(2)中所述的相机内参计算方法：用棋盘格标定板录制20-25张图像，然后用matlab的Camera Calibrator小程序标定车内相机，求出相机的内参fx，fy，u0，v0。

4.根据权利要求1所述的一种基于车内OMS相机计算乘客坐高及座舱成员分类方法，其特征在于：步骤(2)中所述的相机到座椅的距离计算方法：在座椅处贴上25cm的3×3的棋盘格，记实际相邻角点距离dw(cm)，利用角点检测检测出棋盘格的角点与坐标转换的变换公式结合，计算出相机镜头到人坐在座椅上的水平距离Zc，公式如下：

其中，dw为棋盘格实际相邻两个角点之间的距离，dx为对应两个角点之间x坐标的像素差值，dy为对应两个角点之间y坐标的像素差值；fx、fy为相机的内参。

5.根据权利要求1所述的一种基于车内OMS相机计算乘客坐高及座舱成员分类方法，其特征在于：步骤(2)中所述的乘客的坐高计算方法：调整座椅的距离，会得到不同位置的Zc，将之前得到主副驾坐高关键点的像素坐标一起代入像素坐标转世界坐标的公式中，求出主副驾乘客的车内真实的坐高height(cm)，公式如下：

其中，(x1，y1)为乘客颈部的关键点像素坐标(pix)，(x2，y2)为乘客股部的关键点像素坐标(pix)，Zc相机镜头到人坐在座椅上的水平距离，fx、fy为相机内参。

6.根据权利要求1所述的一种基于车内OMS相机计算乘客坐高及座舱成员分类方法，其特征在于：步骤(2)中所述的乘客坐高高度信息存储方法：将求得每一帧图像的乘客坐高信息保存到长度为N的序列中，定义存储坐高信息的时间序列vec_passenger_heights，序列大小为N，序列排号依次为N₁-N_N，存储方式具体为：存入第一帧的坐高信息到N₁，存入第二帧的坐高信息到N₂...存入第n帧的坐高信息到N_N。

7.根据权利要求6所述的一种基于车内OMS相机计算乘客坐高及座舱成员分类方法，其特征在于：所述vec_passenger_heights清空规则：

①当vec_passenger_heights存满时，删除第一次存入的坐高信息，将当前帧坐高信息存在序列尾端；

②当判断出座舱乘员类别时，立即清空序列中的所有坐高信息；

③当超过一段时间，没有新的坐高信息存入时，清空序列中的所有坐高信息。

8.根据权利要求1所述的一种基于车内OMS相机计算乘客坐高及座舱成员分类方法，其特征在于：步骤(3)所述的座舱成员类别逻辑判断方法：

1)设定存储座舱乘客坐高信息的时间序列vec_passenger_heights长度N，定义一个累加器num1，num2；

2)当vec_passenger_heights序列长度大于等于N时，序列从最后往前遍历，判断每一帧的值跟坐高阈值之间关系，小于M cm累加器num1加一，大于M cm累加器num2加一；

3)统计序列中小于M cm和大于M cm的帧数，计算小于M cm的概率是否大于0.8，如果大于乘客识别为儿童；计算大于M cm的概率是否大于0.8，如果大于乘客识别为成人。