[发明专利]一种车辆VIN码检测采集系统及其采集方法

权利要求书

1.一种车辆VIN码检测采集系统的采集方法，其特征在于，采集系统包括客户端装置和服务端电脑，所述客户端装置包括深度相机、嵌入式主板、电源、触摸显示屏和硬件外壳，嵌入式主板安置在硬件外壳内部，深度相机与嵌入式主板相连，电源与嵌入式主板相连，触摸显示屏与嵌入式主板相连，嵌入式主板内置图像采集模块、数据存储模块及无线网络通信模块；图像采集模块用于车辆VIN码图像的采集；数据存储模块用于存储图像采集模块采集的原始图像和对应的深度信息；无线网络通信模块用于将数据存储模块中存储的数据发送至服务端电脑；所述服务端电脑内置图像矫正模块、数据管理模块、图像显示模块、图像打印模块，图像矫正模块负责对图像采集模块采集到的图像进行VIN码检测和识别并进行图像矫正；数据管理模块用于存储无线网络通信模块发送的数据，存储图像矫正模块矫正后的图像数据；图像显示模块，负责对图像矫正模块矫正后的图像进行显示；图像打印模块，负责对图像显示模块所显示的图像进行1:1打印；

采集方法，包括如下步骤：

步骤1：记客户端装置采集图像的外框为box1,记包含VIN码的绿框为box2，box1和box2均为矩形框，中心点相同，且box1包含box2；其中，box2的宽度和高度分别记为width和height；

步骤2：使用深度相机获取box2包含的点云和box1包含的RGB图像，利用数据存储模块存储深度相机获取的box2包含的点云数据和box1包含的RGB图像数据，利用无线网络通信模块将数据存储模块存储的数据传送到服务端电脑的图像矫正模块，其中，box2包含的点云记为如式(1)所示的集合P,box1包含的图像记为Q,深度相机内参矩阵为I,出厂自带；

P＝{A_i＝＜x_i,y_i,z_i＞|i＝1,2,3...,n} (1)

其中，A_i表示box2包含的第i个点云,(x_i,y_i,z_i)表示第i个点云的三维坐标；n表示box2包含的点云总个数；

步骤3：根据式(2)计算得到图像Q的像素点坐标与P中的点云坐标对应关系；

k＝y*width+x (2)

其中，(x,y)表示图像Q的任意像素点的坐标，k表示(x,y)对应于点云集合P中点云的下标，即(x,y)对应于A_k＝x_k,y_k,z_k；

步骤4：根据字符检测算法计算得到仅包含目标字符串的包络矩形框，记为box3,并将左上角开始按顺时针方向记录box3的4个顶点为B_a1、B_a2、B_a3和B_a4；利用式(2)找到B_a1、B_a2、B_a3和B_a4对应的点云，分别记为A_b1、A_b2、A_b3和A_b4；按顺时针连接A_b1、A_b2、A_b3和A_b4四个点云，从集合P中分割出box3中的点云并构成点云集合P₀,根据式(3)得到点云集合P₀的形心O_p；

其中，(x_c,y_c,z_c)表示点云集合P₀的形心O_p的坐标，(x_bi,y_bi,z_bi)表示A_b1、A_b2、A_b3和A_b4的坐标，i＝1,2,3,4；

步骤5：以点云集合P₀为输入,建立KD树对点云集合P₀进行近邻点集搜索,根据搜索到的近邻点集并利用PCL求解点云平面法向量，得到如式(4)所示的法向量集合F₀,再根据式(5)得到点云集合P₀平面法向量

其中，v_xi、v_yi和v_zi分别表示法向量在X轴、Y轴和Z轴上的值；v_x、v_y和v_z分别表示法向量在X轴、Y轴和Z轴上的值；

步骤6：根据式(6)得到法向量和之间的夹角angle，根据式(7)得到点云P₀平面旋转轴axis,并将旋转轴归一化；

其中，·表示向量点乘，×表示向量叉乘，表示图像Q矫正后的平面法向量；

步骤7：根据式(8)得到平移矩阵TR,根据式(9)计算出将图像Q转换到矫正后的图像的透视变换矩阵H；

H＝I·R·TR·I^-1 (9)

其中，(x_c,y_c,z_c)表示点云平面P₀的形心O_p坐标，I^-1表示相机内参矩阵的逆矩阵，由奇异值分解得到，R表示根据angle和axis并采用PCL方法计算得到的旋转矩阵；

步骤8：针对box2中的字符串，根据式(10)得到图像Q的box2矫正后的图像，记为Q_r；

其中，(u_s,v_s,1)表示box2的4个顶点的图像坐标的齐次坐标，(u_rs,v_rs,1)表示矫正后4个顶点对应图像坐标的齐次坐标；

步骤9：根据矫正后Q_r的四个顶点的齐次坐标重新裁剪ROI区域，根据式(2)得到四个顶点对应的点云，重新计算该ROI区域的4个顶点的世界坐标，根据结构化点云和图像实际长宽一致，得到矫正后的目标字符串的实际长宽，即实现了图像矫正模块的功能；

步骤10：利用服务端电脑的数据管理模块存储图像矫正模块的矫正后的目标字符串和实际长宽，通过图像显示模块和图像打印模块对矫正后的目标字符串实现显示和1:1打印。