[发明专利]一种基于图神经网络的自动泊车停车位检测方法

权利要求书

1.一种基于图神经网络的自动泊车停车位检测方法，其特征在于，包括如下步骤：

S1、在车辆前后左右四个方向安装图像采集设备；

S2、利用图像采集设备采集车辆前后左右四个方向的图像并转换为以车辆位置为中心的俯视图；

S3、将俯视图输入基于图神经网络的停车位检测模块，检测图像中的停车位的四个角点位置，并识别车位的类型；

所述停车位检测模块包括卷积神经网络和图神经网络两个部分；

第一部分卷积神经网络由图像特征编码器，角点检测器和角点特征编码器A组成；图像特征编码器由多个卷积层、池化层组成；角点检测器由多个卷积层和一个Sigmoid激活层组成，其输出为包含3个通道的格网，其中第一个通道每个格网位置输出该格网检测到停车位角点的概率，第二个通道每个格网位置输出该格网相对真实角点位置在x方向的偏移量，第三个通道每个格网位置输出该格网相对真实角点位置在y方向的偏移量；角点特征编码器A由多个卷积层组成；最后一个卷积层的输出根据角点检测器最后得到的角点位置进行双线性差值计算，得到每个角点位置的特征；

第二部分为图神经网络，由角点特征编码器B、图神经网络编码器和边判别器组成；

S3.1、将每一帧俯视图缩放为统一尺寸的图像数据；

S3.2、将所述S3.1中的图像数据输入基于图神经网络的停车位检测模块的图像编码器中，输出图像特征F；在角点检测器输入图像特征F，输出角点位置信息；角点特征编码器A输入角点位置信息和图像特征F，输出各个角点的特征描述子；

在推理阶段，角点检测器的输出经过非极大值抑制处理，得到最终置信度最高的N个角点，用Nx2的矩阵表示，其中每一行为长度为2的向量[x,y]，用来表示角点的x和y坐标；假设角点检测器输出为Nx2的矩阵，角点特征编码器A输出为Nxc的矩阵，其中c为角点特征描述子的长度；

S3.3、将步骤3.2的角点位置信息和角点特征描述子输入图神经网络，计算停车位类型和停车位位置；

S3.3.1、计算停车位类型

角点特征编码器B先将所述S3.2中角点检测器输出的Nx2的角点位置信息输入一个多层感知机(MLP编码器)，得到Nxc的特征表示矩阵，该特征表示矩阵和角点特征编码器A输出的Nxc的角点特征描述子相加得到Nxc的矩阵作为图神经网络编码器的输入特征；

图神经网络编码器根据输入Nxc大小的特征，构建包含N个节点的图，其输出为Nxc大小的节点特征矩阵；

边判别器接收Nxc大小的节点特征矩阵作为输入，输出Kx5大小的矩阵；其中，K＝NxN，表示一共有NxN对节点；每一行为一个5维的向量[x1,y1,x2,y2,t]，其中，(x1,y1)和(x2,y2)分别表示停车位入口的角点位置，t表示该停车位的类型；

边判别器对N个节点中任意一对节点进行处理，先将图神经网络编码得到的任意两个节点的1xc大小的节点特征级联，形成一个1x2c大小的输入特征，该特征经过MLP层和Dropout层得到两路输出；第一路输出经过Sigmoid激活层得到边的判别结果，判断该边是否构成停车位入口，第二路输出经过Softmax层得到边的分类结果，即获得停车位类型；

S3.3.2、停车位的四个角点位置

将边判别器最终得到的每个停车位对应的5维向量[x1,y1,x2,y2,t]作为输入，假设p1，p2，p3，p4分别为四个角点的位置，其中p1＝(x1,y1)，p2＝(x2,y2)为边判别器输出的停车位入口角点位置，根据停车位类型t得到边p1p2和边p2p3的夹角a的大小，以及车位深度d的大小，根据公式(1)、(2)即可得到车位角点p3和p4的位置信息：

S4、将检测到的车位信息发送给规划控制模块，计算泊车路线并控制车辆自动驶入检测到的目标车位，实现自动泊车。

2.根据如权利要求1所述的一种基于图神经网络的自动泊车停车位检测方法，其特征在于，所述步骤S1中的图像采集设备为鱼眼相机。

3.根据如权利要求2所述的一种基于图神经网络的自动泊车停车位检测方法，其特征在于，所述步骤S3.1通过环视图像投影变换与拼接实现。