[发明专利]基于机器学习的对象辨识系统及其方法

说明书

本公开提供了一种基于机器学习的对象辨识系统，包括二维影像撷取模块、三维空间撷取模块、一数据框选模块、一数据对齐模块、一特征撷取模块以及一侦测模块。二维影像撷取模块用以撷取二维影像。三维空间撷取模块用以撷取三维空间点云数据。数据框选模块根据三维空间点云数据进行对象分割，并进行深度识别，以框选至少一关注区域。数据对齐模块映射至少一关注区域的坐标至二维影像的坐标中。特征撷取模块计算二维影像的特征，并由二维影像的特征中提取对应关注区域的坐标的至少一关注特征。侦测模块取得关注特征，并根据关注特征，对二维影像中至少一对象进行识别。

技术领域

本公开是有关于一种基于机器学习的对象辨识系统及其方法。

背景技术

传统利用深度学习网络对彩色二维影像进行对象识别过程中，在框选彩色二维影像的候选区域阶段，会利用卷积神经网络所获得大量对象特征，在彩色二维影像中生成候选区域，然而，这个步骤需要高速运算资源并消耗大量时间才能获得计算结果，这是传统深度学习网络的主要缺点。

中国专利公开第105975915A号提出一种基于多任务卷积神经网络的前方车辆参数识别方法，卷积神经网络(Convolutional Neural Network，CNN)的输入RGB-D图像，即一种包含彩色及深度信息的四信道颜色深度图像；将输入图像RGB-D图像进行局部对比度归一化的预处理，处理后的数据交给卷积神经网络进行训练，训练前初始化所有的权值为随机数；训练分为两个阶段：信号前向传播阶段和误差后向回馈阶段；当卷积神经网络的实际输出值与期望输出值的误差保持在预设范围内即终止卷积神经网络训练，并保存卷积神经网络结构，适用于交通场景的车辆参数识别的多任务卷积神经网络训练完毕。上述方法通过卷积神经网络进行学习分类能够识别其他车辆、行人等，RGB-D图像信息与普通的图像信息相比具有距离信息，在一定程度上提高了精确性。但是上述方法中RGB-D只能识别距离较近范围的物体，距离较远的物体识别精度低，如果应用在无人车上容易造成事故。

此外，中国专利公开第107576960A号提出一种视觉雷达时空信息融合的目标检测方法及系统，将RGB图像和LIDAR深度图片融合成RGB-LIDAR图片，将连续M次采集的RGB-LIDAR图片进行叠加，获得叠加后的RGB-LIDAR图片，以多个所述的叠加后的RGB-LIDAR图片建立RGB-LIDAR数据集，输入到深度学习网络进行训练学习，建立分类模型。根据分类模型对目标的分析结果采取相对应的决策。但是上述方法中融合成RGB-LIDAR图片需消耗大量时间及运算资源，且大量的RGB-LIDAR数据集输入到深度学习网络中才能获得计算结果，不符合实时辨识的需求。

公开内容

本公开有关于一种基于机器学习的对象辨识系统及其方法，可根据三维空间点云数据进行对象分割，并进行深度识别，以预先框选一关注区域，进而节省后续运算模块的运算时间。

根据本公开的一方面，提出一种基于机器学习的对象辨识系统，包括二维影像撷取模块、三维空间撷取模块、一数据框选模块、一数据对齐模块、一特征撷取模块以及一侦测模块。二维影像撷取模块用以撷取二维影像。三维空间撷取模块用以撷取三维空间点云数据。数据框选模块根据三维空间点云数据进行对象分割，并进行深度识别，以框选至少一关注区域。数据对齐模块映射关注区域的坐标至二维影像的坐标中。特征撷取模块计算二维影像的特征，并由二维影像的特征中提取对应关注区域的坐标的至少一关注特征。侦测模块用以取得至少一关注特征，并根据关注特征，对二维影像中的至少一对象进行识别。

根据本公开的一方面，提出一种基于机器学习的对象辨识方法，包括下列步骤。撷取二维影像。撷取三维空间点云数据。根据三维空间点云数据进行对象分割，并进行深度识别，以框选至少一关注区域。映射关注区域的坐标至二维影像的坐标中。计算二维影像的特征，并由二维影像的特征中提取对应关注区域的坐标的至少一关注特征。根据关注特征，对二维影像中的至少一对象进行识别。

附图说明

图1绘示依照本公开一实施例的基于机器学习的对象辨识系统的示意图。