[发明专利]无人机全景图像处理方法、装置及电子设备

权利要求书

1.一种无人机全景图像处理方法，其特征在于，包括：

获取无人机拍摄的目标图像以及与所述目标图像所对应的点云数据集合，所述点云数据集合在平面坐标中的尺寸与所述目标图像的尺寸完全一致，所述点云数据集合中包含目标图像上包含的目标对象的空间位置信息；

基于所述点云数据集合描述的目标对象的三维目标对象的尺寸，确定n个所述目标对象在水平方向的投影轮廓长度序列，形成第一特征向量：获取所述水平方向投影轮廓的中心点以及所述投影轮廓在所述中心点上的最长连接线；

对所述最长连接线进行n等分，计算n个等分点到所述最长连接线的垂直方向上的长度；将n个等分点到所述最长连接线的垂直方向上的长度作为所述第一特征向量中的n个元素；

在目标对象三维模型的垂直方向，以所述目标对象三维模型的中心点为中心，以360/n作为步进角度，依次轴向旋转360/n次，形成n个轴向轮廓矩阵，基于n个轴向轮廓矩阵的特征值，形成第二特征向量：以所述最长连接线所在的垂直面为起始旋转面，以360/n作为步进角度，形成n个轴向轮廓面；

将所述n个轴向轮廓面的水平方向和垂直方向上的位置坐标作为元素，形成n个轴向轮廓矩阵；

基于所述第一特征向量和所述第二特征向量形成的第一特征矩阵，对所述目标图像执行全景图像拼接操作，通过第一特征矩阵，基于目标图像中存在的目标对象作为标记物，并基于该标记物进行图像位置的定位，来获取与目标图像相邻的其他图像的特征矩阵，通过判断相邻图像的特征矩阵与第一特征矩阵的相似度是否大于预设值，将目标图像和相邻图像进行定位拼接，从而拼接成全景图像，包括：获取所述无人机拍摄的与所述目标图像相邻的待拼接图像以及与所述待拼接图像所对应的拼接点云数据集合，所述拼接点云数据集合在平面坐标中的尺寸与所述待拼接图像的尺寸完全一致，所述拼接点云数据集合中包含待拼接图像上包含的目标对象的空间位置信息；基于所述拼接点云数据集合描述的目标对象的三维目标对象的尺寸，确定n个所述目标对象在水平方向的投影轮廓长度序列，形成第三特征向量；在所述目标对象三维模型的垂直方向，以所述目标对象三维模型的中心点为中心，以360/n作为步进角度，依次轴向旋转360/n次，形成n个轴向轮廓矩阵，基于n个轴向轮廓矩阵的特征值，形成第四特征向量；判断所述第三特征向量和所述第四特征向量形成的第二特征矩阵与所述第一特征矩阵之间的匹配度是否满足预设值；若是，则基于所述第一特征矩阵和第二特征矩阵所对应的目标对象的中心点，进行所述目标图像与所述待拼接图像之间的拼接操作，以便于形成全景图像。

2.根据权利要求1所述的方法，其特征在于，所述获取无人机拍摄的目标图像以及与所述目标图像所对应的点云数据集合，包括：

通过预设的通信链路通道，从所述无人机端获取拍摄的目标图像以及与所述目标图像所对应的点云数据集合。

3.根据权利要求2所述的方法，其特征在于，所述获取无人机拍摄的目标图像以及与所述目标图像所对应的点云数据集合之前，所述方法还包括

控制无人机按照预设路线对所述预设路线上存在的目标对象进行拍摄飞行操作；

利用所述无人机上设置的定位设备，实时获取无人机的当前位置信息；

基于设置于所述无人机之上的图像采集设备，采集当前位置下预设路线上的目标对象，形成第一图像；

获取与当前位置信息匹配的第二图像，将所述第一图像与所述第二图像进行差分匹配后，形成第三图像；

对所述第三图像进行目标识别，形成目标对象集合，实时采集目标对象集合中的每个目标对象形成的点云数据，形成点云数据序列，将点云数据序列中空间夹角大于预设夹角的点云数据剔除之后，基于当前位置信息，形成点云数据集合。

4.根据权利要求3所述的方法，其特征在于，所述采集当前位置下预设路线上的目标对象，形成的第一图像，包括：

利用所述图像采集设备上的左目相机和右目相机，分别采集左目视频帧和右目视频帧；

基于所述左目视频帧图像和右目视频帧图像，计算当前视野下采集到的目标对象的深度值；

当所述深度值小于预设深度值时，舍弃当前时刻采集到的左目视频帧和右目视频帧；

当所述深度值大于预设深度值时，基于左目视频帧和右目视频帧生成所述第一图像。