[发明专利]私有集群版高精地图数据处理系统

说明书

本发明公开了私有集群版高精地图数据处理系统，其特征在于，包括服务器，所述服务器采用KVM对物理服务器进行虚拟化，最少可以只用3台服务器就能划分出11台虚拟机，11台虚拟机包括Ambari主从服务器，负载均衡服务器，镜像仓库，域名服务器，文件服务器，Kubernetes主从服务器和中间件服务，包括激光雷达，摄像头，GPS/IMU采集的原始数据，通过平台抽象层对私有集群和云计算平台进行调度和控制，平台抽象层把单机任务和大数据处理任务分别分布到Kubernetes集群和Hadoop/Spark集群进行处理；本发明采用KVM对物理服务器进行虚拟化，最少可以只用3台服务器就能划分出上述11台虚拟机，且本发明中的私有集群是一个独立的集群，加快了内网下载软件安装包和镜像速度。

技术领域

本发明涉及自动驾驶高精地图和定位技术领域，同时涵盖了导航和测绘领域，尤其涉及私有集群版高精地图数据处理系统。

背景技术

高精地图是无人驾驶技术中不可或缺的重要组成部分。高精度地图的生成需要用到多种传感器包括激光雷达、摄像头和GPS/IMU，由于图像，激光雷达点云的原始数据较大，需要处理的数据量很大。因此一般的处理方式是利用云计算平台进行分布式数据处理。而有些制图项目对数据安全和保密有较高的要求，因此无法在云计算平台进行数据处理。在此背景下，本发明设计了一个运行在私有集群上的高精度地图处理系统。集群需要多种服务器将至少需要11台物理服务器，内网下载软件安装包和镜像速度过慢，扩容时，需要手动初始化安装并配置新增的服务器需要大量时间和人力成本，因此，亟需设计私有集群版高精地图数据处理系统来解决上述问题。

发明内容

本发明的目的是为了解决现有技术中存在的缺点，而提出的私有集群版高精地图数据处理系统。

为了实现上述目的，本发明采用了如下技术方案：

私有集群版高精地图数据处理系统，其特征在于，包括服务器，所述服务器采用KVM对物理服务器进行虚拟化，最少可以只用3台服务器就能划分出11台虚拟机，11台虚拟机包括Ambari主从服务器，负载均衡服务器，镜像仓库，域名服务器，文件服务器，Kubernetes主从服务器和中间件服务，包括激光雷达，摄像头，GPS/IMU采集的原始数据，通过平台抽象层对私有集群和云计算平台进行调度和控制，平台抽象层把单机任务和大数据处理任务分别分布到Kubernetes集群和Hadoop/Spark集群进行处理；存储解决方案为在云服务中对象存储被大量使用，因此对象存储也作为私有集群的主要数据存储方式，Minio+Rook+Ceph来提供对象存储服务。

进一步地，所述系统中服务器划分和扩容分为：至少3台服务器组成集群，服务器用KVM分割成，Ambari主从服务器，Kubernetes主、节点服务器，安装源服务器，镜像仓库，负载均衡服务器，域名服务器，文件服务器，将本项目部署相关的代码组织成一组Ansible的脚本。

进一步地，所述平台抽象层的处理流程中的任务分为两种，单机任务，大数据处理任务，单机任务在Kubernetes集群中通过启动容器的方式运行。分布式大数据处理任务，运行Hadoop/Spark集群中。

进一步地，所述私有集群通过部署集群内部的安装源服务器，镜像仓库，将所需的软件安装包都预先拷贝到安装源服务器上，镜像预先同步到镜像仓库中，这样不论是初始化安装部署整个集群环境还是高精度地图数据处理都可以实现在没有外网连接的条件下进行。

进一步地，所述服务器将本项目部署相关的代码组织成一组Ansible的脚本，可以在不同的集群上自动化部署，对集群进行扩缩容。