[发明专利]私有集群版高精地图数据处理系统

权利要求书

1.私有集群版高精地图数据处理系统，其特征在于，包括服务器，所述服务器采用KVM对物理服务器进行虚拟化，最少可以只用3台服务器就能划分出11台虚拟机，11台虚拟机包括Ambari主从服务器，负载均衡服务器，镜像仓库，域名服务器，文件服务器，Kubernetes主从服务器和中间件服务，包括激光雷达，摄像头，GPS/IMU采集的原始数据，通过平台抽象层对私有集群和云计算平台进行调度和控制，平台抽象层把单机任务和大数据处理任务分别分布到Kubernetes集群和Hadoop/Spark集群进行处理；存储解决方案为在云服务中对象存储被大量使用，因此对象存储也作为私有集群的主要数据存储方式，Minio+Rook+Ceph来提供对象存储服务。

2.根据权利要求1所述的私有集群版高精地图数据处理系统，其特征在于，所述系统中服务器划分和扩容分为：至少3台服务器组成集群，服务器用KVM分割成，Ambari主从服务器，Kubernetes主、节点服务器，安装源服务器，镜像仓库，负载均衡服务器，域名服务器，文件服务器，将本项目部署相关的代码组织成一组Ansible的脚本。

3.根据权利要求1所述的私有集群版高精地图数据处理系统，其特征在于，所述平台抽象层的处理流程中的任务分为两种，单机任务，大数据处理任务，单机任务在Kubernetes集群中通过启动容器的方式运行。分布式大数据处理任务，运行Hadoop/Spark集群中。

4.根据权利要求1所述的私有集群版高精地图数据处理系统，其特征在于，所述私有集群通过部署集群内部的安装源服务器，镜像仓库，将所需的软件安装包都预先拷贝到安装源服务器上，镜像预先同步到镜像仓库中，这样不论是初始化安装部署整个集群环境还是高精度地图数据处理都可以实现在没有外网连接的条件下进行。

5.根据权利要求1所述的私有集群版高精地图数据处理系统，其特征在于，所述服务器将本项目部署相关的代码组织成一组Ansible的脚本，可以在不同的集群上自动化部署，对集群进行扩缩容。

6.根据权利要求1所述的私有集群版高精地图数据处理系统，其特征在于，所述Hadoop/Spark集群在Ambari主从服务器上使用Ambari进行自动化部署，提供HDFS，HBase，Yarn，ZooKeeper，MapReduce2，Spark2等服务，自动化部署Kubernetes集群使用开源软件Kubeasz来安装Kubernetes集群，Kubeasz基于二进制方式部署和利用Ansible-Playbook实现自动化。

7.根据权利要求1所述的私有集群版高精地图数据处理系统，其特征在于，所述Minio+Rook+Ceph来提供对象存储服务，Minio能很好的兼容Aws S3服务，只需要很小的修改就能使数据处理的代码同时支持云计算平台和私有集群。

8.根据权利要求1所述的私有集群版高精地图数据处理系统，其特征在于，所述存储选择开源软件Ceph来提供对象存储服务，Ceph本身支持多种类型的存储，包括块存储，共享文件系统存储和对象存储；选择开源软件Rook作为存储编排器在Kubernetes上部署Ceph的存储服务；前端选择开源软件Minio来提供对象存储前端支持，包括Web端和Aws S3支持。Minio服务通过Rook-Ceph提供的持久卷来实现数据持久化；数据库，Kafka，ElasticSearch，Prometheus，Kibana等也基于同样的设计，通过Rook-Ceph提供的持久卷来实现数据持久化。

9.根据权利要求1所述的私有集群版高精地图数据处理系统，其特征在于，所述中间件服务为核心服务，用户区域服务，文件管理服务；核心服务提供与数据处理有关的信息管理功能，包括原始数据的Aws S3存储路径，生成的中间结果和最终结果的存储位置，数据处理的相关配置，数据处理流水线的运行状态；用户区域服务提供用户和地图区域的相关信息管理功能；文件管理服务，提供数据处理过程中需要用到的程序的可执行文件，库文件，配置文件的管理功能。