[发明专利]一种并行分布式大数据架构构建方法及系统

说明书

本申请公开了一种并行分布式大数据架构构建方法及系统。所述并行分布式大数据架构构建方法包括生产者端的搭建及数据连接器端的搭建，所述生产者端的搭建方法包括：加载指定的序列化策略；完成生产属性配置；对预备发送数据进行avro序列化；对avro序列化后的数据进行内存填充，并形成kafka消息，发送至kafka消息队列中；数据连接器端的搭建方法包括：读取Dataframe，并完成预置的组态配置；加载指定序列化策略并执行反序列化；使用spark微批处理形式进行数据库或数据表的写入。本申请解决了国产超级计算机不能持久化存储海量数据的问题。

技术领域

本发明涉及并行技术与大数据处理技术领域，具体涉及一种并行分布式大数据架构构建方法以及并行分布式大数据架构构建系统。

背景技术

国产超级计算机采用异构众核的体系架构，与大数据生态环境依赖的硬件架构不同，其具有片上计算核心集群化和分布式共享存储相结合的特点，因此，面向国产超级计算机的大数据平台构建存在极大的挑战。

国产超级计算机上难以实现持久化存储，但国产大数据仓储系统包含存储服务器、存储管理服务器、数据中转服务器、用户登录服务器等国产设备，系统通过一台万兆网络交换机实现内部互联，实现10Gbps的全连接数据交换。国产存储服务器包含了大容量的磁盘，实现超大规模的数据存储；国产元数据服务器包含高性能的SSD存储盘，提供高速的元数据访问；国产用户登录服务器为有保密需求的用户提供登录服务；国产数据中转服务器支撑用户数据的导入与导出。

目前，面向国产超算的并行分布式大数据架构的需求主要体现在两个方面：

（1）如何构建高效处理低延时的并行分布式大数据架构。

（2）国产超算具有高性能计算能力，需要将应用程序产生的海量多源异构数据实时共享到其他软件生态环境中。

综上，现有的国产超级计算机具有不能持久化存储海量数据的问题。

发明内容

本发明的目的在于提供一种并行分布式大数据架构构建方法，来克服或至少减轻现有技术的至少一个上述缺陷。

本发明的一个方面，提供一种并行分布式大数据架构构建方法，所述并行分布式大数据架构构建方法包括：

在即将运行的MPI进程中加载指定的序列化策略；

通过kafka生产者MPI进程组的各个进程完成各kafka生产者的生产属性配置；

通过所述kafka生产者MPI进程组的各个进程进行序列化策略的类型转化，对预备发送数据进行avro序列化；

基于缓存的序列化策略元信息对avro序列化后的数据进行内存填充，并形成kafka消息，发送至kafka消息队列中；

所述数据连接器端的搭建方法包括：

通过spark-sql-kafka集成模块以流方式从kafka数据源读取Dataframe，并完成预置的组态配置；

从schema registry端加载指定的kafka数据源topic键、值avro序列化策略，并执行反序列化；

使用spark微批处理形式，将反序列化后Kafak数据流批量写入GreenPlum目标数据库或数据表中。

可选地，所述在即将运行的MPI进程中加载指定的序列化策略包括：

创建kafka生产者MPI进程组和通信域；

选取MPI进程组中的一个MPI进程作为主进程，构建所述主进程与SchemaRegistry端的通信，加载指定的序列化策略；

将所述主进程中的序列化策略广播至Kafka生产者MPI进程组中的其它所有即将运行的MPI进程。