[发明专利]一种无主节点分布并行数据存储方法和系统

说明书

本发明公开了一种无主节点分布并行数据存储方法和系统，包括：系统接收到多个SQL客户端连接时，按照负载均衡方法将SQL连接均匀分配至多个节点；连接SQL客户端后，接收SQL语句事务请求；对SQL语句进行语法分析并采用动态规划算法或者遗传算法生成最优执行计划；依据数据分布算法获取数据分布所有执行计划的节点，然后将执行计划传送到所有执行计划的节点进行计划执行；根据执行计划进行数据提取、处理、存储一系列事务活动，并返回结果；汇总所有的结果；通过Log传送的机制接收组内的心跳检测包和日志文件，在组内进行数据同步。本申请提供的方案基于指令迁移的方式能够达到高的事务吞吐量，同时所有节点均是主节点，不会因为个别节点的故障导致整个系统的不可用，实现多活，具有高可靠、并行计算和易扩展等优点。

技术领域

本发明涉及对等数据存储领域，特别是涉及一种对等分布并行数据存储方法和系统。

背景技术

随着传统的数据库技术日趋成熟、计算机网络技术的飞速发展和应用范围的扩大，分布式数据库的发展受到了广泛的关注和研究。

在企业数据越来越庞大，对数据库的性能要求也越来越高，单机数据库对大批量数据的处理存在一定的局限性：单机数据库容易产生容量和性能瓶颈，难以支持密集的并发读写；采用分区表方案，数据不能跨实例存储，扩展性和维护性较差。分布式数据库可以按照指定的分片规则，分布式存储到各个分片当中，能够实现读写分离，提高并发性能并且由于采用分布式存储，能够支持水平扩展存储空间。

但是，现有的分布式数据库中，节点之间的数据同步依靠数据的迁移，在数据库发生大量数据读写的情况下，网络中的传输数据量倍增，对网络的传输造成很大的压力。而且传统的分布式数据库采用一个主节点和多个副本节点的方式实现读写分离，通常主节点会成为系统的性能与扩展瓶颈，因为主节点难以扩展，系统的性能难以通过增加计算节点实现线性性能增长。

发明内容

本发明的目的是提供一种无主节点分布并行数据存储方法和系统，具有高可靠、并行计算和易扩展等优点，在减小传输数据量的同时，解决主节点难以扩展的问题，实现多活。

一种无主节点分布并行数据存储方法，系统由若干组组成，每个组包含若干对等节点：

系统接收到多个SQL客户端连接时，按照负载均衡方法将SQL连接均匀分配至多个节点；

所述节点连接SQL客户端后，接收SQL语句事务请求；

对所述SQL语句进行语法分析并采用动态规划算法或者遗传算法生成最优执行计划；

依据数据分布算法获取数据分布所有执行计划的节点，然后将所述执行计划传送到所述所有执行计划的节点进行计划执行；

根据所述执行计划进行数据提取、处理、存储一系列事务活动，并返回结果；

汇总所有的结果；

通过Log传送的机制接收组内的心跳检测包和日志文件，在组内进行数据同步。

进一步地，所述连接SQL客户端的方法，包括：

接收SQL客户端发送来的连接请求；

建立新的子SQL服务进程；

将所述连接请求重定向到所述子SQL服务进程；

接收所述SQL客户端发送来的开始消息；

验证所述开始消息是否合法，如果合法建立连接，如果不合法则丢弃该连接。

进一步地，所述开始消息包含登陆数据库用户信息、数据库信息、用户密码以及版本信息。

一种无主节点分布并行数据存储系统，由若干组组成，每个组包含若干对等节点，节点包括：