[发明专利]MonetDB分布式计算存储方法

说明书

技术领域

本发明是一种数据存储方法，特别是涉及一种MonetDB分布式计算存储方法。

背景技术

MonetDB是一种专用于数据统计分析的开源数据库，支持multi-funnel，用于代理客户端的请求，代理的请求转发到底层的数据节点执行，但是代理功能非常单一，使用场景受限，并且存在如下缺点：1.限于将数据转发到所有的底层数据节点执行并返回所有节点运行的结果。也即是没有路由选择算法，选择哪个节点运行，因此目前的技术只能用作负载均衡和数据复制场景。2.-funnel节点和monetdbd节点没有HA机制。存在单点故障。如果能解决现有技术的问题，在MonetDB中实现数据节点的选择，则可以实现分布式计算存储，增强MonetDB的功能。在实现MonetDB分布式计算存储的同时，除了需要解决数据路由算法的问题，还需要解决高可用的问题。

对比技术：CN102591978A，开日期2012年7月18日，公开内容：本发明属于电子文本拷贝检测技术领域，具体为一种针对大规模文档集中两两文档间进行拷贝检测的分布式索引建立以及分发方法和一种分布式文本拷贝检测系统。所述方法是将整个文档集上的拷贝检测分割成个若干的子任务，每个子任务中只用到单个计算机节点中保存的文档和整个文档集所有文档集的一部分文档组成的索引，从而使得每个子任务可以在单独的节点上运行，减小了网络开销。系统基于Map-Reduce技术，使用Apache的开源软件项目Hadoop提供的分布式计算存储框架，具有良好的可扩展性，适合处理大规模文本集上的拷贝检测，电子文本数据集通过磁盘等介质作为输入进入到拷贝检测系统，系统由多台计算机组成的集群对电子文本数据进行处理，将互为拷贝的文档对结果以文件形式输出到磁盘上。此技术方案不能实现MonetDB分布式计算存储，也无法解决数据路由算法和可用的问题。

发明内容

本发明的目的是为解决目前的技术方案存在不能实现MonetDB分布式计算存储，也无法解决数据路由算法和可用的问题，提供一种MonetDB分布式计算存储方法。

本发明解决其技术问题所采用的技术方案是：一种MonetDB分布式计算存储方法，其特征在于：包括基于P2P通讯的glusterfs节点以及HA的部署步骤、monetdbd节点以及HA部署步骤、m-funnel节点以及HA部署步骤和分布式计算存储的部署步骤，

所述glusterfs节点以及HA的部署步骤包括以下子步骤：

glusterfs节点子步骤一，分布式系统添加glusterfs节点peer，

glusterfs节点子步骤二：创建文件系统，创建目录用作brick，所有节点的brick组成大的存储池，

glusterfs节点子步骤三：设置glusterfs的复制份数、条带和权限，

glusterfs节点子步骤四：挑选2个或2个以上的glusterfs节点作为nfs的服务端节点，完成HA布置

glusterfs节点子步骤五：配置这几个节点的虚拟IP，并配置虚拟IP的failover，确定主节点和备节点，

glusterfs节点子步骤六：monetdbd节点使用这些虚拟IP存储HA，挂载glusterfsnfs存储；

所述monetdbd节点以及HA部署步骤包括以下子步骤：

monetdbd节点子步骤一：monetdbd节点使用glusterfs的虚拟IP挂载glusterfsnfs存储，

monetdbd节点子步骤二：在nfs上初始化数据库集群，

monetdbd节点子步骤三：主节点启动数据库集群，并创建数据库，

monetdbd节点子步骤四：配置discovery，sharedtag；

monetdbd节点子步骤五：配置HA，多台主机共享数据库集群文件，在同一时间点，只有主节点启动monetdbd进程和虚拟IP，当主节点故障时，切换到备节点，由备节点启动monetdbd进程，并启动虚拟IP，

monetdbd节点子步骤六：虚拟IP被用于m-funnel连接；

所述m-funnel节点以及HA部署步骤包括以下子步骤：

m-funnel节点子步骤一：初始化数据库集群

m-funnel节点子步骤二：启动数据库集群，创建m-funnel代理数据库

m-funnel节点子步骤三：配置HA，在若干台主机上创建对应的若干个m-funnel代理数据库，