[发明专利]一种海量数据存储方法

说明书

技术领域

本发明涉及计算机数据存储技术领域，具体涉及一种基于分布式哈希表DHT与内存数据库存储相结合的海量数据存储方法。

背景技术

近年来，“电梯惊魂事件”在各大一线城市频繁上演，北京、深圳、上海、广州等城市电梯死亡、伤人事故报道不断，成为继食品危机之后又一触及百姓神经的重大敏感事件，为了有效防范和坚决遏制电梯事故发生，电梯安全管理平台应运而生。电梯安全管理平台主要实现对电梯运行远程动态检测、故障诊断和记录，可以通过视频实时了解电梯的运行情况，在电梯出现关人、冲顶、沉底等故障时，第一时间获悉并及时采取措施，而且对于电梯的检验、维保等状况，政府部门能够实时掌握，可以及时敦促有关方面落实责任，达到技术监管的目的，同时，通过对电梯运行状况的数据处理，还能掌握不同品牌、不同地点电梯的安全运行与质量状况，起到预警、分析、处理的作用。

在市场和政府政策的推动下，以区、市为单位的大型的电梯安全管理平台的概念的提出，在理论上保障了区、市领导能够在发生事故时第一时间掌握信息、第一时间发出指令、第一时间实施救援、第一时间调查处理。但是在实际研发中，由于区、市为单位的大型的电梯安全管理平台具有海量的数据，每天具有几十万甚至上亿条的数据记录，对现有的数据库的稳定性和扩展性带来极大的挑战。

现有的数据存储策略是将数据保存到硬盘上，再进行读取，一般是处理永久、稳定的数据。例如专利申请号为CN200810216695.1的发明，提供一种海量数据存储方法，采用文件服务器来管理海量文件数据，具体存储的时候，首先读取DICOM图像文件，根据其中特定的数据元素，对所述DICOM图像文件进行存储，包括步骤：A1、建立树结构目录的根目录；A2、求取所述DICOM图像文件中的一种唯一性标识的Hash值，建立以所述Hash值命名的第一级子结点目录；A3、以所述DICOM图像文件中的SOP Instance UID命名所述DICOM图像文件，将所述DICOM图像文件存储于第一级子结点目录中。上述数据存储方法虽然在处理海量数据时具有良好的稳定性，但其同样强调维护数据的完整性、一致性，但很难顾及有关数据及其处理的定时限制，不能满足电梯报警在实际应用中的实时性的需要。

再例如，专利申请号为CN201010246288.2的发明，提供了一种支持海量存储的内存数据库方法，使用内存数据库来管理海量数据，并且改进了当物理数据库有大量的数据需加载到内存时，会存在内存不足的情况，具体方案包括：一个内存数据库将用户要访问且不在内存数据库中的记录从一个物理数据库载入，当内存数据库使用内存达到上限时，定时清除内存数据库中使用机率低于设定值的记录。

上述方案在一定程度上解决了数据存储的时限性问题，但是该方案把大量的数据全部加载到内存中，这对服务器的硬件要求非常高，普通企业很难承受。

发明内容

本发明所要解决的技术问题是提供一种海量数据存储方法，基于分布式哈希表DHT与内存数据库存储相结合的方案，解决以区、市为单位的大型的电梯安全管理平台的海量数据的存储的即时性问题。

为了解决上述技术问题，本发明所采用的思路是，为每台待监控的电梯配备数据采集主机，以区、市为单位的大型的电梯安全管理平台安装于监控中心，该数据采集主机负责将数据传输至监控中心的内存数据库服务器集群。内存数据库服务器集群是由多台内存数据库服务器组成，这多台内存数据库服务器采用无主模式（没有一个集中管理的内存数据库服务器），来实现大规模内存存储。

一种海量数据存储方法，包括以下步骤：

步骤1：得到目前活动的内存数据库服务器列表；其具体包括：

步骤11：在数据采集主机上建立活动的（目前正常工作的）内存数据库服务器的IP地址表，并通过“心跳检测”程序定期向各内存数据库服务器发送心跳检测信号；各内存数据库服务器通过“心跳响应”程序对数据采集主机发送的心跳检测信号向数据采集主机发送响应信号；

步骤12：数据采集主机判断各内存数据库服务器对心跳检测信号进行响应的时间，如果一内存数据库服务器没有在规定时间响应，则认为该内存数据库服务器已下线，则从IP地址表中删除该内存数据库服务器；数据采集主机如果重新收到已下线的内存数据库服务器的响应信号，则向IP地址表中插入该内存数据库服务器的IP地址；

通过上述方式，实时更新数据采集主机上的IP地址表，从而得到目前活动的内存数据库服务器列表。