[发明专利]适合大小文件的海量医疗数据存储系统及数据存储方法

权利要求书

1.一种适合大小文件的海量医疗数据存储系统，其特征在于，包括：用户注册模块、监控报警模块、处理模块、数据索引模块、接口模块和负载均衡模块；

所述用户注册模块用于管理院区信息、科室信息以及用户名信息；并且还用于在进行用户注册新增操作时，使得用户需要按照预设规则进行注册，当不满足所述预设规则时，发送提示信息至用户终端；当注册成功时，为所述用户赋予文件操作权限，以及将所述用户信息按照预设格式进行存储；

所述监控报警模块用于实时监控各个存储服务器和各个服务模块的运行状态，以及当所述系统或服务状态异常时发送邮件或短信报警，使得第一时间通知系统管理人员，以及在状态恢复后发出正常的邮件或短信通知，以使用户能够在正常后进行及时使用，以及用于在出现部分单一性的错误问题时，所述监控报警模块实现自动修复同时发出报错信息和恢复信息；

所述处理模块用于将用户上传的海量小文件按照预设处理规则分组合并成sequenceFile，并根据不同的队列进行合并所述文件，进而减少用户访问数据的压力；

所述数据索引模块用于为用户所上传的数据分配唯一标识符和索引；

所述接口模块用于提供上传、查看下载、删除文件的接口，以使用户通过所述接口模块完成用户文件上传、下载或删除操作；

所述负载均衡模块用于根据用户发送的消息包中所携带的用户的IP和操作信息，对所述用户发送的消息包进行解析，然后根据IP和操作的类型选择对应的服务器组；

以及还用于获得各个服务器的性能状态，然后再根据每个所述服务器的性能状态选择多个所述服务器中的任意一个所述服务器，从而将数据报文中的目标地址修改为所述服务器所对应的地址。

2.根据权利要求1所述的系统，其特征在于，所述处理模块具体用于：

从kafka的未消费缓存队列集合中逐个获取用户文件，并写入到预设的维护的序列文件集合中；

判断所述序列文件集合的值是否达到预设值；

若是，将所述序列文件集合中的文件合并写入到HDFS中的序列文件中；

当写入成功后，将操作日志写入到log中，并将所述用户文件的索引写到所述数据索引模块所在的服务器上，同时将所述kafka中刚刚消费的队列中相应文件记录删除；

若否，则进行等待直到所述序列文件集合的值达到所述预设值。

3.根据权利要求2所述的系统，其特征在于，所述处理模块包括控制器和操作日志模块。

4.根据权利要求1所述的系统，其特征在于，还包括元数据模块，所述元数据模块，用于存储用户的注册信息和文件名的编号信息，以使用户注册后能够快速进行查询和更新操作。

5.根据权利要求1所述的系统，其特征在于，还包括数据缓存模块，所述数据缓存模块，用于缓存用户上传或下载的数据。

6.根据权利要求1所述的系统，其特征在于，还包括索引存储模块，所述索引存储模块用于存储文件索引。

7.一种数据存储方法，其特征在于，应用于如权利要求1所述的适合大小文件的海量医疗数据存储系统，包括：

所述负载均衡模块获取用户上传的用户文件，并将所述用户文件发送至所述接口模块；

所述接口模块将所接收到的所述用户文件发送至缓存模块，以使所述缓存模块将所述用户文件上传至所述处理模块；

所述处理模块从kafka的未消费缓存队列集合中逐个获取用户文件，并写入到预设的维护的序列文件集合中；

所述处理模块判断所述序列文件集合的值是否达到预设值；

若是，所述处理模块将所述序列文件集合中的文件合并写入到HDFS中的序列文件中；

当写入成功后，所述处理模块将操作日志写入到log中，并将所述用户文件的索引写到所述数据索引模块所在的服务器上，同时所述处理模块将所述kafka中刚刚消费的队列中相应文件记录删除；

若否，所述处理模块进行等待直到所述序列文件集合的值达到所述预设值。