[发明专利]适合大小文件的海量医疗数据存储系统及数据存储方法

说明书

本发明实施例提供的适合大小文件的海量医疗数据存储系统及数据存储方法，属于数据存储技术领域。该系统针对医疗领域适合海量大文件、小文件并存的应用场景，解决了传统关系型数据库不适合非结构化数据的问题、解决了redis不适合海量数据存储的问题、改善了只采用hbase做存储时候面临的系统不稳定的问题、极大改善了单纯采用hdfs中解决小文件存储所面临的不适合大文件和文件不方便检索的问题。

技术领域

本发明涉及数据存储技术领域，具体而言，涉及适合大小文件的海量医疗数据存储系统及数据存储方法。

背景技术

随着医疗卫生信息化建设进程不断加快，医疗数据的类型与规模正在以前所未有的速度增长，并且在临床诊疗工作中，有大量的知识需求亟待通过计算机来提供。至少包括如下几类：一是基础知识库。主要是指合理用药、医学公式、医学术语集等“静态”规则类知识。二是临床诊疗知识库。主要是指经过人工不断总结形成的知识，包括临床路径、临床指南、疾病诊治知识库等。三是参考文献。特别是罕见病诊治更需要国内外参考文献提供借鉴。四是从历史病例挖掘形成的知识。然而这些数据，有些属于大文件有些属于小文件，面对这些海量的大小不等的数据，如何更好的存储并方便后续高效分析使用成为一个难题。

传统的数据存储方法可选用关系型数据库，常用的就是关系型数据库管理系统Mysql或Orcal，它可支持数据的存储和复杂的查询，但会遇到如下问题：

首先，对海量数据和数据更新操作支持力度不够。当数据量比较大或者数据读写更新的频率频繁的情况下，Mysql或Orcal的性能很差，即使对数据库内存表的锁进行优化，其性能也随着数据量的增大而下降；

其次，数据的类型比较复杂，有结构化、半结构化和非结构化数据之分，单纯选择关系型数据库就变得不适用。另外一种就是选用高性能的key－value存储系统Redis数据库，它支持复杂的数据类型，并且所有数据都可保存在内存中，在数据量大或者读写更新操作频繁的情况下，可保证消息处理的时效性，但会遇到如下问题：Redis的数据一般不要求实时落地，也不太适合大量数据的存储。常见的另外一种提高数据存储的方法是选用分布式的、面向列的Hbase数据库，它可以搭建分布式的数据存储集群，但是也存在如下问题：虽然Hbase对海量数据的存储支持性比较好，但并不是完全高可用，并且当数据量很大的时候，Hbase的Region因经常做Split产生抖动，使得存储和检索都不是很稳定。

目前，当数据量比较大的时候，常采用HDFS系统，但是HDFS针对小文件也存在因文件数目多而导致的整个系统缓慢的问题。为改善这个问题，目前常通过Hadoop提供的SequenceFile、MapFile，把小文件先组合成一个大文件进行存储，但是也存在一些问题，比如无法简单快速的列出小文件目录，从而无法实现快速检索。因此，现有技术中存在无法简单快速的列出小文件目录，以及无法实现快速检索的技术问题。

发明内容

本发明提供的适合大小文件的海量医疗数据存储系统及数据存储方法，旨在改善上述问题。