[发明专利]流式数据存储方法及装置

说明书

本发明公开了一种流式数据存储方法及装置，该流式数据存储方法包括：获取Hive数据库表的分区信息；接收流式数据处理引擎传入的流式数据；判断Hive数据库表的分区信息是否包含接收到的流式数据的分区信息；在Hive数据库表的分区信息不包含接收到的流式数据的分区信息时，创建新的Hive分区；将接收到的流式数据存储至新的Hive分区对应的HDFS文件中。本发明在Hive数据库表的分区信息不包含接收到的流式数据的分区信息时，通过创建新的Hive分区，将接收到的流式数据存储至新的Hive分区对应的HDFS文件中，能够提高流式数据存储的稳定性，同时保障流式数据的实时性。

技术领域

本发明涉及数据存储技术领域，尤其涉及流式数据存储方法及装置。

背景技术

本部分旨在为权利要求书中陈述的本发明实施例提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。

Apache Spark是一个快速、通用的集群计算系统，它提供了Java、Scala、Python和R语言的高级API(Application Programming Interface，应用程序接口)，以及支持一般执行图的优化引擎。它还支持一组丰富的高级工具，包括用于SQL结构化数据处理的SparkSQL、用于机器学习的MLlib、用于图形处理的GraphX及Spark Streaming。

Hadoop分布式文件系统(Hadoop Distributed File System，HDFS)是指被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统。它和现有分布式文件系统有很多共同点，但同时它和其他分布式文件系统的区别也很明显。HDFS是一个高度容错的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。

Hive数据仓库是基于Hadoop分布式文件系统的一个数据仓库，用来进行数据提取、转化、加载。这是一种可以存储、查询和分析存储在Hadoop分布式文件系统上的大规模数据的机制。Hive数据仓库能将结构化数据文件映射为一张数据库表，并提供SQL查询功能，能将SQL语句转变成MapReduce任务来执行。Hive的优点是学习成本低，可以通过类似SQL语句实现快速MapReduce统计，使MapReduce变得更加简单，而不必开发专门的MapReduce应用程序，十分适合数据仓库的统计分析和Windows注册表文件。

为了接收实时的流式数据到本地，并进一步保存、处理，大都需要将Apache Spark传入的流式数据存入Hive数据仓库。当前接收流式数据有按秒级的伪流式、也有亚秒级，这就需要以秒或分为单位将流式数据频繁的插入Hive数据仓库，因此会导致大量的任务堆积或者产生任务异常。同时，将接收流式数据与存入Hive数据仓库分为两步实现，会导致流式数据存储流程繁琐。为了解决这个问题，通常利用伪分布式，调大批处理间隔到十分钟以上。例如，每隔十五分钟存储一大批数据到Hive数据仓库。该方式虽然可以解决任务堆积的问题，但会大大降低流式数据存储的稳定性。

另外，在将Apache Spark传入的流式数据进行存储时，还可以将接收到的流式数据存储到HDFS文件中，进而将存储有流式数据的HDFS文件与表进行二次关联。但是这种二次关联需要一个额外的定时任务，或者需要一个常驻扫描路径的任务。然而，通过定时任务实现(存储流式数据的)文件与Hive表的关联，在未执行定时任务之前的该部分流式数据将无法查询到，从而使得该部分数据丧失了实时性。除此之外，通过持续扫描文件目录关联Hive表，也会降低流式数据的稳定性。

因此，现有的流式数据存储存在稳定性低和部分数据丧失实时性的问题。

发明内容

本发明实施例提供一种流式数据存储方法，用以提高流式数据存储的稳定性，保障流式数据的实时性，该流式数据存储方法包括：

获取Hive数据库表的分区信息；