[发明专利]一种面向Spark-Sql检索的元数据实时更新方法

说明书

本发明涉及一种面向Spark‑Sql检索的元数据实时更新方法。该方法在Spark Sql进行检索时，会将使用的元数据进行缓存，将被检索的数据块文件元数据以集合的形式缓存于内存中；当获得文件元数据的增量信息时，将首先检查该增量信息所属的表的检索元数据是否存在于缓存之中，若存在，则将增量的文件元数据增加至缓存的该表文件元数据的集合之中，由此完成Spark Sql检索元数据的增量更新。本发明还提出了对Spark Sql检索元数据增加情况的处理方法，可以实时的对检索元数据的增加情况进行处理，提高检索结果的实时性。本发明可以避免对检索元数据进行经常性的全量更新，以减少更新元数据时的时间和资源开销。

技术领域

本发明涉及一种面向Spark Sql检索的元数据实时更新方法，可提高Spark Sql检索海量数据时的结果实时性及运行性能，属于大数据处理领域。

背景技术

随着计算机技术的不断发展和信息化程度的不断提高，数据量迅速增长，面向海量数据存储及应用也随之蓬勃发展。如，在网络安全上，使用大数据技术分析网络攻击行为；在电子商务上，使用大数据技术分析用户购物喜好或最受青睐的商品。大数据技术在建设节约型社会，提高生成效率等方面起到了积极的推动作用。

在海量数据检索应用中，Apache基金会的分布式检索框架Spark Sql提供了同Hive的HiveQL接口，其具有较高的效率及可用性，作为一种优秀的大数据检索方法，在该领域被广泛的使用。Spark Sql中对检索中使用过的元数据进行了缓存，该缓存有效的提高了对相同数据进行多次查询时的效率，但也存在问题。当检索使用的元数据发生变化时，Spark Sql框架会将原缓存全部弃用，重新加载全量的检索元数据，这在海量数据规模下会造成较大的时间和资源开销。在元数据经常变换的业务场景下，频繁更新检索元数据造成了Spark Sql出现性能瓶颈，是使用Spark Sql进行检索的一个关键问题。随着数据量的不断增加和大数据技术的不断发展，Spark Sql的原生元数据更新方法出现性能瓶颈，其效率直接的影响了业务应用。

发明内容

为了解决上述Spark Sql使用中所出现的关键问题，本发明的目的是提供一种面向SparkSql检索的元数据实时更新方法，能够有效的降低Spark Sql检索进行元数据更新时的资源开销和时间开销，提高Spark Sql检索时的效率和实时性。

本发明采用的技术方案如下：

一种面向Spark Sql检索的元数据实时更新方法，包括以下步骤：

1)在Spark Sql进行检索时，将被检索的数据块的文件元数据以集合的形式进行缓存；

2)当获得文件元数据的增量信息时，检查该增量信息所属的表的文件元数据是否存在于缓存之中，若存在，则将增量信息中的文件元数据增加至缓存的文件元数据的集合之中，从而完成Spark Sql检索的文件元数据的增量更新。

进一步地，步骤2)获得文件元数据的增量信息的方法是：在Spark Sql框架启动时，同时启动一个附属的Http服务，用于监听和接收有关Spark Sql文件元数据增加的请求，该请求中附带新增的文件元数据的信息。

进一步地，当该Http服务接收到增加Spark Sql文件元数据的Http请求后，从接收到的请求中解析出所要新增的文件元数据的信息。

进一步地，在数据文件的加载过程中，记录加载行为对文件元数据所造成的变换。

进一步地，在加载结束后，对文件元数据是否变化进行判断，若判断导致文件元数据出现了变化，则向所述Http服务发送相应的增加Spark Sql文件元数据的请求，并附带上所记录的文件元数据的变化情况，以使被检索数据的文件元数据能够在数据文件加载过程中进行实时增量更新。

本发明的有益效果如下：