[发明专利]一种基于数据分布的大数据查询方法

说明书

本发明提供一种基于数据分布的大数据查询方法，涉及大数据查询技术领域。一种基于数据分布的大数据查询方法，首先对待查询的数据划分数据段，并根据加速比计算整体数据段的段势分布函数，以确定各数据段的数量比例关系；然后根据约束条件将待查询数据装载到各数据段内；最后根据用户查询请求的时限要求，采用数据段选择算法确定参与查询的数据段，并返回查询结果及实际查全率和置信度。本发明提供的基于数据分布的大数据查询方法，保证了分布式环境下各类查询的随机性、性能和近似性评价，并兼容精确查询，且新增数据不会影响查询效果，具备良好的扩展性和可维护性。

技术领域

本发明涉及大数据查询技术领域，尤其涉及一种基于数据分布的大数据查询方法。

背景技术

人、机、物三元世界的高度融合引发了数据规模的爆炸式增长和数据模式的高度复杂化，世界已进入网络化的大数据(Big Data)时代。面对如此庞大的数据量，如何能在可容忍的时间范围内找到目标数据至关重要。

早期对查询处理技术的研究主要集中在对精确查询的优化与调度，而且已取得大量成果。但是如果当今仍然采用传统精确的查询技术处理海量数据，一方面查询算法难以进一步优化，另一方面精确查询任务将会显得极其繁重，从而导致整个查询的响应时间超过用户可以接受的限度。此外，缩小搜索范围(Search Scope)是优化查询的主要思路，传统的数据分区和索引技术可以精确的缩小搜索范围，提高查询命中率，然而这些技术都依赖数据值域的良好划分和精细的数据结构，在大数据环境中维护一个精确的数据分区和索引的代价很高。如果能在海量数据中找到自己想要的、非重复的结果且拥有一个理想的响应时间，那么对于解决当代社会的许多关键问题都有帮助。

很多实际应用中，人们并不需要精确的查询结果，仅需要满足一定精度要求的近似的查询结果，或可以适当损失查询精度来满足性能要求。如人们在机场通过GPS定位服务寻找附近几个最近的餐馆时，他们并不需求非常精确的数据，相反他们对响应时间的要求会更高。对于一般查询，查准率比查全率更为重要，如用户能够容忍查询返回的餐馆并非匹配条件的所有餐馆，但难以接受查询结果中包含不匹配查询条件的餐馆，这一点在大数据查询中尤为明显。

发明内容

针对现有技术的缺陷，本发明提供一种基于数据分布的大数据查询方法，通过约简搜索范围来提高查询性能。

一种基于数据分布的大数据查询方法，包括以下步骤：

步骤1、将待查询的数据按数据量划分为数据段，并计算整体数据段的段势分布函数，划分数据段需符合以下两条特定规律：①各数据段中的数据量满足比例关系；②划分算法具有扩展性，需同时适用于历史数据和新增数据；

步骤1.1、定义数据段；将待查询数据划分为w个数据段s₁,s₂,…,s_w，一个数据段对应一个或多个数据块；

步骤1.2、定义段势；数据段中的数据量和待查询的数据总量之间的比值称为段势，因此，第k个数据段s_k的段势为||s_k||＝|s_k|/(|s₁|+|s₂|+…+|s_w|)，1≤k≤w，其中|s_k|表示数据段s_k中的数据量；编号为k的数据段的段势为或(G(k)-G(k-1))/G(w)，其中，函数g(x)为段势分布函数，x∈[0,w]，G(x)是g(x)的原函数；

步骤1.3、根据加速比计算段势分布函数，以确定各数据段的数量比例关系，具体方法为：

分布式系统中，并行查询方法所能获得的加速比为：