[发明专利]数据文件的关联查询方法及装置

说明书

本发明公开了一种数据文件的关联查询方法及装置，涉及数据处理技术领域，用于解决现有数据文件的关联查询效率低的问题，本发明的主要技术方案为：确定待关联查询数据文件中数据量最小的数据文件；所述待关联查询数据文件分布在分布式文件系统的各个节点中；从所述各个节点查找所述数据量最小的数据文件中的数据；将查找到的所述数据量最小的数据文件中的数据广播至所述各个节点；根据各个节点中的数据对所述待关联查询数据文件进行关联查询。本发明主要用于关联查询数据文件。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种数据文件的关联查询方法及装置。

背景技术

随着系统数据的越来越大，分布式文件系统应运而生，分布式文件系统是由一组数据组成的，这组数据分布在网络系统的不同节点上。工作人员在进行数据查询时，有时为了得到更加完整的结果，需要从两个或者多个数据文件中进行数据查询获取查询结果，而在做大数据开发的时候，数据文件不是存储在一个节点上的，而是分布在很多节点上，因此在做数据查询时需要搜集分布在各个节点的数据文件，然后对搜集的数据文件进行查询。

目前，实现数据文件的关联查询方式是通过查询所有节点，搜集待查询数据文件的所有数据，然后直接对搜集的待查询数据文件进行关联查询。但是当待查询数据文件过大时，搜集各个节点的数据会耗费大量的时间，因此现有的数据文件的关联查询效率低。

发明内容

鉴于上述问题，提出了本发明，以便提供一种克服上述问题或者至少部分地解决上述问题的数据文件的关联查询方法及装置。

为达到上述目的，本发明主要提供如下技术方案：

一方面，本发明实施例提供了一种数据文件的关联查询方法，该方法包括：

确定待关联查询数据文件中数据量最小的数据文件；所述待关联查询数据文件分布在分布式文件系统的各个节点中；

从所述各个节点查找所述数据量最小的数据文件中的数据；

将查找到的所述数据量最小的数据文件中的数据广播至所述各个节点；

根据各个节点中的数据对所述待关联查询数据文件进行关联查询。

另一方面，本发明实施例还提供一种数据文件的关联查询装置，该装置包括：

确定单元，用于确定待关联查询数据文件中数据量最小的数据文件；所述待关联查询数据文件分布在分布式文件系统的各个节点中；

查找单元，用于从所述各个节点查找所述数据量最小的数据文件中的数据；

广播单元，用于将查找到的所述数据量最小的数据文件中的数据广播至所述各个节点；

查询单元，用于根据各个节点中的数据对所述待关联查询数据文件进行关联查询。

借由上述技术方案，本发明实施例提供的技术方案至少具有下列优点：

本发明实施例提供的一种数据文件的关联查询方法及装置，首先确定待关联查询数据文件中数据量最小的数据文件，其中所述待关联查询数据文件分布在分布式文件系统的各个节点中，然后从所述各个节点查找所述数据量最小的数据文件中的数据，再将查找到的所述数据量最小的数据文件中的数据广播至所述各个节点，最后根据各个节点中的数据对所述待关联查询数据文件进行关联查询。与目前通过搜集待查询数据文件的所有数据，然后对待查询数据文件直接进行关联查询相比，本发明实施例首先通过确定待关联查询数据文件中数据量最小的数据文件，然后从各个节点查找数据量最小的数据文件中的数据，再将查找到的数据量最小的数据文件中的数据广播至所述各个节点，最后根据各个节点中的数据对待关联查询数据文件进行关联查询，从而减少了查找待关联查询数据文件所需要的时间，进而提高了数据文件的关联查询效率。

附图说明