[发明专利]一种数据管理方法及其装置

说明书

技术领域

本发明涉及计算机技术，尤指一种数据管理方法及其装置。

背景技术

随着现在的科技发展，人们之间的信息流通也在日趋增多，从而产生了种类繁多和数量繁多的数据。

通常在公安行业中，记录保存有多种类型的数据，其中，该数据至少可以包括：人员档案基本信息、案件信息、住宿信息、网吧上网人员信息、车站机场上下客信息。在办案人员处理案件的过程中，需要掌握与案件有关的所有数据才能对案件做出正确的判断，因此办案人员需要分别去不同的部门对案件有关的数据进行调取和查询，例如，需要去户籍部门获取案件相关人员的户籍信息，并需要去刑侦部门获取案件相关人员过往案件信息，还需要去交警部门获取案件相关人员的行车信息。

然而，由于不同部门之间的数据是隔离的，导致办案人员花费大量时间在数据的调取与查询上，从而导致获取数据的效率较低。

发明内容

为了解决上述技术问题，本发明提供了一种数据管理方法及其装置，用以解决获取数据的效率较低的问题。

为了达到本发明目的，本发明提供了一种数据管理方法，包括：

获取至少两种类型数据中的相关数据，所述相关数据之间存在至少一个相同的字段；

对所述相关数据进行处理，将处理后获得的数据文件存储到数据库HBase；

根据所述数据文件，建立所述数据文件与搜索服务器ES的映射关系，以使通过所述ES获取存储在所述HBase中的所述数据文件。

进一步的，所述根据所述数据文件，建立所述数据文件与ES的映射关系，包括：

将所述HBase中所述数据文件的索引标识存储到ES，所述索引标识至少包括在所述HBase中所述数据文件的主键。

进一步的，所述对所述相关数据进行处理，将处理后获得的数据文件存储到数据库HBase，包括：

将所述相关数据进行处理，获得可扩展标记语言Xml格式的数据文件；

根据所述Xml格式的数据文件，将所述Xml格式的数据文件存储到所述Hbase。

进一步的，所述根据所述数据文件，建立所述数据文件与ES的映射关系之后，还包括：

获取搜索信息，所述搜索信息用于获取所述HBase中的所述数据文件；

根据所述搜索信息，获取通过ES确定的所述数据文件。

进一步的，所述获取至少两种类型数据中的相关数据，包括：

通过数据同步工具，获取至少两个数据库中所述至少两种类型数据的相关数据。

本发明还提供了一种数据管理装置，包括：

获取模块，用于获取至少两种类型数据中的相关数据，所述相关数据之间存在至少一个相同的字段；

存储模块，用于对所述相关数据进行处理，将处理后获得的数据文件存储到数据库HBase；

处理模块，用于根据所述数据文件，建立所述数据文件与搜索服务器ES的映射关系，以使通过所述ES获取存储在所述HBase中的所述数据文件。

进一步的，所述处理模块，用于将所述HBase中所述数据文件的索引标识存储到ES，所述索引标识至少包括在所述HBase中所述数据文件的主键。

进一步的，所述存储模块，用于将所述相关数据进行处理，获得可扩展标记语言Xml格式的数据文件；根据所述Xml格式的数据文件，将所述Xml格式的数据文件存储到所述Hbase。

进一步的，所述获取模块，还用于获取搜索信息，所述搜索信息用于获取所述HBase中的所述数据文件；根据所述搜索信息，获取通过ES确定的所述数据文件。

进一步的，所述获取模块，用于通过数据同步工具，获取至少两个数据库中所述至少两种类型数据的相关数据。

与现有技术相比，本发明至少包括获取至少两种类型数据中的相关数据，所述相关数据之间存在至少一个相同的字段；对所述相关数据进行处理，将处理后获得的数据文件存储到数据库HBase；根据所述数据文件，建立所述数据文件与ES的映射关系，以使通过所述ES获取存储在所述HBase中的所述数据文件。实现了在一数据库HBase中获取不同类型数据，从而避免了在不同数据库获取数据，进而提高了获取数据的效率。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

附图说明