[发明专利]数据管理方法及装置

说明书

本公开涉及一种数据管理方法及装置，包括采集指定对象的数据，并存储到不同的数据源中，不同的数据源中存储的所述指定对象的数据中均包括所述指定对象的唯一标识；针对任一数据源存储的所述指定对象的数据，将该指定对象的数据存储到Hbase表的一行，其中，根据所述指定对象的唯一标识生成该行的行键，将该指定对象的数据存储在该行的列中。通过将不同数据源的指定对象的数据存储在指定对象的唯一标识对应的行键的列中，根据本公开实施例的数据管理方法及装置能够从不同的数据源中一次性提取出完整的内容。

技术领域

本公开涉及数据库技术领域，尤其涉及一种数据管理方法及装置。

背景技术

医疗机构通过对医疗大数据进行分析，可以有针对性的进行研究，进而提高工作效率和诊疗质量。

相关技术中，在对数据源进行非结构化到结构化提取的过程中，可以针对不同类型的数据源、以及同类型数据源的不同提取方向，采用不同的方式分别进行提取，之后将提取结果分别存入MPP(Massively Parallel Processing，海量并行架构)数据仓库中进行汇总。例如，对于XML(Extensible Markup Language，可扩展标记语言)类型的数据(例如入院表、手术表、出院表和病程记录等)，可以采用Python程序解析后导入Hbase数据库中进行处理；对于CSV格式的数据(例如病案表、病历表等)，可以直接导入Hbase数据库中进行处理；对于SQL Server类型的数据，(例如彩超表、医嘱表等)可以通过Kettle存放到Hbase数据库中进行处理。从Hbase取出的数据经过解析可以得到的结构化数据，这些结构化数据可以分别存入MPP数据仓库中进行汇总。

然而，上述的提取方式得到的数据是分散的，没有连接起来，可能出现数据提取不完整的问题，且在对于提取错误的记录人工核实起来也比较困难。例如，在分开进行提取的过程中，提取到了一个病人的入院表，但未提取到该病人的出院表，造成数据的提取质量有问题。

发明内容

有鉴于此，本公开提出了一种数据管理方法及装置，能够从不同的数据源中一次性提取出完整的内容。

根据本公开的一方面，提供了一种数据管理方法，包括：采集指定对象的数据，并存储到不同的数据源中，不同的数据源中存储的所述指定对象的数据中均包括所述指定对象的唯一标识；针对任一数据源存储的所述指定对象的数据，将该指定对象的数据存储到Hbase表的一行，其中，根据所述指定对象的唯一标识生成该行的行键，将该指定对象的数据存储在该行的列中。

根据本公开的另一方面，提供了一种数据管理装置，采集模块，用于采集指定对象的数据，并存储到不同的数据源中，不同的数据源中存储的所述指定对象的数据中均包括所述指定对象的唯一标识；存储模块，用于针对任一数据源存储的所述指定对象的数据，将该指定对象的数据存储到Hbase表的一行，其中，根据所述指定对象的唯一标识生成该行的行键，将该指定对象的数据存储在该行的列中。

通过采用指定对象的唯一标识将指定对象的数据存储到不同的数据源中；针对任一数据源存储的所述指定对象的数据，将该指定对象的数据存储到Hbase表的一行，且该行的行键为根据所述唯一标识生成的行键，根据本公开的各方面实施例的数据管理方法及装置通过指定对象的唯一标识关联来自不同数据源的指定对象的数据，使来自不同数据源的指定对象的数据成为具有相同标识的数据，从而使这些指定对象的数据都能够根据该唯一标识在一次处理中全部提取出来，而不是一部分一部分的分开提取，保证了数据提取的完整性。

根据下面参考附图对示例性实施例的详细说明，本公开的其它特征及方面将变得清楚。

附图说明

包含在说明书中并且构成说明书的一部分的附图与说明书一起示出了本公开的示例性实施例、特征和方面，并且用于解释本公开的原理。

图1示出根据本公开一实施例的数据管理方法的流程图；