[发明专利]分布式系统的数据提取方法、装置、服务器和存储介质

说明书

本发明公开了分布式系统的数据提取方法，包括：从新增数据中提取第一数据和第一数据关系，所述第一数据关系为第一数据之间的第一关联关系；获取历史数据，所述历史数据包括第二数据和第二数据关系，所述第二数据关系为第二数据之间的第二关联关系；对所述第一数据和第二数据进行匹配，同时对所述第一数据关系和第二数据关系进行匹配，以生成匹配结果；根据所述匹配结果将所述新增数据和所述历史数据合并后进行存储发明名称。还公开了分布式系统的数据提取装置、服务器和存储介质。本发明通过将新增数据和历史数据进行合并，使增量数据的数据关系更快捷提取。

技术领域

本发明实施例涉及数据提取技术，尤其涉及一种分布式系统的数据提取方法、装置、服务器和存储介质。

背景技术

随着计算机技术的发展，系统需要处理的数据量一直在不断增长，需要提取的数据之间的关联关系也越来越多。

现有技术采用全量数据提取，当数据量较大时，在一个定时周期内无法完成大量增量数据提取，数据先全量存储后定时批处理全量提取关联关系的方式需要的处理时间很长，很可能出现在一个定时周期内不能够完成全量数据提取的情况，需要采用一种增量处理的方式解决大量数据提取的问题。

发明内容

本发明提供一种分布式系统的数据提取方法、装置、服务器和存储介质，以实现在分布式系统中方便快速提取增量数据。

第一方面，本发明实施例提供了一种分布式系统的数据提取方法，包括如下步骤：

从新增数据中提取第一数据和第一数据关系，所述第一数据关系为第一数据之间的第一关联关系；

获取历史数据，所述历史数据包括第二数据和第二数据关系，所述第二数据关系为第二数据之间的第二关联关系；

对所述第一数据和第二数据进行匹配，同时对所述第一数据关系和第二数据关系进行匹配，以生成匹配结果；

根据所述匹配结果将所述新增数据和所述历史数据合并后进行存储。

第二方面，本发明实施例还提供了一种分布式系统的数据提取装置，其特征在于，包括如下模块：

第一获取模块，用于从新增数据中提取第一数据和第一数据关系，所述第一数据关系为第一数据之间的第一关联关系；

第二获取模块，用于获取历史数据，所述历史数据包括第二数据和第二数据关系，所述第二数据关系为第二数据之间的第二关联关系；

匹配模块，用于对所述第一数据和第二数据进行匹配，同时对所述第一数据关系和第二数据关系进行匹配，以生成匹配结果；

存储模块，用于根据所述匹配结果将所述新增数据和所述历史数据合并后进行存储。

第三方面，本发明实施例还提供了一种服务器，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，其特征在于，所述处理器执行所述程序时实现如上述任一所述的分布式系统的数据提取方法。

第四方面，本发明实施例还提供了一种终端可读存储介质，其上存储有程序，其特征在于，所述程序被处理器执行时能够实现如上述任一所述的分布式系统的数据提取方法。

本发明通过从新增数据中提取第一数据和第一数据关系、从历史数据中获取第二数据和第二数据关系，将新增数据与历史数据进行匹配，将新增数据的数据关系与历史数据的数据关系相匹配，生成新的总量数据和新的总量数据关系并保存，实现了在分布式系统中对大量新增数据的数据和数据关系的提取，使数据提取减少耗时，更快捷。

附图说明

图1是本发明实施例一中的分布式系统的数据提取方法的流程图。

图2是本发明实施例二中的分布式系统的数据提取方法的流程图。