[发明专利]一种基于血缘关系分布的数据缓存方法、系统

说明书

本申请公开了一种基于血缘关系分布的数据缓存方法、系统，该方法包括：确定业务领域中部署的微服务单元，并确定与所述微服务单元对应的数据节点组成的分布式数据缓存系统；根据数据所属的业务领域，以及数据之间的关联关系，确定数据的血缘关系；根据所述数据的血缘关系，将所述数据分布到所述分布式数据缓存系统中的相应节点中；根据所述节点中数据的类型，确定所述数据对应的缓存存储策略，并按照所述缓存存储策略，对所述数据进行存储。

技术领域

本申请涉及数据处理领域，尤其涉及一种基于血缘关系分布的数据缓存方法、系统。

背景技术

信息系统产生了海量的数据，有数据必须要有数据的存放位置，当前提供跨数据源查询分析及数据计算服务的通用数据分析产品，基本上都使用关系型数据库作为其统一的数据汇聚中心。

关系型数据库是建立在关系模型基础上的数据库，它的优势在于，可以保持数据的一致性；数据更新的开销小；关系模型相对网状、层次等其他模型来说更容易理解；通用的SQL语言使得操作关系型数据库非常方便，可以进行join等复杂查询。

但是面临数据规模越来越大的情况，关系数据库的数据存储不具备弹性扩展能力，计算的扩展能力也有限，不支持并行计算，并且大量相关的、无关的数据及索引等占据大量存储空间，且对计算性能的要求越来越高，在此基础上进行复杂的关联查询、计算势必会有性能问题。

发明内容

本发明提供了一种基于血缘关系分布的数据缓存方法、系统，解决了上述技术问题。

一种基于血缘关系分布的数据缓存方法，包括：

确定业务领域中部署的微服务单元，并确定与所述微服务单元对应的数据节点组成的分布式数据缓存系统；

根据数据所属的业务领域，以及数据之间的关联关系，确定数据的血缘关系；

根据所述数据的血缘关系，将所述数据分布到所述分布式数据缓存系统中的相应节点中；

根据所述节点中数据的类型，确定所述数据对应的缓存存储策略，并按照所述缓存存储策略，对所述数据进行存储。

在本申请的一种实施例中，根据数据所属的业务领域，以及数据之间的关联关系，确定数据的血缘关系，具体包括：

根据对业务领域数据的生命周期进行监控，通过查询数据流向和历史记录确定数据的族系；

根据数据的具体计算范围、关联条件，确定数据之间的血缘亲近度，进而确定数据的血缘关系。

在本申请的一种实施例中，根据缓存分布把计算任务分发到对应的节点上进行并行计算，并汇聚各个节点的计算结果输出。

在本申请的一种实施例中，根据所述节点中数据的类型，确定所述数据对应的缓存存储策略，具体包括：

判断节点中的数据的属性类型，若所述数据为原始数据类型或结果数据类型，则将其进行持久化缓存，若所述数据为中间数据类型，则将其存储在内存中。

在本申请的一种实施例中，在同组数据节点内的数据根据关键应用或所述微服务单元的特点启用默认的缓存分布策略，根据数据类别划分维度，形成维表，并将所述数据进行分区存储。

在本申请的一种实施例中，根据所述业务领域的数据量，配置所述业务领域中的微服务单元以及相应的数据节点；

根据所述业务领域的数据量的变化，调整所述相应的数据节点的数量。

在本申请的一种实施例中，将所述节点中的数据复制到同组内的另一个或多个节点进行备份。

在本申请的一种实施例中，设定缓存更新策略；

所述缓存更新策略包括：实时对数据进行更新，定时对数据进行抽取更新；