[发明专利]数据资源分配处理方法、装置、设备及存储介质

说明书

本发明涉及大数据技术领域，应用于智慧医疗领域中，公开了一种数据资源分配处理方法、装置、设备及存储介质，用于提高数据处理流程的规范性。数据资源分配处理方法包括：通过对初始运行资源与预设的分布式系统建立资源队列映射关系，得到目标运行资源；对目标应用分配目标运行资源；对目标应用设置目标业务流程，按照预设的权限策略对目标业务流程设置目标数据任务，对目标数据任务进行任务共享；通过目标数据任务对预设的各数据层进行实时数据挖掘处理，并在目标应用对应的工作空间下生成各数据层对应的目标数据表，对各数据层对应的目标数据表进行数据共享。此外，本发明还涉及区块链技术，目标数据表可存储于区块链节点中。

技术领域

本发明涉及大数据的资源分配领域，尤其涉及一种数据资源分配处理方法、装置、设备及存储介质。

背景技术

目前市场大数据产品众多，针对实时数据处理包括实时流式处理框架，实时流式处理框架包括storm、spark stream、flink等框架。大多公司都在这些框架上建立实时数据处理平台。

现有的实时数据处理平台具备按照多租户实现资源隔离和资源管控能力，但是由于对接多数据源，数据处理流程存在多样化，使得实时数据处理平台构建数仓体系分层时，存在数据处理流程规范性差，以及数据资产可读性和复用性差的问题。

发明内容

本发明提供了一种数据资源分配处理方法、装置、设备及存储介质，用于提高数据处理流程的规范性，以及数据资产的可读性和复用性。

为实现上述目的，本发明第一方面提供了一种数据资源分配处理方法，包括：接收资源配置请求，按照所述资源配置请求生成初始运行资源，对所述初始运行资源与预设的分布式系统建立资源队列映射关系，得到目标运行资源，所述目标运行资源具有唯一的目标租户标识；接收应用创建请求，按照所述应用创建请求生成目标应用，并根据应用标识和所述目标租户标识对所述目标应用分配所述目标运行资源，所述目标应用具有唯一的应用标识和唯一的工作空间，所述工作空间用于指示按照文档对象的方式分别对各数据表、各数据任务、各数据组件和各数据函数存储定义；接收业务流程生成请求，根据所述业务流程生成请求对所述目标应用设置目标业务流程，按照预设的权限策略对所述目标业务流程设置目标数据任务，当开启数据共享任务时，对所述目标数据任务进行任务共享；基于所述目标运行资源运行所述目标数据任务，通过所述目标数据任务对预设的各数据层进行实时数据挖掘处理，并在所述目标应用对应的工作空间下生成各数据层对应的目标数据表，当开启数据共享任务时，对各数据层对应的目标数据表进行数据共享，各数据层对应的目标数据表包括数据源表、维度表和数据结果表。

可选的，在本发明第一方面的第一种实现方式中，所述接收资源配置请求，按照所述资源配置请求生成初始运行资源，对所述初始运行资源与预设的分布式系统建立资源队列映射关系，得到目标运行资源，所述目标运行资源具有唯一的目标租户标识，包括：接收资源配置请求，对所述资源配置请求进行参数解析，得到目标租户标识、待分配资源信息和队列标识；按照所述目标租户标识查询预设的资源配置信息，得到查询数据；若所述查询数据不为空值，则根据所述待分配资源信息和所述查询数据配置初始运行资源；若所述查询数据为空值，则按照所述待分配资源信息划分预设的计算资源，得到初始运行资源，并将所述目标租户标识和所述初始运行资源映射存储至预设的资源分配数据表中；按照所述目标租户标识和所述队列标识对所述初始运行资源和预设的分布式系统建立资源队列映射关系，得到目标运行资源，所述目标运行资源具有唯一的目标租户标识。

可选的，在本发明第一方面的第二种实现方式中，所述若所述查询数据不为空值，则根据所述待分配资源信息和所述查询数据配置初始运行资源，包括：若所述查询数据不为空值，则判断所述待分配资源信息和所述查询数据是否一致；若所述待分配资源信息和所述查询数据一致，则确定所述查询数据为初始运行资源；若所述待分配资源信息和所述查询数据不一致，则根据所述待分配资源信息进行扩容或缩容处理，得到初始运行资源，并按照所述目标租户标识将所述初始运行资源更新至所述预设的资源分配数据表中。