[发明专利]一种开放式大数据处理系统、方法及介质

说明书

本申请涉及一种开放式大数据处理系统、方法及介质。所述系统包括：资源虚拟层，用于关联和管理全局数据空间中的物理数据，其中，全局数据空间包括各处理对象相关的物理数据；内核公共服务层，与资源虚拟层连接，用于对开放式大数据处理系统的处理任务的管理、对处理形成接口的管理及对用户权限的管理；软件开发工具包层，与内核公共服务层连接，用于构建主题数据资产或管理应用研发服务，其中，主题数据为依据业务目标导向的离线和/或实时的多种类业务场景数据。本申请可以高效管理各类处理对象，有效帮助社会单位快速形成核心数据资产，支持数据应用服务，提供智能软件研发框架，大大提升了数据处理的效率。

技术领域

本申请涉及数据处理技术领域，更为具体来说，本申请涉及一种开放式大数据处理系统、方法及介质。

背景技术

随着数字化产业的推进，建设数字强国已被列入国家的规划纲要中。但在数字化实施进程中面临诸多的问题，由于各类社会单位对信息化的规划不够清晰，导致烟囱式信息系统普遍存在，使得海量异构软硬件资源无法得到有效管理。行业企业缺少统一数据基础设施建设，企业内的各个信息系统，以及行业中不同企业或组织间的系统，无法互联互通，形成了大量的信息孤岛。

总之出现大量的问题，例如数据搬家多，数据找不到，数据读不懂，数据获取难，数据不敢信，等等，这些问题也成了各类社会单位难以形成自身核心数据资产的痛点。

发明内容

基于上述技术问题，本发明旨在使数据处理打破数据孤岛，使数据处理支撑数字化软件研发，并使数据处理实现数据随需共享应用。本发明提供了一种大数据处理系统及方法，可以看做是一款面向数据互联场景的“泛在操作系统”，在辅助社会单位数字化进程中能起到向下管理海量异构软件资源，向上凝练各类业务应用的共性并为上层应用提供开发和运行支撑的作用。

本申请实施例提供了开放式大数据处理系统、方法、计算机可读存储介质及计算机程序产品。为了对披露的实施例的一些方面有一个基本的理解，下面给出了简单的概括。该概括部分不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围。其唯一目的是用简单的形式呈现一些概念，以此作为后面的详细说明的序言。

本发明第一方面提供了一种开放式大数据处理系统，包括：

资源虚拟层，用于关联和管理全局数据空间中的物理数据，其中，所述全局数据空间包括各处理对象相关的物理数据；

内核公共服务层，与所述资源虚拟层连接，用于对所述开放式大数据处理系统的处理任务的管理、对处理形成接口的管理及对用户权限的管理；

软件开发工具包层，与所述内核公共服务层连接，用于构建主题数据资产或管理应用研发服务，其中，所述主题数据为依据业务目标导向的离线和/或实时的多种类业务场景数据。

具体地，所述软件开发工具包层包括主题数据资产构建与运维管理平台或开放式应用研发服务管理平台。

优选地，所述主题数据资产构建与运维管理平台还包括数据业务服务资源平台，所述数据业务服务资源平台包括数据服务构建工具集、业务服务构建共性组件和资源库。

进一步地，所述资源虚拟层在用于关联全局数据空间中的物理数据时，具体包括：

当要关联全局数据空间中的第一物理数据时，在所述资源虚拟层建立逻辑表，其中，所述逻辑表存储关联到所述第一物理数据的路径；

当要关联全局数据空间中的第二物理数据时，所述资源虚拟层通过人工智能算法自动辅助解析所述第二物理数据的语义结构且关联所述第二物理数据。

进一步地，所述内核公共服务层在用于对所述开放式大数据处理系统的任务管理时，具体包括：

监控用户提交的任务申请；

对所述任务申请通过调度算法进行调度。