[发明专利]一种智能数据感知的数据任务分配处理系统与方法

说明书

本发明公开了一种智能数据感知的数据任务分配处理系统与方法，其特征在于：多个数据感知模块(1)、大数据处理模块(2)、数据存储模块(3)、数据任务分配调度模块(4)和数据异常报警模块(5)；其中，所述数据任务分配调度模块(4)分别和数据感知模块(1)、大数据处理模块(2)、数据存储模块(3)、和数据异常报警模块(5)数据通信连接。本申请的智能数据感知的数据任务分配处理系统与方法，对多个数据进行大数据的分析，形成数据的合理预期，以便去约束数据的有效性，保证多个数据的安全性。

技术领域

本发明涉及数据任务分配处理技术领域，具体为一种智能数据感知的数据任务分配处理系统与方法。

背景技术

随着技术高速发展，人们的社会依据从传统的技术阶段进入智能化控制阶段，即利用各种传感设备获取信息，并利用获取的各种传感数据去判断设备的运行状态，并基于设备的运行状态利用中央决策控制模块去分析和判断，做出决策，从而实现智能化的处理；

而为了实现智能化控制，需要管理各种传感数据，以及管理各种传感设备，这对中央处理器的运算处理能力要求很高，并且数据管理和任务分配辅助；同时，在各数据传感设备中，由于没有中央处理器的很好协调，容易导致数据慢，或者响应错误，甚至发生死机事件。显然，这一方面，会影响智能化设备的运行，运行效果不好。由于多个设备的处理之间没有连动性，导致数据处理的混乱，也不利于进一步优化设备。在现有技术中，也存在类似的对传感设备的管理和数据处理任务的专利申请，如：

专利CN103164261A公开一种多中心数据任务处理方法、装置及系统。其中该方法包括：A、采集数据任务信息；B、根据所述数据任务信息生成数据任务模型图，对所述数据任务模型图进行切割，即对所述数据任务模型图中的所有节点分组，其中，所述数据任务模型图中的节点为各个数据任务；C、将不同组的数据任务部署到相应的数据中心。该发明的多中心数据任务处理方法、装置及系统，通过建立体现数据任务之间的关联关系的模型，基于该模型进行多中心任务分配，使得任务分配更加的直观准确，更加均衡。避免数据的大量迁移和冗余，各个中心之间传输的数据量较小，降低网络负荷的压力，提高总体的数据处理效率，保证多个数据中心之间负荷基本相同。

专利申请CN107315627A公开了自动化配置数据仓库并行任务队列的方法和装置、电子设备和计算机可读介质，其方法包括：采集用户的任务在数据仓库中运行的历史数据；对所述历史数据进行处理，统计出任务的资源占用时长；根据所述资源占用时长对所述任务进行排序；根据排序的结果以及用户的资源进程数，将任务分配到任务队列中。

专利CN112714909A公开了用于对合成数据任务进行分类并且在合格资源组之间协调资源分配以用于处理合成数据任务的各种技术。所接收的合成数据任务可以通过标识任务类别以及用于处理任务类别中的合成数据任务的对应合格资源组(例如，处理器)来进行分类。例如，合成数据任务可以包括源资产的生成、源资产的摄取、变化参数的标识、变化参数的变化以及合成数据的创建。某些类别的合成数据任务可以被分类，以使用特定合格资源组来进行处理。例如，摄取合成数据资产的任务可以被分类用于仅在CP∪上处理，而创建合成数据资产的任务可以被分类用于仅在GP∪上处理。合成数据任务可以被排队并且被路由以用于由合格资源处理。

专利申请CN109087061A公开一种数据任务分配方法、装置、设备及介质，用以解决现有的众包技术的服务质量较低的问题。具体为：接收任务执行请求；根据发起任务执行请求的任务执行用户已执行的第一类数据任务，确定任务执行用户的用户属性，其中，第一类数据任务为具有标准执行结果的数据任务；基于任务执行用户的用户属性，为任务执行用户分配待处理的第二类数据任务。这样，利用任务执行用户已执行的第一类数据任务来确定用户属性，能够得到较为准确的用户属性，进而就能够根据得到的用户属性，为任务执行用户分配数据任务，从而实现了数据任务的定向分配，提高了众包平台的服务质量。