[发明专利]一种数据分发方法、设备及存储介质

说明书

本发明公开了一种数据分发方法、设备及存储介质，该方法包括接收原始数据并提取原始数据对应基本特征；将所述基本特征与基本特征库进行匹配，若匹配成功，则将所述原始数据加入匹配到的基本特征库所属节点对应缓存队列；否则根据预设的配置规则将所述基本特征加入对应子节点的基本特征库；当数据满足分发要求后，将缓存队列分发到对应处理板。本发明利用数据的基本特征表征数据，作为各个分布式子节点的数据划分依据，确保数据划分清晰可靠；中心节点制定子节点工作状态，对数据进行动态划分，提高数据处理效率；利用各子节点的软件的状态反馈，实时监控软件运行状态，保证软件处于有效处理能力范围，继而提高系统运行效率。

技术领域

本发明属于数据管理分发技术领域，尤其涉及一种数据分发方法、设备及存储介质。

背景技术

在当前大数据背景下，大型信息系统各部件基于功能逐步采用结构化、易拓展的组装方式，分布式软件部署有利于软件开发和维护，在通信领域、大数据开发、人工智能等计算机领域被广泛使用。

数据分发方法对于分布式软件部署的数据传输有极大影响。在传统方法中，基于UDP和TCP/IP的点对点为常见的数据通信协议，是链路通信中底层协议。点对点通信方法应用广泛，但是无法兼顾传输效率以及可靠性，同时为了传输稳定，往往设计复杂的封装，不利于二次开发。因此，基于UDP和TCP/IP的成熟数据传输方法得到广泛关注。如Client-server(C/S)结构，可以同时满足多个客户机与统一服务器的通信需求。C/S结构通信方式为请求——响应模式，适用于数据中心化的通信框架，如数据库等，但是对于多个信息节点的应用方式，效率不高而且存在延时。在“发布——订阅”(P/S)模式下，信息仅仅在发布者和订阅者之间传递，这种方式无C/S中心化特征，但是仍存在以下问题，即数据订购方接受有效数据同时，没有考虑订购方处理负担，降低了软件运行效率并造成了数据堆积，使得无法做到实时数据处理服务。此时分发虽然完成了数据传输，但是丧失了分布式软件整体的运行效率。

发明内容

本发明的目的在于，为克服现有技术缺陷，提供了发明名称,基于不同节点处理软件工作状态，动态规划数据划分，得到数据高效分发，提高传输效率，保证传输实时性，优化子节点处理性能；进一步，将子节点的运行状态和中心节点记录的工作状态分开，软件结构清晰，避免了不同状态改变使得分发频繁切换；在分发节点提取数据基本特征，作为数据划分规则，避免数据冗余传输。

本发明目的通过下述技术方案来实现：

一种数据分发方法，其特征在于，包括以下步骤：

接收原始数据并提取原始数据对应基本特征；

将所述基本特征与基本特征库进行匹配，若匹配成功，则将所述原始数据加入匹配到的基本特征库所属节点对应缓存队列；否则根据预设的配置规则将所述基本特征加入对应子节点的基本特征库；

当数据满足分发要求后，将缓存队列分发到对应处理板。

进一步的，所述匹配具体包括距离度量，在基本特征库预设的门限内计算相似度，查找与基本特征最近的子节点。

进一步的，在数据分发时，对数据分发状态进行监督决策。

进一步的，所述监督决策包括对各个节点的运行状态和工作状态监督决策。

进一步的，所述运行状态和工作状态监督决策包括以下步骤：

接收并上报运行状态；

对运行状态进行类别划分，包括空闲处理状态、正常处理状态和繁忙处理状态；

对空闲处理状态和繁忙处理状态的节点执行运行状态转换，使空闲处理状态和繁忙处理状态的节点转换为正常处理状态的节点。

进一步的，所述对运行状态进行类别划分具体包括根据当前CPU、内存使用率、输入数据的个数和缓存个数对运行状态进行类别划分。