[发明专利]一种基于大数据的数据处理系统及方法

说明书

本发明涉及一种基于大数据的数据处理方法包括：步骤S101，获取各数据的数据特征以对数据进行分类；步骤S102，根据各种类数据的实际数量选择发送该种类数据的数据发送通道的数量；步骤S103，根据数据种类确定发送对应种类数据的数据发送通道的数量，并传输对应种类的数据；步骤S104，获取各数据发送通道的实际传输速度，并根据各数据发送通道的实际传输速度选择性对传输的数据进行压缩。本发明通过对剩余未发送数据进行压缩，可以有效的降低数据的大小，以增加单位时间内的数据传输速度，进一步的保证了数据传输效率，并有效的提高了数据传输速度。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种基于大数据的数据处理系统及方法。

背景技术

中国专利公开号：CN107818120B。公开了一种基于大数据的数据处理方法和装置。上述方法包括：实时监控并采集各个数据源的第一数据；将所述第一数据传输至分布式消息系统进行存储；从所述分布式消息系统中读取所述第一数据，并将所述第一数据转化为预设格式，得到第二数据；获取与所述第二数据对应的数据处理框架，并将所述第二数据发送到与所述数据处理框架匹配的节点中；通过所述节点对所述第二数据进行处理，并将所述第二数据写入与所述节点匹配的数据处理框架。上述基于大数据的数据处理方法和装置，能够在保证数据处理框架集群的处理压力不会过大的情况下，将数据实时写入数据处理框架，并提高数据处理效率。但是在数据传输过程中，无法对数据传输过程进行把控，导致数据传输效率低的问题。

发明内容

为此，本发明提供一种基于大数据的数据处理方法，用以克服现有技术中，无法对数据传输过程进行把控，导致数据传输效率低的问题。

为实现上述目的，一方面，本发明提供一种基于大数据的数据处理方法，包括：

步骤S101，获取各数据的数据特征以对数据进行分类；

步骤S102，根据各种类数据的实际数量选择发送该种类数据的数据发送通道的数量；

步骤S103，根据数据种类确定发送对应种类数据的数据发送通道的数量，并传输对应种类的数据；

步骤S104，获取各数据发送通道的实际传输速度，并根据各数据发送通道的实际传输速度选择性对传输的数据进行压缩；

在步骤S104中，实时获取各数据发送通道的实际传输速度，并将实际传输速度与预设数据传输速度进行比对，若判定实际传输速度小于预设数据传输速度，则判定需对剩余未发送数据进行压缩，若判定实际传输速度在预设数据传输速度范围内，则判定无需对剩余未发送数据进行压缩，若判定实际传输速度大于预设数据传输速度，则判定需调节该数据通道的发送的数据数量。

进一步地，在所述步骤S104中，实时获取单个所述数据发送通道的实际传输速度V，将实际传输速度V与对应的预设数据传输速度V0进行比对，并根据比对结果判定是否对剩余数据进行压缩；

所述预设数据传输速度包括第一预设数据传输速度V1和第二预设数据传输速度V2，其中，V1＜V2；

当V＜V1时，则判定该数据传输通道的数据传输速度不符合标准，并需对剩余数据进行压缩；

当V1≤V≤V2时，则判定该数据传输通道的数据传输速度符合标准，并无需对剩余数据进行压缩；

当V＞V2时，则判定该数据传输通道的数据传输速度不符合标准，并需调节该所述数据传输通道发送的数据数量。

进一步地，当判定该数据传输通道的数据传输速度不符合标准，并需对剩余数据进行压缩时，以预设数据字符数量对单一数据拆分为若干数据段，并依次对各数据段进行压缩，压缩完成时，将任一单一数据压缩后的实际大小D与对应的预设数据大小D0进行比对，并根据比对结果判定是否修正预设数据字符数量；

当D＞D0时，则判定该单一数据压缩不符合标准，并需调节预设数据字符数量；