[发明专利]一种基于大数据的数据处理系统及方法

权利要求书

1.一种基于大数据的数据处理方法，其特征在于，包括：

步骤S101，获取各数据的数据特征以对数据进行分类；

步骤S102，根据各种类数据的实际数量选择发送该种类数据的数据发送通道的数量；

步骤S103，根据各数据种类确定发送对应种类数据的所述数据发送通道的数量，传输对应种类的数据；

步骤S104，获取各数据发送通道的实际传输速度，并根据各所述数据发送通道的实际传输速度选择性对传输的数据进行压缩；

在步骤S104中，实时获取各数据发送通道的实际传输速度，并将实际传输速度与预设数据传输速度进行比对，若判定实际传输速度小于预设数据传输速度，则判定需对剩余未发送数据进行压缩，若判定实际传输速度在预设数据传输速度范围内，则判定无需对剩余未发送数据进行压缩，若判定实际传输速度大于预设数据传输速度，则判定需调节所述数据发送通道的发送的数据数量；

在所述步骤S104中，实时获取单个所述数据发送通道的实际传输速度V，将实际传输速度V与对应的预设数据传输速度V0进行比对，并根据比对结果判定是否对剩余数据进行压缩；

所述预设数据传输速度包括第一预设数据传输速度V1和第二预设数据传输速度V2，其中，V1＜V2；

当V＜V1时，则判定该数据发送通道的数据传输速度不符合标准，并需对剩余数据进行压缩；

当V1≤V≤V2时，则判定该数据发送通道的数据传输速度符合标准，并无需对剩余数据进行压缩；

当V＞V2时，则判定该数据发送通道的数据传输速度不符合标准，并需调节该所述数据发送通道发送的数据数量；

当判定该数据发送通道的数据传输速度不符合标准，并需对剩余数据进行压缩时，以预设数据字符数量对单一数据拆分为若干数据段，并依次对各数据段进行压缩，压缩完成时，将任一单一数据压缩后的实际大小D与对应的预设数据大小D0进行比对，并根据比对结果判定是否修正预设数据字符数量；

当D＞D0时，则判定该单一数据压缩不符合标准，并需调节预设数据字符数量；

当D≤D0时，则判定该单一数据压缩符合标准，并使用预设数据字符数量对剩余未发送数据进行压缩。

2.根据权利要求1所述的基于大数据的数据处理方法，其特征在于，当判定该单一数据压缩不符合标准，并需调节预设数据字符数量时，计算实际数据大小差值△D，设定△D=D0-D，并根据实际数据大小差值修正预设数据字符数量，将修正后的预设数据字符数量记为R1，设定R1=R0ⅹ（1-△D/D），当R1不为整数时，向下取整，其中，R0为预设数据字符数量。

3.根据权利要求2所述的基于大数据的数据处理方法，其特征在于，当需将预设数据字符数量修正至R1时，将修正后的预设数据字符数量R1与预设数据字符数量最小值Rmin进行比对，当R1≥Rmin时，则判定修正后的预设数据字符数量符合标准，并以修正后的预设数据字符数量R1对单一数据进行拆分，当R1＜Rmin时，则判定无法使用修正后的预设数据字符数量对单一数据进行拆分，并以预设数据字符数量对单一数据进行拆分，且更换所述数据发送通道。

4.根据权利要求1所述的基于大数据的数据处理方法，其特征在于，当以预设数据字符数量对单一数据拆分为若干数据段时，读取任一数据段的末位字符，将末位字符与关键词信息字符进行比对，并根据比对结果判定是否修正该数据段的字符数量；

当所述关键词信息中含有所述末位字符时，则初步判定需调整该数据段的字符数量；

当所述关键词信息中不含有所述末位字符时，则判定无需调整该数据段的字符数量。