[发明专利]一种用于无线通信的数据重复发送标记系统及方法

权利要求书

1.一种用于无线通信的数据重复发送标记方法，其特征在于：

S1：利用目标迁移数据内容读取模块对待发送的数据进行扫描，监测其是否存在重复信息，待发送数据信息预扫描子模块对待发送数据进行重复数据的扫描，将扫描数据发送给重复传输数据信息统计子模块，重复传输数据信息统计子模块对扫描数据进行统计，确认该扫描的数据中是否存在重复数据，对扫描出的重复数据预先进行标记；

S2：利用重复数据传输区域位置定位模块对待发送数据的重复区域进行定位和标记，副本数据检索标记子模块对待发送数据包含的数据信息副本进行检索后标记，数据副本不作为数据重复的统计范围，数据重复节点定位子模块对数据监测出的重复区域进行定位，对待发送数据内部的重复区域进行标记，将标记区域发送给重复数据区域片段化分析模块；

S3：利用重复数据区域片段化分析模块对重复数据定位的区域进行分段后监测数据重复率，重复数据区域切割子模块对数据重复节点定位子模块定位的数据重复区域进行切割，细化重复区域，将细化的重复区域与参考源数据段进行对比，片段化重复率对比分析子模块对切割后的重复区域与参考源数据段对比后进行重复率的分析；

S4：利用数据重复计次监控单元对重复数据进行存在合理性预测，高重复率数据获取统计子模块获取片段化重复率对比分析子模块标记的高重复率数据片段，进行集中统计，形成列表，发送给模拟删除后数据完整性预测子模块，模拟删除后数据完整性预测子模块在待发送数据中逐一删除重复率高的数据，分析高重复率数据删除后是否影响数据完整性，当对重复率高的片段数据删除时，数据完整性大于设定阈值，将该段重复率高的数据删除申请发送给重复冗杂数据清理模块；

S5：利用重复冗杂数据清理模块对待发送数据中重复数据进行清理和删除，通讯回传单元获取数据重复计次监控单元统计的高重复率片段数据的删除请求，将删除请求进行汇总，发送给人工应答子模块，人工应答子模块人工接入对删除请求进行人工判定；

所述步骤S4中，利用数据重复计次监控单元对重复数据进行存在合理性预测，高重复率数据获取统计子模块获取片段化重复率对比分析子模块标记的高重复率数据片段，进行集中统计，形成列表，发送给模拟删除后数据完整性预测子模块，模拟删除后数据完整性预测子模块在待发送数据中逐一删除重复率高的数据，分析高重复率数据删除后是否影响数据完整性，当对重复率高的片段数据删除时，数据完整性大于设定阈值，将该段重复率高的数据删除申请发送给重复冗杂数据清理模块，还包括以下步骤：

设定片段化重复率对比分析子模块标记的高重复率数据片段为Q₁、Q₂、Q₃、…、Q_n-1、Q_n，模拟删除后数据完整性预测子模块对上述高重复率数据片段进行逐一模拟删除，在逐一模拟删除的同时，逐一监测当前待发送数据的完整性，设定高重复率数据片段逐一模拟删除时，其数据完整性为A₁、A₂、A₃、…、A_n-1、A_n,当监测出A_n＝100％，判定该片段数据删除后对待发送数据的完整性没有影响，将该段数据发送给重复冗杂数据清理模块进行人工确认后删除，当监测出A_n＜85％，判定该片段数据删除后对待发送数据的完整性有影响，对该片段数据不作处理，当监测出A_n∈[85,100)％,多次监测当前片段数据模拟删除后的数据连贯性Z₁、Z₂、Z₃、…、Z_n-1、Z_n，其中，计算得出当前片段数据模拟删除后的数据连贯性，设定对A_n∈[85,100)％的片段数据监测的二次数据完整性为B_n，根据公式：

计算得出模拟删除A_n∈[85,100)％的片段数据监测的二次数据完整性，当B_n＝100％，判定该片段数据删除后对待发送数据的完整性没有影响，将该段数据发送给重复冗杂数据清理模块进行人工确认后删除，当B_n≠100％，判定该片段数据删除后对待发送数据的完整性有影响，对该片段数据不作处理。