[发明专利]一种数据处理方法、系统和计算机可读存储介质有效
| 申请号: | 201810957001.3 | 申请日: | 2018-08-21 |
| 公开(公告)号: | CN108984152B | 公开(公告)日: | 2021-01-29 |
| 发明(设计)人: | 李明 | 申请(专利权)人: | 北京睦合达信息技术股份有限公司 |
| 主分类号: | G06F7/58 | 分类号: | G06F7/58 |
| 代理公司: | 北京乐知新创知识产权代理事务所(普通合伙) 11734 | 代理人: | 江宇 |
| 地址: | 100102 北京市*** | 国省代码: | 北京;11 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 一种 数据处理 方法 系统 计算机 可读 存储 介质 | ||
1.一种数据处理方法,其特征在于,所述方法包括:
接收数据并记录当前数据量n,将所述当前数据量n与预设的抽样数据量阈值m进行比较;
在n小于等于m时,将接收的数据存入内存库中,所述内存库的数据容量长度为m;
在n大于m时,根据当前数据量n进行分段随机校验,获得对应所述当前数据量n的随机校验结果c,所述随机校验结果c为0~n之间的随机数;
判断所述当前数据量n的随机校验结果c是否小于等于m,并在判断结果为是时,用所述随机校验结果c在所述当前数据量n中的对应数据替换所述内存库中位于相同坐标c的数据;
其中,m和n为正整数;
所述根据当前数据量n进行分段随机校验,获得对应所述当前数据量n的随机校验结果c,包括:
根据预设的分段阈值p以及所述当前数据量n中各数据的坐标,对所述当前数据量n进行分段,获得数据段的数量q,其中,每个数据段内的最大数据量为p;其中,p为正整数;q的取值为:当n/p的余数为零时q=n/p,当n/p的余数不为零时q=(n/p)+1;
对每个数据段内的数据分别进行随机校验,获得对应各个数据段的分段随机校验结果,并对所述各个数据段的分段随机校验结果进行叠加,将叠加结果作为所述当前数据量n的随机校验结果c。
2.根据权利要求1所述的数据处理方法,其特征在于,所述方法还包括:
在所述接收数据之前初始化配置库,并根据所述配置库初始化所述内存库。
3.根据权利要求1所述的数据处理方法,其特征在于,所述方法还包括:
将接收的数据全部存入预设的全量数据库中。
4.根据权利要求1至3任一项所述的数据处理方法,其特征在于,所述方法还包括:
获得数据抽样请求时,从所述内存库中执行数据抽样处理。
5.一种数据处理系统,其特征在于,所述系统包括:实时系统RTS单元、随机数模型RNM单元和内存数据库MDB单元,
所述RTS单元,用于接收数据并记录当前数据量n,将所述当前数据量n与预设的抽样数据量阈值m进行比较,并在n小于等于m时,将接收的数据存入所述MDB单元的内存库中,所述内存库的数据容量长度为m;在n大于m时,通知所述RNM单元;
所述RNM单元,用于根据所述RTS单元的通知,根据当前数据量n进行分段随机校验,获得对应所述当前数据量n的随机校验结果c,所述随机校验结果c为0~n之间的随机数;判断所述当前数据量n的随机校验结果c是否小于等于m,并在判断结果为是时,用所述随机校验结果c在所述当前数据量n中的对应数据替换所述内存库中位于相同坐标c的数据;
所述MDB单元,用于维护和管理所述内存库;
其中,m和n为正整数;
所述RNM单元进一步用于,
根据预设的分段阈值p以及所述当前数据量n中各数据的坐标,对所述当前数据量n进行分段,获得数据段的数量q,其中,每个数据段内的最大数据量为p;其中,p为正整数;q的取值为:当n/p的余数为零时q=n/p,当n/p的余数不为零时q=(n/p)+1;
对每个数据段内的数据分别进行随机校验,获得对应各个数据段的分段随机校验结果,并对所述各个数据段的分段随机校验结果进行叠加,将叠加结果作为所述当前数据量n的随机校验结果c。
6.根据权利要求5所述的数据处理系统,其特征在于,所述RTS单元进一步用于,在所述接收数据之前初始化配置库;
所述MDB单元进一步用于,根据所述配置库初始化所述内存库。
7.根据权利要求5所述的数据处理系统,其特征在于,所述RTS单元进一步用于,将接收的数据全部存入预设的全量数据库中。
8.一种计算机可读存储介质,其特征在于,所述存储介质中存储有计算机可执行指令,当所述指令被执行时用于执行权利要求1-4任一项所述的数据处理方法。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京睦合达信息技术股份有限公司,未经北京睦合达信息技术股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201810957001.3/1.html,转载请声明来源钻瓜专利网。





