[发明专利]大数据的非精准排序方法在审
| 申请号: | 201810192740.8 | 申请日: | 2018-03-09 |
| 公开(公告)号: | CN108416025A | 公开(公告)日: | 2018-08-17 |
| 发明(设计)人: | 李凌瑶;张业岭;蒋可安;张菁菁;王宁骏;胡天然 | 申请(专利权)人: | 王宁骏;张菁菁;胡天然;张业岭;蒋可安;李凌瑶 |
| 主分类号: | G06F17/30 | 分类号: | G06F17/30 |
| 代理公司: | 上海骁象知识产权代理有限公司 31315 | 代理人: | 林炜 |
| 地址: | 200233 上海市*** | 国省代码: | 上海;31 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 数组 样本 目标数据库 频数 排序 目标数据 大数据 构建 海量数据检索 数据处理技术 计算目标 排列位置 排序结果 排序位置 数组记录 参考 段数据 截取 查询 场景 检测 优化 | ||
1.一种大数据的非精准排序方法,其特征在于,具体步骤如下:
1)从目标数据库中随机截取一段包含有N个数据的数据样本Y,并设定一个计算精度α,1E+8<N<1E+10,1E-6≤α≤1E-4;
2)令m等于1/α的整数部分;
3)构建一个m维的样本值数组Lv,为样本值数组Lv中的每个元素赋值,赋值计算公式为:
Lv(i)=Vmin+i×(Vmax-Vmin)/m
其中,Lv(i)为样本值数组Lv中的第i个元素,Vmax为数据样本Y中的数据最大值,Vmin为数据样本Y中的数据最小值,0<i≤m;
4)构建一个m维的样本频数数组Ln,为样本频数数组Ln中的每个元素赋值,赋值方法为:统计数据样本Y中的大于Lv(i)并且小于Lv(i+1)的数据的数量,并将统计的数量值赋给Ln(i);
其中,Ln(i)为样本频数数组Ln中的第i个元素,Lv(i)为样本值数组Lv中的第i个元素,Lv(i+1)为Lv(i)后序相邻的元素;
5)按照规则A、规则B优化样本值数组Lv及样本频数数组Ln,直到样本频数数组Ln中的所有元素都不满足规则A,并且也不满足规则B;
规则A:对于样本频数数组Ln中的任意一个元素Ln(i),如果Ln(i)<η×N/m,则令令N=N-Ln(i)/2,令m=m-1,并删除样本值数组Lv中的第i个元素Lv(i),并删除样本频数数组Ln中的第i个元素Ln(i),η的取值为0.1;
规则B:对于样本频数数组Ln中的任意一个元素Ln(i),如果Ln(i)>λ×N/m,则在样本值数组Lv的第i个元素Lv(i)及第i+1个元素Lv(i+1)之间插入T个元素,在样本频数数组Ln的第i个元素Ln(i)及第i+1个元素Ln(i+1)之间插入T个元素,并为样本值数组Lv中所插入的T个元素赋值,为样本频数数组Ln中所插入的T个元素赋值,并令m=m+T;其中,λ的取值为10;
样本值数组Lv中所插入的T个元素的赋值公式为:
Lv'(i+t)=Lv(i)+(Lv(i+1)-Lv(i))/T
其中,Lv'(i+t)为插入样本值数组Lv中的第t个元素,Lv(i)、Lv(i+1)分别是未插入T个元素时的样本值数组Lv中的第i个元素、第i+1个元素;
样本频数数组Ln中所插入的T个元素的赋值方法为:统计数据样本Y中的大于Lv'(i+t)并且小于Lv'(i+t+1)的数据的数量,并将统计的数量值赋给Ln'(i+t);
其中,Ln'(i+t)为插入样本频数数组Ln中的第t个元素,Lv'(i+t)为插入样本值数组Lv中的第t个元素,Lv'(i+t+1)为Lv'(i+t)后序相邻的元素;
6)构建一个m维的累计值数组ALn,为累计值数组ALn中的每个元素赋值,赋值计算公式为:
其中,ALn(i)为累计值数组ALn中的第i个元素;
7)获取待排序的目标数据Y(k),在样本值数组Lv中查找满足条件Lv(i)<Y(k)<Lv(i+1)的两个相邻元素Lv(i)、Lv(i+1),再根据所找到的元素Lv(i)在样本值数组Lv中的位置i,从累计值数组ALn中找到处于位置i处的元素ALn(i),再根据所找到的元素ALn(i),计算目标数据Y(k)在目标数据库中的排序百分比值,从而得出目标数据Y(k)在目标数据库中的排序位置,排序百分比值的具体计算公式为:
Res(k)=100×ALn(i)/N
其中,Res(k)为目标数据Y(k)在目标数据库中的排序百分比值。
2.根据权利要求1所述的大数据的非精准排序方法,其特征在于:α的取值为1E-5。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于王宁骏;张菁菁;胡天然;张业岭;蒋可安;李凌瑶,未经王宁骏;张菁菁;胡天然;张业岭;蒋可安;李凌瑶许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201810192740.8/1.html,转载请声明来源钻瓜专利网。





